Релиз Quickwit 0.8: скорость и экономия
Команда Quickwit представила версию 0.8 своего open-source поискового движка, спроектированного специально для задач observability (логи, трейсы). Ключевое отличие продукта — нативная работа с объектным хранилищем (S3, GCS, Azure Blob). Это позволяет разделить вычислительные ресурсы и хранилище, что делает индексаторы и поисковые узлы (searchers) безсостоятельными (stateless) и масштабируемыми за секунды.
Разработчики заявляют, что такая архитектура обеспечивает поиск с задержкой менее секунды (sub-second) даже на больших объемах данных в облаке. По оценкам компании, внедрение Quickwit может снизить затраты на инфраструктуру поиска до 10 раз по сравнению с традиционным Elasticsearch.
Совместимость и миграция
Для упрощения перехода с существующих решений Quickwit предоставляет API, совместимый с Elasticsearch и OpenSearch. Это позволяет использовать привычные клиенты и инструменты логирования (Vector, Fluent Bit, Syslog) без переписывания кода. Поддерживается большая часть DSL-запросов Elasticsearch, включая агрегации.
Для клиентов, которые могут отказываться от подключения из-за различий в заголовках, предусмотрена опция extra_headers в конфигурации узла, позволяющая имитировать совместимые версии Elasticsearch.
Технические характеристики и архитектура
Quickwit поддерживает как schemaless-индексацию, так и строгие схемы. Движок изначально спроектирован для работы с Kafka, Kinesis и Pulsar, обеспечивая многопользовательский доступ (multi-tenancy) и политики удержания данных (retention policies), что критично для GDPR-соответствия.
| Характеристика | Quickwit 0.8 | Традиционные движки (ES/Solr) |
|---|---|---|
| Хранилище | Облачное (S3, GCS, Azure) | Локальное (диски кластера) |
| Архитектура | Decoupled compute & storage | Связанная (shared-nothing или shared-disk) |
| Масштабирование | За секунды (stateless) | Минуты/часы (перераспределение данных) |
| Стоимость (оценка) | До 10x дешевле | Выше (оплата за вычислительные узлы) |
| Лицензия | Apache 2.0 | SSPL / Elastic License |
Будущее: поддержка метрик
На данный момент Quickwit полностью покрывает потребности в управлении логами (Log management) и распределенном трейсинге (Distributed Tracing) с нативной поддержкой Jaeger и OpenTelemetry. В дорожной карте (roadmap) уже заявлена поддержка метрик (metrics), что позволит объединить все три столпа observability в одном движке.
Высокая доступность (HA) для поиска доступна по умолчанию, для индексации HA-режим поддерживается при использовании Kafka в качестве источника данных.
Источник: Github ↗