Специализированные векторные базы данных теряют позиции. Поиск приближенных соседей (ANN, от approximate nearest neighbor) теперь стал типом данных, предлагаемым движками, которые команды уже используют, такими как Postgres, Elasticsearch, OpenSearch, ClickHouse, MongoDB или Redis. Согласно статье, опубликованной The Next Platform, стоимость по-прежнему зависит от памяти, необходимой для хранения векторов.
Категория, поглощенная существующими движками
Специализированные векторные базы данных сформировали отдельную категорию. Pinecone запустила свой управляемый сервис в 2021 году и во многом дала название этому сегменту, в то время как Milvus, Weaviate и Qdrant появились примерно в тот же период. Устоявшиеся игроки быстро наверстали упущенное. Elasticsearch интегрировал приближенный k-NN поиск на основе алгоритма графа HNSW (Hierarchical Navigable Small World), OpenSearch предлагает плагин k-NN с версии 1.0, а pgvector добавляет HNSW в Postgres с версии 0.5.0 (август 2023). MongoDB Atlas Vector Search стал общедоступным в декабре 2023 года, а ClickHouse сделал свой индекс HNSW доступным в версии 25.8.
Эта консолидация связана меньше с равенством функциональных возможностей, чем с природой использования. На практике системы поиска сочетают векторный поиск, структурированные фильтры, лексическое ранжирование и агрегации. Отдельная база данных накладывает двойную запись, вторую модель согласованности и дополнительный инструмент мониторинга.
Память — основная статья расходов
HNSW основан на графе, обходимом от узла к узлу, операция, которая быстра только если граф и его векторы остаются в оперативной памяти (RAM). Как только данные попадают на диск, задержка зависит в основном от промахов страниц, а не от вычисления расстояний. Таким образом, потребность в памяти растет с увеличением количества векторов и их размерности.
OpenSearch указывает, что индекс HNSW в памяти занимает 1,1 × (4 × размерность + 8 × M) байт на вектор, формула детализирована следующим образом: 4 × размерность соответствует вектору в float32, 8 × M — накладным расходам на связи графа, а 1,1 — запасу около 10 %. Согласно статье, миллион векторов размерностью 1 536, что соответствует размеру выхода text-embedding-3-large от OpenAI, составляет около 6,1 ГБ без учета накладных расходов графа, а десять миллионов — около 60 ГБ. Сам граф может весить в 2–5 раз больше, чем сырые векторы.
Автор подчеркивает, что поиск полноты (recall) сильно влияет на затраты. На стандартных тестах ANN повышение полноты HNSW с 95 % до 100 % может, по его словам, стоить примерно в 7 раз по пропускной способности.
Квантование и многоуровневое хранение
Квантование, заключающееся в сжатии векторов в обмен на контролируемую потерю точности, является наиболее эффективным рычагом. Lucene, движок, на котором основан Elasticsearch, указывает, что его скалярное квантование int8 сокращает память примерно на 75 %. Бинарное квантование, сводящее каждое измерение к одному биту, достигает коэффициента 32: Qdrant сообщает о полноте@100 0,98 для эмбеддингов OpenAI размерностью 1 536 с 4-кратным передискретизацией. Elasticsearch анонсирует для своего Better Binary Quantization сокращение набора данных 138M × 1024 размерности примерно с 535 ГБ до примерно 19 ГБ.
Другой путь заключается в том, чтобы не размещать все векторы в памяти. DiskANN, разработанный Microsoft, индексирует, согласно источнику, миллиард точек на одной машине с 64 ГБ оперативной памяти в связке с SSD, с полнотой выше 95 %. Amazon анонсирует для S3 Vectors снижение стоимости до 90 % на больших наборах векторов, ценой более высокой задержки. OpenSearch, со своей стороны, приводит задержку p90 в 96 мс в дисковом режиме против 24 мс в памяти, разрыв, считающийся приемлемым для цикла рассуждений агента, но не для интерактивного автодополнения.
Управлять самостоятельно или доверить управляемому сервису
Поскольку движки приняли один и тот же алгоритм и один и тот же набор инструментов сжатия, выбор между управляемым решением и самообслуживанием больше не касается функциональных возможностей. Он касается ответственности за масштабирование памяти, переоценку результатов и распределение между горячими и холодными уровнями. Управляемые сервисы берут на себя выделение ресурсов; так, MongoDB выпустила свои выделенные Search Nodes для изоляции векторного трафика. Самообслуживание предлагает все параметры, но также и возможные ошибки в их настройке.
Согласно статье, решение зависит в основном от двух вопросов: уже ли векторы хранятся в операционной системе, которой управляет команда, и каков бюджет задержки по отношению к потолку затрат?
