La búsqueda vectorial se convierte en un tipo de datos, pero la ecuación económica sigue sin resolver

La búsqueda vectorial se convierte en un tipo de datos, pero la ecuación económica sigue sin resolver
4 min de lectura

Las bases de datos vectoriales dedicadas pierden terreno. La búsqueda de vecinos aproximados (ANN, por approximate nearest neighbor) es ahora un tipo de datos ofrecido por motores que los equipos ya utilizan, como Postgres, Elasticsearch, OpenSearch, ClickHouse, MongoDB o Redis. Según el artículo publicado por The Next Platform, el costo, sin embargo, sigue dependiendo de la memoria necesaria para almacenar los vectores.

Una categoría absorbida por los motores existentes

Las bases vectoriales dedicadas constituyeron una categoría por derecho propio. Pinecone lanzó su servicio gestionado en 2021 y dio ampliamente nombre a este segmento, mientras que Milvus, Weaviate y Qdrant aparecieron aproximadamente en el mismo período. Los actores establecidos rápidamente cerraron esta brecha. Elasticsearch integró una búsqueda k-NN aproximada basada en el algoritmo de grafo HNSW (Hierarchical Navigable Small World), OpenSearch ofrece un plugin k-NN desde su versión 1.0, y pgvector añade HNSW a Postgres desde la versión 0.5.0 (agosto de 2023). MongoDB Atlas Vector Search está disponible en general availability desde diciembre de 2023, y ClickHouse hizo disponible su índice HNSW en la versión 25.8.

Esta consolidación se debe menos a la igualdad de funcionalidades que a la naturaleza de los usos. Los sistemas de búsqueda combinan en la práctica búsqueda vectorial, filtros estructurados, puntuación léxica y agregaciones. Una base separada impone escrituras duplicadas, un segundo modelo de coherencia y una herramienta de supervisión adicional.

La memoria, principal partida de gasto

HNSW se basa en un grafo recorrido de nodo en nodo, operación que solo es rápida si el grafo y sus vectores permanecen en memoria RAM. Tan pronto como los datos pasan al disco, la latencia depende sobre todo de los fallos de página más que del cálculo de distancias. La necesidad de memoria crece, por tanto, con el número de vectores y su dimensión.

OpenSearch indica que un índice HNSW en memoria ocupa 1,1 × (4 × dimensión + 8 × M) bytes por vector, detallándose la fórmula así: 4 × dimensión corresponde al vector en float32, 8 × M a la sobrecarga de conexiones del grafo, y 1,1 a un margen de aproximadamente 10 %. Según el artículo, un millón de vectores de 1.536 dimensiones, es decir, el tamaño de salida de text-embedding-3-large de OpenAI, representa unos 6,1 GB antes de la sobrecarga del grafo, y diez millones unos 60 GB. El grafo en sí puede pesar de 2 a 5 veces el tamaño de los vectores brutos.

El autor subraya que la búsqueda de recuperación (recall) pesa fuertemente en los costos. En benchmarks ANN estándar, llevar HNSW del 95 % al 100 % de recuperación puede, según él, costar aproximadamente 7 veces en rendimiento.

Cuantificación y almacenamiento por niveles

La cuantificación, que consiste en comprimir los vectores a cambio de una pérdida controlada de precisión, es la palanca más eficaz. Lucene, el motor en el que se basa Elasticsearch, indica que su cuantificación escalar int8 reduce la memoria en aproximadamente un 75 %. La cuantificación binaria, que reduce cada dimensión a un solo bit, alcanza un factor 32: Qdrant reporta un recall@100 de 0,98 en embeddings OpenAI de 1.536 dimensiones con un sobremuestreo de 4×. Elasticsearch anuncia para su Better Binary Quantization el paso de un conjunto de datos de 138M × 1024 dimensiones de aproximadamente 535 GB a unos 19 GB.

La otra vía consiste en no colocar todos los vectores en memoria. DiskANN, desarrollado por Microsoft, indexa según la fuente mil millones de puntos en una sola máquina de 64 GB asociada a un SSD, con una recuperación superior al 95 %. Amazon anuncia para S3 Vectors una reducción de costo que puede llegar hasta el 90 % en grandes conjuntos de vectores, a cambio de una latencia más elevada. OpenSearch cita por su parte una latencia p90 de 96 ms en modo disco, frente a 24 ms en memoria, una diferencia considerada aceptable para un bucle de razonamiento de agente, pero no para el autocompletado interactivo.

Gestionar uno mismo o confiar a un servicio gestionado

Dado que los motores han adoptado el mismo algoritmo y la misma caja de herramientas de compresión, la elección entre solución gestionada y autoalojada ya no versa sobre las funcionalidades. Versa sobre la responsabilidad del dimensionamiento de memoria, de la reevaluación de resultados y de la distribución entre niveles calientes y fríos. Los servicios gestionados se encargan del aprovisionamiento; MongoDB ha publicado así sus Search Nodes dedicados para aislar el tráfico vectorial. El autoalojamiento ofrece todos los parámetros, pero también sus posibles errores.

Según el artículo, la decisión depende sobre todo de dos preguntas: ¿los vectores ya están almacenados en un sistema operativo que el equipo explota, y cuál es el presupuesto de latencia respecto al límite de costo?

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x