A pesquisa vetorial torna-se um tipo de dados, mas a equação económica mantém-se por resolver

A pesquisa vetorial torna-se um tipo de dados, mas a equação económica mantém-se por resolver
4 min de leitura

As bases de dados vetoriais dedicadas estão a perder terreno. A pesquisa de vizinhos aproximados (ANN, de approximate nearest neighbor) é agora um tipo de dados oferecido por motores que as equipas já utilizam, como Postgres, Elasticsearch, OpenSearch, ClickHouse, MongoDB ou Redis. De acordo com o artigo publicado por The AI / news, o custo, porém, continua a depender da memória necessária para armazenar os vetores.

Uma categoria absorvida pelos motores existentes

As bases vetoriais dedicadas constituíram uma categoria própria. A Pinecone lançou o seu serviço gerido em 2021 e deu amplamente o nome a este segmento, enquanto a Milvus, a Weaviate e a Qdrant surgiram mais ou menos na mesma altura. Os atores estabelecidos rapidamente colmataram este atraso. O Elasticsearch integrou uma pesquisa k-NN aproximada baseada no algoritmo de grafo HNSW (Hierarchical Navigable Small World), o OpenSearch oferece um plugin k-NN desde a versão 1.0, e o pgvector adiciona HNSW ao Postgres desde a versão 0.5.0 (agosto de 2023). O MongoDB Atlas Vector Search está disponível em general availability desde dezembro de 2023, e o ClickHouse disponibilizou o seu índice HNSW na versão 25.8.

Esta consolidação deve-se menos à igualdade de funcionalidades do que à natureza dos usos. Na prática, os sistemas de pesquisa combinam pesquisa vetorial, filtros estruturados, pontuação lexical e agregações. Uma base separada impõe escritas duplicadas, um segundo modelo de coerência e uma ferramenta de supervisão adicional.

A memória, principal rubrica de despesa

O HNSW baseia-se num grafo percorrido de nó em nó, uma operação que só é rápida se o grafo e os seus vetores permanecerem em memória RAM. Assim que os dados passam para o disco, a latência depende sobretudo das falhas de página e não do cálculo das distâncias. A necessidade de memória aumenta, portanto, com o número de vetores e a sua dimensão.

O OpenSearch indica que um índice HNSW em memória ocupa 1,1 × (4 × dimensão + 8 × M) bytes por vetor, sendo a fórmula detalhada da seguinte forma: 4 × dimensão corresponde ao vetor em float32, 8 × M à sobrecarga de ligações do grafo, e 1,1 a uma margem de cerca de 10%. De acordo com o artigo, um milhão de vetores de 1 536 dimensões, o tamanho de saída do text-embedding-3-large da OpenAI, representa cerca de 6,1 GB antes da sobrecarga do grafo, e dez milhões cerca de 60 GB. O próprio grafo pode pesar 2 a 5 vezes o tamanho dos vetores brutos.

O autor sublinha que a pesquisa de recuperação (recall) pesa fortemente nos custos. Em benchmarks ANN padrão, fazer o HNSW passar de 95% para 100% de recuperação pode, segundo ele, custar cerca de 7 vezes em débito.

Quantização e armazenamento hierárquico

A quantização, que consiste em comprimir os vetores em troca de uma perda controlada de precisão, é a alavanca mais eficaz. O Lucene, o motor em que o Elasticsearch se baseia, indica que a sua quantização escalar int8 reduz a memória em cerca de 75%. A quantização binária, que reduz cada dimensão a um único bit, atinge um fator de 32: a Qdrant reporta uma recuperação@100 de 0,98 em embeddings da OpenAI de 1 536 dimensões com uma sobreamostragem de 4×. O Elasticsearch anuncia para a sua Better Binary Quantization a passagem de um conjunto de dados de 138M × 1024 dimensões de cerca de 535 GB para cerca de 19 GB.

A outra via consiste em não colocar todos os vetores em memória. O DiskANN, desenvolvido pela Microsoft, indexa, segundo a fonte, mil milhões de pontos numa única máquina de 64 GB associada a um SSD, com uma recuperação superior a 95%. A Amazon anuncia para o S3 Vectors uma redução de custo que pode chegar aos 90% em grandes conjuntos de vetores, ao preço de uma latência mais elevada. O OpenSearch cita, por sua vez, uma latência p90 de 96 ms em modo disco, contra 24 ms em memória, uma diferença considerada aceitável para um ciclo de raciocínio de agente, mas não para o preenchimento automático interativo.

Gerir por si ou confiar a um serviço gerido

Como os motores adotaram o mesmo algoritmo e a mesma caixa de ferramentas de compressão, a escolha entre solução gerida e autoalojada já não incide sobre as funcionalidades. Incide sobre a responsabilidade do dimensionamento de memória, da reavaliação dos resultados e da repartição entre níveis quentes e frios. Os serviços geridos tratam do aprovisionamento; a MongoDB publicou assim os seus Search Nodes dedicados para isolar o tráfego vetorial. O autoalojamento oferece todos os parâmetros, mas também os seus possíveis erros.

De acordo com o artigo, a decisão depende sobretudo de duas questões: os vetores já estão armazenados num sistema operacional que a equipa explora, e qual é o orçamento de latência face ao teto de custo?

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x