La ricerca vettoriale diventa un tipo di dati, ma l’equazione economica resta intera

La ricerca vettoriale diventa un tipo di dati, ma l’equazione economica resta intera
4 min di lettura

I database vettoriali dedicati stanno perdendo terreno. La ricerca dei vicini approssimati (ANN, per approximate nearest neighbor) è ormai un tipo di dati offerto da motori che i team utilizzano già, come Postgres, Elasticsearch, OpenSearch, ClickHouse, MongoDB o Redis. Secondo l’articolo pubblicato da The Next Platform, il costo, invece, dipende ancora dalla memoria necessaria per memorizzare i vettori.

Una categoria assorbita dai motori esistenti

I database vettoriali dedicati hanno costituito una categoria a sé stante. Pinecone ha lanciato il suo servizio gestito nel 2021 e ha largamente dato il nome a questo segmento, mentre Milvus, Weaviate e Qdrant sono apparsi più o meno nello stesso periodo. Gli attori consolidati hanno rapidamente colmato questo ritardo. Elasticsearch ha integrato una ricerca k-NN approssimata basata sull’algoritmo di grafo HNSW (Hierarchical Navigable Small World), OpenSearch offre un plugin k-NN dalla sua versione 1.0, e pgvector aggiunge HNSW a Postgres dalla versione 0.5.0 (agosto 2023). MongoDB Atlas Vector Search è disponibile in general availability da dicembre 2023, e ClickHouse ha reso disponibile il suo indice HNSW nella versione 25.8.

Questa consolidazione dipende meno dall’uguaglianza delle funzionalità che dalla natura degli utilizzi. I sistemi di ricerca combinano in pratica ricerca vettoriale, filtri strutturati, punteggio lessicale e aggregazioni. Un database separato impone scritture duplicate, un secondo modello di coerenza e uno strumento di supervisione aggiuntivo.

La memoria, principale voce di spesa

HNSW si basa su un grafo percorso da nodo a nodo, operazione che è rapida solo se il grafo e i suoi vettori rimangono in memoria RAM. Non appena i dati passano sul disco, la latenza dipende soprattutto dai page fault piuttosto che dal calcolo delle distanze. Il bisogno di memoria cresce quindi con il numero di vettori e la loro dimensione.

OpenSearch indica che un indice HNSW in memoria occupa 1,1 × (4 × dimensione + 8 × M) byte per vettore, la formula essendo così dettagliata: 4 × dimensione corrisponde al vettore in float32, 8 × M al sovraccarico delle connessioni del grafo, e 1,1 a un margine di circa il 10%. Secondo l’articolo, un milione di vettori di 1.536 dimensioni, cioè la dimensione di output di text-embedding-3-large di OpenAI, rappresenta circa 6,1 GB prima del sovraccarico del grafo, e dieci milioni circa 60 GB. Il grafo stesso può pesare da 2 a 5 volte la dimensione dei vettori grezzi.

L’autore sottolinea che la ricerca di richiamo (recall) pesa fortemente sui costi. Su benchmark ANN standard, portare HNSW dal 95% al 100% di richiamo può, secondo lui, costare circa 7 volte in termini di throughput.

Quantizzazione e storage a livelli

La quantizzazione, che consiste nel comprimere i vettori in cambio di una perdita controllata di precisione, è la leva più efficace. Lucene, il motore su cui si basa Elasticsearch, indica che la sua quantizzazione scalare int8 riduce la memoria di circa il 75%. La quantizzazione binaria, che riduce ogni dimensione a un singolo bit, raggiunge un fattore 32: Qdrant riporta un richiamo@100 di 0,98 su embedding OpenAI di 1.536 dimensioni con un sovracampionamento di 4×. Elasticsearch annuncia per la sua Better Binary Quantization il passaggio di un dataset di 138M × 1024 dimensioni da circa 535 GB a circa 19 GB.

L’altra strada consiste nel non mettere tutti i vettori in memoria. DiskANN, sviluppato da Microsoft, indicizza secondo la fonte un miliardo di punti su una singola macchina da 64 GB associata a un SSD, con un richiamo superiore al 95%. Amazon annuncia per S3 Vectors una riduzione dei costi fino al 90% su grandi dataset di vettori, al prezzo di una latenza più elevata. OpenSearch cita da parte sua una latenza p90 di 96 ms in modalità disco, contro 24 ms in memoria, un divario giudicato accettabile per un ciclo di ragionamento di un agente, ma non per l’autocompletamento interattivo.

Gestire da sé o affidare a un servizio gestito

I motori avendo adottato lo stesso algoritmo e la stessa cassetta degli attrezzi di compressione, la scelta tra soluzione gestita e self-hosted non verte più sulle funzionalità. Vertice sulla responsabilità del dimensionamento della memoria, della rivalutazione dei risultati e della ripartizione tra livelli caldi e freddi. I servizi gestiti si occupano del provisioning; MongoDB ha così pubblicato le sue Search Nodes dedicate per isolare il traffico vettoriale. Il self-hosting offre tutti i parametri, ma anche i loro possibili errori.

Secondo l’articolo, la decisione dipende soprattutto da due domande: i vettori sono già memorizzati in un sistema operativo che il team gestisce, e qual è il budget di latenza rispetto al tetto di costo?

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x