Vectorzoeken wordt een datatype, maar de economische vergelijking blijft onopgelost

Vectorzoeken wordt een datatype, maar de economische vergelijking blijft onopgelost
3 min lezen

Toegewijde vectordatabases verliezen terrein. Benaderende naburige zoekopdrachten (ANN, voor approximate nearest neighbor) zijn nu een datatype dat wordt aangeboden door engines die teams al gebruiken, zoals Postgres, Elasticsearch, OpenSearch, ClickHouse, MongoDB of Redis. Volgens het artikel van The Next Platform hangt de kostprijs nog steeds af van het geheugen dat nodig is om de vectoren op te slaan.

Een categorie geabsorbeerd door bestaande engines

Toegewijde vectordatabases vormden een aparte categorie. Pinecone lanceerde zijn beheerde dienst in 2021 en gaf grotendeels zijn naam aan dit segment, terwijl Milvus, Weaviate en Qdrant rond dezelfde periode verschenen. Gevestigde spelers hebben deze achterstand snel ingehaald. Elasticsearch heeft een benaderende k-NN-zoekopdracht geïntegreerd die gebaseerd is op het HNSW-grafiekalgoritme (Hierarchical Navigable Small World), OpenSearch biedt een k-NN-plugin sinds versie 1.0, en pgvector voegt HNSW toe aan Postgres sinds versie 0.5.0 (augustus 2023). MongoDB Atlas Vector Search is sinds december 2023 algemeen beschikbaar, en ClickHouse heeft zijn HNSW-index beschikbaar gemaakt in versie 25.8.

Deze consolidatie heeft minder te maken met gelijkwaardigheid van functionaliteiten dan met de aard van het gebruik. Zoeksystemen combineren in de praktijk vectorzoeken, gestructureerde filters, lexicale scoring en aggregaties. Een aparte database vereist dubbele schrijfacties, een tweede consistentiemodel en een extra monitoringtool.

Het geheugen, de belangrijkste kostenpost

HNSW is gebaseerd op een graaf die van knooppunt naar knooppunt wordt doorlopen, een operatie die alleen snel is als de graaf en zijn vectoren in het werkgeheugen (RAM) blijven. Zodra gegevens naar de schijf gaan, hangt de latentie vooral af van paginafouten in plaats van de berekening van afstanden. De behoefte aan geheugen groeit dus met het aantal vectoren en hun dimensie.

OpenSearch geeft aan dat een HNSW-index in het geheugen 1,1 × (4 × dimensie + 8 × M) bytes per vector inneemt, waarbij de formule als volgt wordt gedetailleerd: 4 × dimensie komt overeen met de vector in float32, 8 × M met de overhead van graafverbindingen, en 1,1 met een marge van ongeveer 10%. Volgens het artikel vertegenwoordigt een miljoen vectoren van 1.536 dimensies, de uitvoergrootte van OpenAI’s text-embedding-3-large, ongeveer 6,1 GB vóór graafoverhead, en tien miljoen ongeveer 60 GB. De graaf zelf kan 2 tot 5 keer zo groot zijn als de ruwe vectoren.

De auteur benadrukt dat de zoektocht naar recall (recall) zwaar op de kosten drukt. Op standaard ANN-benchmarks kan het verhogen van HNSW van 95% naar 100% recall volgens hem ongeveer 7 keer zoveel doorvoer kosten.

Kwantificering en gelaagde opslag

Kwantificering, waarbij vectoren worden gecomprimeerd in ruil voor een gecontroleerd verlies aan nauwkeurigheid, is de meest effectieve hefboom. Lucene, de engine waarop Elasticsearch is gebaseerd, geeft aan dat zijn scalaire int8-kwantificering het geheugen met ongeveer 75% vermindert. Binaire kwantificering, die elke dimensie terugbrengt tot één enkele bit, bereikt een factor 32: Qdrant meldt een recall@100 van 0,98 op OpenAI-embeddings van 1.536 dimensies met een 4× oversampling. Elasticsearch kondigt voor zijn Better Binary Quantization aan dat een dataset van 138M × 1024 dimensies gaat van ongeveer 535 GB naar ongeveer 19 GB.

De andere aanpak is om niet alle vectoren in het geheugen te plaatsen. DiskANN, ontwikkeld door Microsoft, indexeert volgens de bron een miljard punten op een enkele machine van 64 GB gekoppeld aan een SSD, met een recall van meer dan 95%. Amazon kondigt voor S3 Vectors een kostenverlaging aan die tot 90% kan oplopen voor grote vectorverzamelingen, tegen de prijs van een hogere latentie. OpenSearch vermeldt aan zijn kant een p90-latentie van 96 ms in schijfmodus, tegenover 24 ms in geheugen, een verschil dat acceptabel wordt geacht voor een agent-redeneercyclus, maar niet voor interactieve autocompletion.

Zelf beheren of toevertrouwen aan een beheerde dienst

Omdat de engines hetzelfde algoritme en dezelfde compressietoolkit hebben geadopteerd, gaat de keuze tussen beheerde oplossing en zelfhosting niet langer over functionaliteiten. Het gaat over de verantwoordelijkheid voor geheugendimensionering, de herbeoordeling van resultaten en de verdeling tussen warme en koude niveaus. Beheerde diensten nemen de provisioning voor hun rekening; MongoDB heeft bijvoorbeeld zijn toegewijde Search Nodes gepubliceerd om vectorverkeer te isoleren. Zelfhosting biedt alle parameters, maar ook hun mogelijke fouten.

Volgens het artikel hangt de beslissing vooral af van twee vragen: zijn de vectoren al opgeslagen in een operationeel systeem dat het team beheert, en wat is het latentiebudget in verhouding tot het kostenplafond?

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x