Vektorsuche wird zum Datentyp, aber die Wirtschaftlichkeitsgleichung bleibt ungelöst

Vektorsuche wird zum Datentyp, aber die Wirtschaftlichkeitsgleichung bleibt ungelöst
3 Minuten Lesezeit

Dedizierte Vektordatenbanken verlieren an Boden. Die Annäherungssuche nach nächsten Nachbarn (ANN, für approximate nearest neighbor) ist nun ein Datentyp, der von Engines angeboten wird, die Teams bereits nutzen, wie Postgres, Elasticsearch, OpenSearch, ClickHouse, MongoDB oder Redis. Laut dem Artikel von The Next Platform hängen die Kosten jedoch nach wie vor vom benötigten Speicherplatz für die Vektoren ab.

Eine Kategorie, die von bestehenden Engines absorbiert wird

Dedizierte Vektordatenbanken bildeten eine eigene Kategorie. Pinecone startete seinen Managed Service 2021 und gab diesem Segment weitgehend seinen Namen, während Milvus, Weaviate und Qdrant etwa zur gleichen Zeit auftauchten. Etablierte Akteure holten diesen Rückstand schnell auf. Elasticsearch integrierte eine approximative k-NN-Suche basierend auf dem HNSW-Graphalgorithmus (Hierarchical Navigable Small World), OpenSearch bietet seit Version 1.0 ein k-NN-Plugin, und pgvector fügt HNSW seit Version 0.5.0 (August 2023) zu Postgres hinzu. MongoDB Atlas Vector Search ist seit Dezember 2023 allgemein verfügbar, und ClickHouse machte seinen HNSW-Index in Version 25.8 verfügbar.

Diese Konsolidierung liegt weniger an der Gleichheit der Funktionen als an der Natur der Anwendungsfälle. Suchsysteme kombinieren in der Praxis Vektorsuche, strukturierte Filter, lexikalisches Scoring und Aggregationen. Eine separate Datenbank erzwingt doppelte Schreibvorgänge, ein zweites Konsistenzmodell und ein zusätzliches Überwachungstool.

Der Speicher, der größte Kostenfaktor

HNSW basiert auf einem Graphen, der von Knoten zu Knoten durchlaufen wird, eine Operation, die nur schnell ist, wenn der Graph und seine Vektoren im Arbeitsspeicher (RAM) bleiben. Sobald Daten auf die Festplatte ausgelagert werden, hängt die Latenz vor allem von Page Faults ab und nicht von der Berechnung der Distanzen. Der Speicherbedarf wächst daher mit der Anzahl der Vektoren und ihrer Dimension.

OpenSearch gibt an, dass ein HNSW-Index im Speicher 1,1 × (4 × Dimension + 8 × M) Bytes pro Vektor belegt, wobei die Formel wie folgt detailliert wird: 4 × Dimension entspricht dem Vektor in float32, 8 × M dem Overhead der Graphenverbindungen und 1,1 einer Marge von etwa 10 %. Laut Artikel entspricht eine Million Vektoren mit 1.536 Dimensionen, also der Ausgabegröße von OpenAIs text-embedding-3-large, etwa 6,1 GB vor Graphen-Overhead, und zehn Millionen etwa 60 GB. Der Graph selbst kann das 2- bis 5-fache der Größe der Rohvektoren wiegen.

Der Autor betont, dass die Suche nach hohem Rückruf (recall) die Kosten stark belastet. Bei standardmäßigen ANN-Benchmarks kann es seiner Meinung nach etwa das 7-fache an Durchsatz kosten, HNSW von 95 % auf 100 % Rückruf zu bringen.

Quantisierung und gestaffelte Speicherung

Die Quantisierung, bei der Vektoren komprimiert werden im Austausch für einen kontrollierten Genauigkeitsverlust, ist der effektivste Hebel. Lucene, die Engine hinter Elasticsearch, gibt an, dass seine skalare int8-Quantisierung den Speicher um etwa 75 % reduziert. Die binäre Quantisierung, die jede Dimension auf ein einzelnes Bit reduziert, erreicht einen Faktor von 32: Qdrant berichtet von einem recall@100 von 0,98 bei OpenAI-Embeddings mit 1.536 Dimensionen mit einem 4-fachen Oversampling. Elasticsearch kündigt für seine Better Binary Quantization die Reduzierung eines Datensatzes von 138M × 1024 Dimensionen von etwa 535 GB auf etwa 19 GB an.

Der andere Ansatz besteht darin, nicht alle Vektoren im Speicher zu halten. DiskANN, entwickelt von Microsoft, indiziert laut Quelle eine Milliarde Punkte auf einer einzigen Maschine mit 64 GB RAM und einer SSD, mit einem Rückruf von über 95 %. Amazon kündigt für S3 Vectors eine Kostensenkung von bis zu 90 % bei großen Vektordatensätzen an, auf Kosten einer höheren Latenz. OpenSearch nennt seinerseits eine p90-Latenz von 96 ms im Festplattenmodus gegenüber 24 ms im Speichermodus, eine Lücke, die für eine Agent-Reasoning-Schleife als akzeptabel gilt, nicht jedoch für interaktive Autovervollständigung.

Selbst verwalten oder einem Managed Service anvertrauen

Da die Engines denselben Algorithmus und denselben Komprimierungswerkzeugkasten übernommen haben, dreht sich die Wahl zwischen Managed Service und Self-Hosting nicht mehr um Funktionen. Sie dreht sich um die Verantwortung für die Speicherdimensionierung, die Neubewertung der Ergebnisse und die Aufteilung zwischen heißen und kalten Ebenen. Managed Services übernehmen die Bereitstellung; MongoDB hat beispielsweise seine dedizierten Search Nodes veröffentlicht, um den Vektordatenverkehr zu isolieren. Self-Hosting bietet alle Parameter, aber auch deren mögliche Fehler.

Laut Artikel hängt die Entscheidung vor allem von zwei Fragen ab: Sind die Vektoren bereits in einem operativen System gespeichert, das das Team betreibt, und wie hoch ist das Latenzbudget im Vergleich zur Kostenobergrenze?

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x