Dedykowane bazy danych wektorowych tracą grunt pod nogami. Wyszukiwanie przybliżonych najbliższych sąsiadów (ANN, dla approximate nearest neighbor) stało się teraz typem danych oferowanym przez silniki, których zespoły już używają, takie jak Postgres, Elasticsearch, OpenSearch, ClickHouse, MongoDB czy Redis. Według artykułu opublikowanego przez The AI / news, koszt nadal zależy od pamięci potrzebnej do przechowywania wektorów.
Kategoria wchłonięta przez istniejące silniki
Dedykowane bazy wektorowe stanowiły odrębną kategorię. Pinecone uruchomił swoją usługę zarządzaną w 2021 roku i w dużej mierze nadał nazwę temu segmentowi, podczas gdy Milvus, Weaviate i Qdrant pojawiły się mniej więcej w tym samym okresie. Ustaleni gracze szybko nadrobili zaległości. Elasticsearch zintegrował przybliżone wyszukiwanie k-NN oparte na algorytmie grafu HNSW (Hierarchical Navigable Small World), OpenSearch oferuje wtyczkę k-NN od wersji 1.0, a pgvector dodaje HNSW do Postgres od wersji 0.5.0 (sierpień 2023). MongoDB Atlas Vector Search jest dostępny w wersji general availability od grudnia 2023, a ClickHouse udostępnił swój indeks HNSW w wersji 25.8.
Ta konsolidacja wynika mniej z równości funkcjonalności, a bardziej z natury zastosowań. Systemy wyszukiwania w praktyce łączą wyszukiwanie wektorowe, filtrowanie strukturalne, ocenę leksykalną i agregacje. Osobna baza wymusza podwójne zapisy, drugi model spójności i dodatkowe narzędzie do monitorowania.
Pamięć, główna pozycja kosztów
HNSW opiera się na grafie przeglądanym od węzła do węzła, operacji, która jest szybka tylko wtedy, gdy graf i jego wektory pozostają w pamięci operacyjnej (RAM). Gdy tylko dane trafiają na dysk, opóźnienie zależy głównie od błędów stron, a nie od obliczania odległości. Zapotrzebowanie na pamięć rośnie więc wraz z liczbą wektorów i ich wymiarem.
OpenSearch wskazuje, że indeks HNSW w pamięci zajmuje 1,1 × (4 × wymiar + 8 × M) bajtów na wektor, przy czym formuła jest szczegółowo opisana: 4 × wymiar odpowiada wektorowi w float32, 8 × M to narzut połączeń grafu, a 1,1 to margines około 10%. Według artykułu, milion wektorów o 1536 wymiarach, czyli rozmiarze wyjściowym text-embedding-3-large od OpenAI, reprezentuje około 6,1 GB przed narzutem grafu, a dziesięć milionów około 60 GB. Sam graf może ważyć 2 do 5 razy więcej niż surowe wektory.
Autor podkreśla, że wyszukiwanie pod kątem przywołania (recall) znacząco wpływa na koszty. Na standardowych benchmarkach ANN, zwiększenie przywołania HNSW z 95% do 100% może, jego zdaniem, kosztować około 7-krotnie więcej pod względem przepustowości.
Kwantyzacja i pamięć hierarchiczna
Kwantyzacja, która polega na kompresji wektorów w zamian za kontrolowaną utratę precyzji, jest najbardziej efektywną dźwignią. Lucene, silnik leżący u podstaw Elasticsearch, wskazuje, że jego skalarna kwantyzacja int8 redukuje pamięć o około 75%. Kwantyzacja binarna, która sprowadza każdy wymiar do pojedynczego bitu, osiąga współczynnik 32: Qdrant raportuje recall@100 na poziomie 0,98 dla embeddingów OpenAI o 1536 wymiarach z 4-krotnym nadpróbkowaniem. Elasticsearch zapowiada dla swojej Better Binary Quantization zmniejszenie zbioru danych 138M × 1024 wymiary z około 535 GB do około 19 GB.
Innym podejściem jest nieumieszczanie wszystkich wektorów w pamięci. DiskANN, opracowany przez Microsoft, indeksuje według źródła miliard punktów na jednej maszynie o 64 GB pamięci RAM z SSD, z przywołaniem powyżej 95%. Amazon zapowiada dla S3 Vectors redukcję kosztów nawet do 90% dla dużych zbiorów wektorów, kosztem wyższego opóźnienia. OpenSearch z kolei podaje opóźnienie p90 na poziomie 96 ms w trybie dyskowym, wobec 24 ms w pamięci, różnica uznana za akceptowalną dla pętli rozumowania agenta, ale nie dla interaktywnego autouzupełniania.
Zarządzać samodzielnie czy powierzyć usłudze zarządzanej
Ponieważ silniki przyjęły ten sam algorytm i ten sam zestaw narzędzi kompresji, wybór między rozwiązaniem zarządzanym a samodzielnym hostowaniem nie dotyczy już funkcjonalności. Dotyczy on odpowiedzialności za dobór pamięci, ponowną ocenę wyników oraz podział między poziomy gorące i zimne. Usługi zarządzane obejmują provisioning; MongoDB opublikował na przykład dedykowane Search Nodes, aby izolować ruch wektorowy. Samodzielne hostowanie oferuje wszystkie parametry, ale także możliwe błędy w ich ustawieniu.
Według artykułu, decyzja zależy głównie od dwóch pytań: czy wektory są już przechowywane w systemie operacyjnym, którym zarządza zespół, oraz jaki jest budżet opóźnienia w stosunku do pułapu kosztów?
