ベクトル検索はデータタイプに進化するも、経済的方程式は依然として解決されず

ベクトル検索はデータタイプに進化するも、経済的方程式は依然として解決されず
1 分の読書

専用のベクトルデータベースは勢いを失いつつある。 近似最近傍探索(ANN、approximate nearest neighbor)は、Postgres、Elasticsearch、OpenSearch、ClickHouse、MongoDB、Redisなど、既にチームが使用しているエンジンが提供するデータタイプとなっている。The Next Platformが掲載した記事によると、コストは依然としてベクトルを格納するために必要なメモリに依存している。

既存エンジンに吸収されたカテゴリー

専用のベクトルデータベースは独立したカテゴリーを形成していた。Pineconeは2021年にマネージドサービスを開始し、この分野の名前を広く知らしめた。一方、Milvus、Weaviate、Qdrantもほぼ同時期に登場した。既存のプレイヤーは迅速にこの遅れを埋めた。ElasticsearchはHNSW(Hierarchical Navigable Small World)グラフアルゴリズムに基づくk-NN近似検索を統合し、OpenSearchはバージョン1.0からk-NNプラグインを提供、pgvectorはPostgresにバージョン0.5.0(2023年8月)からHNSWを追加した。MongoDB Atlas Vector Searchは2023年12月に一般提供され、ClickHouseはバージョン25.8でHNSWインデックスを利用可能にした。

この統合は機能の均等化というよりも利用形態の性質によるものだ。検索システムは実際にはベクトル検索、構造化フィルター、語彙スコアリング、集計を組み合わせている。別のデータベースを用いると二重書き込み、別の整合性モデル、追加の監視ツールが必要になる。

メモリが最大のコスト要因

HNSWはノード間を巡回するグラフに基づいており、グラフとベクトルがRAMに保持されている場合にのみ高速に動作する。データがディスクに移ると、レイテンシは距離計算よりもページフォールトに依存する。したがって、メモリ需要はベクトル数と次元数に比例して増加する。

OpenSearchによれば、メモリ上のHNSWインデックスはベクトル1つあたり1.1 × (4 × 次元 + 8 × M)バイトを占める。ここで4 × 次元はfloat32のベクトル、8 × Mはグラフの接続オーバーヘッド、1.1は約10%のマージンを示す。記事によると、OpenAIのtext-embedding-3-largeの出力サイズである1536次元のベクトル100万個はグラフオーバーヘッド前で約6.1GB、1000万個では約60GBになる。グラフ自体は生ベクトルの2~5倍のサイズになる可能性がある。

著者はリコール(recall)がコストに大きく影響すると指摘している。標準的なANNベンチマークでは、HNSWのリコールを95%から100%に上げると、スループットが約7倍かかる可能性があるという。

量子化と階層的ストレージ

精度の制御された損失と引き換えにベクトルを圧縮する量子化は最も効果的な手段だ。Elasticsearchの基盤であるLuceneは、スカラーint8量子化でメモリを約75%削減できると述べている。各次元を1ビットに圧縮するバイナリ量子化は32倍の削減を達成する。QdrantはOpenAIの1536次元埋め込みに対し4倍のオーバーサンプリングでリコール@100が0.98であると報告している。ElasticsearchはBetter Binary Quantizationにより、138M×1024次元のデータセットを約535GBから約19GBに削減したと発表している。

もう一つの方法は全ベクトルをメモリに置かないことだ。MicrosoftのDiskANNは情報源によれば64GBメモリとSSDを搭載した単一マシンで10億ポイントをインデックスし、95%以上のリコールを達成している。AmazonはS3 Vectorsで大規模ベクトルセットのコストを最大90%削減可能とし、レイテンシは増加する。OpenSearchはディスクモードでのp90レイテンシが96ms、メモリモードで24msであるとし、これはエージェントの推論ループには許容されるが、インタラクティブなオートコンプリートには不適切と評価している。

自前運用かマネージドサービスか

同じアルゴリズムと圧縮ツールセットを採用するエンジン間では、マネージドか自前かの選択は機能ではなく、メモリサイズの責任、結果の再評価、ホット・コールド層の分配に関わる。マネージドサービスはプロビジョニングを担当し、MongoDBはベクトルトラフィックを分離する専用Search Nodesを公開している。自前運用は全パラメータを制御できるが、誤設定のリスクも伴う。

記事によれば、決定は主に二つの問いに依存する。ベクトルは既にチームが運用するシステムに格納されているか、そしてレイテンシ予算はコスト上限に対してどの程度か、である。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x