The AI / news

البحث المتجهي يصبح نوع بيانات، لكن المعادلة الاقتصادية لا تزال قائمة

البحث المتجهي يصبح نوع بيانات، لكن المعادلة الاقتصادية لا تزال قائمة
4 دقيقة للقراءة

قواعد البيانات المتجهية المخصصة تفقد أرضيتها. أصبح البحث عن الجيران التقريبي (ANN، اختصارًا لـ approximate nearest neighbor) الآن نوع بيانات تقدمه محركات تستخدمها الفرق بالفعل، مثل Postgres وElasticsearch وOpenSearch وClickHouse وMongoDB أو Redis. وفقًا للمقال المنشور في The Next Platform، فإن التكلفة تعتمد دائمًا على الذاكرة اللازمة لتخزين المتجهات.

فئة تم استيعابها بواسطة المحركات الحالية

شكلت قواعد البيانات المتجهية المخصصة فئة قائمة بذاتها. أطلقت Pinecone خدمتها المدارة في 2021 وارتبط اسمها بشكل كبير بهذا القطاع، بينما ظهرت Milvus وWeaviate وQdrant في الفترة نفسها تقريبًا. سرعان ما عوض اللاعبون الراسخون هذا التأخر. أدمجت Elasticsearch بحثًا تقريبيًا k-NN يعتمد على خوارزمية الرسم البياني HNSW (Hierarchical Navigable Small World)، ويقدم OpenSearch إضافة k-NN منذ إصداره 1.0، وأضاف pgvector خوارزمية HNSW إلى Postgres منذ الإصدار 0.5.0 (أغسطس 2023). أصبح MongoDB Atlas Vector Search متاحًا بشكل عام منذ ديسمبر 2023، وجعل ClickHouse فهرسه HNSW متاحًا في الإصدار 25.8.

يرجع هذا التوحيد أقل إلى تكافؤ الميزات منه إلى طبيعة الاستخدامات. تمزج أنظمة البحث عمليًا بين البحث المتجهي، والمرشحات المنظمة، والتقييم المعجمي، والتجميعات. تفرض قاعدة بيانات منفصلة كتابات مكررة، ونموذجًا ثانيًا للاتساق، وأداة مراقبة إضافية.

الذاكرة، البند الرئيسي للنفقات

تعتمد خوارزمية HNSW على رسم بياني يتم اجتيازه من عقدة إلى أخرى، وهي عملية تكون سريعة فقط إذا بقي الرسم البياني ومتجهاته في الذاكرة العشوائية (RAM). بمجرد انتقال البيانات إلى القرص، تعتمد زمن الوصول بشكل أساسي على أخطاء الصفحة بدلاً من حساب المسافات. وبالتالي، تزداد الحاجة إلى الذاكرة مع عدد المتجهات وأبعادها.

يشير OpenSearch إلى أن فهرس HNSW في الذاكرة يشغل 1.1 × (4 × البعد + 8 × M) بايت لكل متجه، حيث يتم تفصيل الصيغة كالتالي: 4 × البعد يتوافق مع المتجه بتنسيق float32، و8 × M يتوافق مع حمل اتصالات الرسم البياني، و1.1 يمثل هامشًا بنحو 10%. وفقًا للمقال، يمثل مليون متجه بأبعاد 1536، وهو حجم مخرج text-embedning-3-large الخاص بـ OpenAI، حوالي 6.1 جيجابايت قبل حمل الرسم البياني، وعشرة ملايين متجه حوالي 60 جيجابايت. يمكن أن يزن الرسم البياني نفسه من 2 إلى 5 أضعاف حجم المتجهات الخام.

يشير المؤلف إلى أن البحث عن الاسترجاع (recall) يثقل كاهل التكاليف. على معايير ANN القياسية، يمكن أن يكلف رفع نسبة الاسترجاع في HNSW من 95% إلى 100%، حسب قوله، حوالي 7 أضعاف في الإنتاجية.

التكميم والتخزين الطبقي

يعد التكميم، الذي يعني ضغط المتجهات مقابل فقدان محكوم للدقة، الرافعة الأكثر فعالية. يشير Lucene، المحرك الذي يعتمد عليه Elasticsearch، إلى أن تكميمه القياسي int8 يقلل الذاكرة بنحو 75%. التكميم الثنائي، الذي يختزل كل بُعد إلى بت واحد فقط، يحقق عاملًا قدره 32: يذكر Qdrant تحقيق نسبة استرجاع@100 تبلغ 0.98 على تضمينات OpenAI ذات الأبعاد 1536 مع زيادة في أخذ العينات بمقدار 4×. تعلن Elasticsearch عن أن تكميمها الثنائي الأفضل يحول مجموعة بيانات بحجم 138 مليونًا × 1024 بُعدًا من حوالي 535 جيجابايت إلى حوالي 19 جيجابايت.

المسار الآخر هو عدم وضع جميع المتجهات في الذاكرة. DiskANN، الذي طورته Microsoft، يفهرس حسب المصدر مليار نقطة على جهاز واحد بسعة 64 جيجابايت مرتبط بقرص SSD، مع نسبة استرجاع تزيد عن 95%. تعلن Amazon عن انخفاض في التكلفة قد يصل إلى 90% لمجموعات المتجهات الكبيرة مع S3 Vectors، مقابل زمن وصول أعلى. من جانبها، تذكر OpenSearch زمن وصول p90 يبلغ 96 مللي ثانية في وضع القرص، مقابل 24 مللي ثانية في الذاكرة، وهو فارق يعتبر مقبولاً لحلقة تفكير وكيل، ولكن ليس للإكمال التلقائي التفاعلي.

إدارة الذات أو تفويضها لخدمة مدارة

نظرًا لأن المحركات تبنت نفس الخوارزمية ونفس مجموعة أدوات الضغط، فإن الاختيار بين الحل المدار والذاتي الاستضافة لم يعد يعتمد على الميزات. إنه يعتمد على مسؤولية تحديد حجم الذاكرة، وإعادة تقييم النتائج، والتوزيع بين المستويات الساخنة والباردة. تتولى الخدمات المدارة مهمة التوفير؛ فقد أصدرت MongoDB عقد البحث المخصصة الخاصة بها لعزل حركة المرور المتجهية. يوفر الاستضافة الذاتية جميع المعلمات، ولكن أيضًا أخطاءها المحتملة.

وفقًا للمقال، يعتمد القرار بشكل أساسي على سؤالين: هل المتجهات مخزنة بالفعل في نظام تشغيلي تديره الفريق، وما هو ميزانية زمن الوصول مقارنة بسقف التكلفة؟

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x