في مواجهة ارتفاع الإنفاق المرتبط بالذكاء الاصطناعي، فإن الاستجابة الأكثر شيوعًا تتمثل في تقييد الاستخدام: سقوف الاستهلاك، وعدد المقاعد، والموافقات قبل تشغيل الوكلاء. ومع ذلك، يمكن لهذه القيود غير المتباينة أن تعيق استخدامات مفيدة وتقيس المؤشر الخاطئ، وفقًا للتحليل.
التكلفة لكل رمز (وحدة نصية يعالجها نموذج لغوي) تقيس الاستهلاك، وليس النتائج. جزء من الإنفاق يتوافق مع هدر، مثل إعادة إطلاق الاستفسارات أو الحلقات غير المنضبطة، بينما يمثل الجزء الآخر العمل الفعلي لتسليم برنامج. لا يمكن للعداد التمييز بينهما، ولا يمكن لسقف الإنفاق ذلك أيضًا.
قياس البرنامج المسلَّم
مؤشر أكثر ملاءمة سيكون التكلفة لكل طلب دمج مقبول، أي التكلفة الإجمالية للتطوير بمساعدة الذكاء الاصطناعي مقسومة على عدد التعديلات التي تمر المراجعة وتُدمج في الكود، وتسمى « طلبات السحب » في المصطلحات التقنية. يجب تتبع التعديلات والعيوب بالتوازي، حتى لا تخفي التعديلات الأقل تكلفة انخفاضًا في الجودة.
إذا انخفضت هذه التكلفة بينما يزداد الاستخدام، دون تدهور في الجودة، فإن المطورين يحولون المزيد من الاستهلاك إلى برنامج مفيد. لذا فإن السؤال ليس عدد الرموز المستخدمة، بل مقدار العمل المنجز الذي ينتجه الاستثمار. لتحسين هذا التوازن، يُطرح رافعتان: تخصيص الاستدلال المكلف للمهام التي تحتاجه، وتقليل تكلفة العمل الروتيني.
تخصيص النموذج للمهمة
التطوير الوكيلي، حيث يكتب الوكيل ويعدل الكود بشكل مستقل، لا يتطلب النموذج الأقوى في كل خطوة. يمكن تخصيص نموذج متقدم، أو نموذج رئيسي مستضاف محليًا عندما تفرضه سياسة الشركة، للتخطيط المعقد والاستدلال غير المسبوق. يمكن تكليف المهام الأبسط، مثل توليد الكود، أو إنشاء الاختبارات، أو إعادة الهيكلة المتكررة، لنماذج الأوزان المفتوحة (« open-weight »)، التي تشغلها الشركة مباشرة.
يمكن لبوابة، أو « gateway »، توجيه كل طلب حسب تعقيده، وحساسية البيانات، وتكلفته، وزمن التأخير. وبالتالي يُستخدم النموذج الأول فقط عندما يبرر الموقف ذلك. كما يلخص المؤلف: « Meter the exception, not the workload »، أي: قِس الاستثناء، وليس عبء العمل.
نماذج الأوزان المفتوحة تجعل هذا التوزيع ممكنًا بشكل متزايد. وفقًا لمعايير هندسة البرمجيات المذكورة، يمكن لأفضلها الاقتراب من الأداء المتقدم في بعض المهام. هذا الاستنتاج لا يضمن التكافؤ على جميع مستودعات الكود ولا على جميع سير العمل. لذلك يُوصى بتقييم المرشحين على الكود الخاص، والاختبارات الخاصة، ومعايير القبول الخاصة قبل تكليفهم بعمل في الإنتاج.
تغيير اقتصاديات الاستخدامات المتكررة
يبقى تحديد من يملك قدرة الحوسبة. مع الاستدلال المؤجر، يضيف كل استدعاء إلى الفاتورة. مع القدرة المملوكة، يتم تحمل الجزء الأكبر من التكلفة مقدمًا، بحيث يصبح كل استدعاء إضافي أرخص مع زيادة الاستخدام.
