أصدرت Vercel Labs agent-desktop، أداة مفتوحة المصدر تعمل عبر سطر الأوامر (CLI) تتيح لوكلاء الذكاء الاصطناعي التحكم في تطبيقات سطح المكتب على macOS وWindows وLinux. في إصدارها 1.0.2، الذي نُشر في 30 أكتوبر 2026 تحت ترخيص Apache-2.0، لا تعتمد على لقطات الشاشة بل على شجرة الوصول لنظام التشغيل.
قراءة منظمة بدلاً من بصرية
شجرة الوصول هي وصف منظم لعناصر الواجهة، يتيحها النظام لأدوات المساعدة. يقوم agent-desktop بإرسال لقطة للوكيل بصيغة JSON، حيث يحصل كل عنصر يمكن التفاعل معه على مرجع، أو ref. تُحدد هذه المراجع بمعرف اللقطة، كما في المثال @s8f3k2p9:e8: يتم رفض المرجع غير الكامل، مثل @e8، برمز INVALID_ARGS.
عندما تتغير الواجهة، قد تُرجع العملية STALE_REF أو AMBIGUOUS_TARGET، ويجب على الوكيل حينها إنشاء لقطة جديدة. تشير الأخطاء أيضاً إلى ما إذا كانت محاولة جديدة آمنة. تُقدم الأداة كمكوّن يُستدعى من قبل الوكيل، وليست وكيلاً بحد ذاته: فهي لا تدمج أي نموذج لغوي ولا تحتوي على واجهة رسومية. مكتوبة بلغة Rust، وترافقها مكتبة C يمكن لبرامج Python وSwift وGo وRuby وNode استدعاؤها مباشرة.
تعمل على macOS 13+ وWindows 10 1809+ أو Server 2019+ وUbuntu 24.04+، على معمارية x64 وARM64، بدون GPU. على macOS، يجب منح إذن الوصول باستخدام الأمر agent-desktop permissions –guide.
توفير في استهلاك الرموز حسب الناشر
لتقليل حجم البيانات المرسلة إلى النموذج، الخيار –skeleton يقرأ فقط ثلاثة مستويات عمق. الحاويات غير المفتوحة تشير إلى عدد أبنائها ومرجع يسمح باستكشاف منطقة محددة. وفقاً لمصممه، التخفيض يصل إلى 78% إلى 96% من الرموز (وحدات النص المعالجة من قبل النماذج) مقارنة بالتصفح الكامل للشجرة في Slack وVS Code وNotion. بالنسبة لـ Apple Maps، يبلغ 3811 رمزاً لكل ملاحظة، مقابل 273 بهذه الطريقة. في مهمة محاكاة من 52 خطوة، ينخفض الاستهلاك من 198 ألف إلى 31 ألف رمز. هذه الأرقام معلنة ذاتياً وليست من معيار مستقل.
تشير وثائق Anthropic إلى أن لقطة الشاشة المستخدمة في أداتها لاستخدام الكمبيوتر تكلف حوالي 1000 إلى 1800 رمز كمدخل، وأن تعريف أداتها يضيف حوالي 4500 رمز لكل طلب. من جهتها، تقدم OpenAI إجراءات للنقر والإدخال والتمرير ينفذها كود المستخدم. تستخدم Microsoft UFO² أيضاً UI Automation، لكنها تُقدم كوكيل كامل لنظام Windows.
تتم الإجراءات على المراجع عبر API الوصول دون تحريك المؤشر أو أخذ التركيز، مما يسمح للوكيل بالعمل أثناء استمرار المستخدم في استخدام جهازه. الخيار العام –headed يسمح بالإدخال الفيزيائي إذا لزم الأمر. كل إجراء ينتظر حتى 5000 مللي ثانية لظهور الهدف، وتفعيله واستقراره.
يشير المشروع إلى عدة حدود. التطبيق الذي لا ينشر شجرة الوصول يظل غير متاح للأداة. التطبيق المبني على Chromium أو Electron عند تشغيله بارد قد يستغرق من 10 إلى 25 ثانية لعرض شجرته الويب. أخيراً، قد تحتوي اللقطات وقراءات الحافظة واللقطات على بيانات خاصة، توصي الوثائق بعدم تضمينها في السجلات العامة. الكود متوفر على مستودع GitHub الخاص بالمشروع. يتم التثبيت بالأمر npm install -g agent-desktop، ثم يكتشف الوكلاء الأداة عبر agent-desktop skills get desktop.
