Vercel Labs hat agent-desktop veröffentlicht, ein quelloffenes Kommandozeilenwerkzeug (CLI), das KI-Agenten ermöglicht, Desktop-Anwendungen unter macOS, Windows und Linux zu steuern. In Version 1.0.2, veröffentlicht am 30. Oktober 2026 unter der Apache-2.0-Lizenz, verlässt es sich nicht auf Screenshots, sondern auf den Barrierefreiheitsbaum des Betriebssystems.
Strukturelles statt visuelles Lesen
Der Barrierefreiheitsbaum ist eine strukturierte Beschreibung der Elemente einer Benutzeroberfläche, die das System Hilfsmitteln bereitstellt. agent-desktop übermittelt dem Agenten eine Momentaufnahme im JSON-Format, in der jedes Element, auf das er einwirken kann, eine Referenz oder ref erhält. Diese Referenzen werden durch die ID der Momentaufnahme qualifiziert, wie im Beispiel @s8f3k2p9:e8: Eine unvollständige Referenz wie @e8 wird mit dem Code INVALID_ARGS abgelehnt.
Wenn sich die Oberfläche ändert, kann eine Aktion STALE_REF oder AMBIGUOUS_TARGET zurückgeben, und der Agent muss dann eine neue Momentaufnahme erstellen. Fehler zeigen auch an, ob ein erneuter Versuch risikolos ist. Das Werkzeug präsentiert sich als eine vom Agenten aufgerufene Komponente, nicht als ein Agent selbst: Es enthält kein Sprachmodell und verfügt über keine grafische Oberfläche. In Rust geschrieben, wird es von einer C-Bibliothek begleitet, die Programme in Python, Swift, Go, Ruby oder Node direkt aufrufen können.
Es läuft auf macOS 13+, Windows 10 1809+ oder Server 2019+, Ubuntu 24.04+, auf den Architekturen x64 und ARM64, ohne GPU. Unter macOS muss die Barrierefreiheitsberechtigung erteilt werden, mit dem Befehl agent-desktop permissions –guide.
Vom Herausgeber angekündigte Token-Einsparungen
Um das an das Modell übertragene Datenvolumen zu begrenzen, liest die Option –skeleton nur drei Tiefenebenen. Nicht geöffnete Container geben ihre Anzahl an Kindelementen und eine Referenz zum Erkunden eines bestimmten Bereichs an. Laut seinem Entwickler erreicht die Reduktion 78 % bis 96 % an Tokens (von Modellen verarbeitete Texteinheiten) im Vergleich zu einer vollständigen Traversierung des Baums in Slack, VS Code und Notion. Für Apple Maps berichtet er von 3.811 Tokens pro Beobachtung gegenüber 273 mit dieser Methode. Bei einer simulierten Aufgabe mit 52 Schritten sinkt der Verbrauch von 198k auf 31k Tokens. Diese Zahlen sind selbstdeklariert und stammen nicht aus einem unabhängigen Benchmark.
Die Dokumentation von Anthropic gibt an, dass ein von ihrem Computer-Nutzungswerkzeug verwendeter Screenshot etwa 1.000 bis 1.800 Eingabe-Tokens kostet und dass seine Werkzeugdefinition etwa 4.500 Tokens pro Anfrage hinzufügt. OpenAI bietet seinerseits Klick-, Eingabe- und Scroll-Aktionen an, die der Benutzercode ausführt. Microsoft UFO² nutzt ebenfalls UI Automation, präsentiert sich aber als vollständiger Agent für Windows.
Aktionen auf Referenzen erfolgen über die Barrierefreiheits-API, ohne den Zeiger zu bewegen oder den Fokus zu übernehmen, sodass der Agent arbeiten kann, während der Benutzer seinen Computer weiter nutzt. Die globale Option –headed erlaubt bei Bedarf physische Eingaben. Jede Aktion wartet außerdem bis zu 5.000 ms, bis ein Ziel sichtbar, aktiv und stabil ist.
Das Projekt weist auf mehrere Einschränkungen hin. Eine Anwendung, die keinen Barrierefreiheitsbaum bereitstellt, bleibt für das Werkzeug unzugänglich. Eine kalt gestartete Chromium- oder Electron-Anwendung kann 10 bis 25 Sekunden benötigen, um ihren Web-Baum verfügbar zu machen. Schließlich können Momentaufnahmen, Lesevorgänge der Zwischenablage und Screenshots private Daten enthalten, die laut Dokumentation von öffentlichen Logs ferngehalten werden sollten. Der Code ist im GitHub-Repository des Projekts verfügbar. Die Installation erfolgt mit dem Befehl npm install -g agent-desktop, dann entdecken Agenten das Werkzeug über agent-desktop skills get desktop.
