Vercel Labs heeft agent-desktop uitgebracht, een open source commandoregelhulpmiddel (CLI) waarmee AI-agents desktopapplicaties op macOS, Windows en Linux kunnen bedienen. In versie 1.0.2, uitgebracht op 30 oktober 2026 onder de Apache-2.0-licentie, maakt het geen gebruik van schermafbeeldingen maar van de toegankelijkheidsboom van het besturingssysteem.
Een gestructureerde in plaats van visuele lezing
De toegankelijkheidsboom is een gestructureerde beschrijving van de elementen van een interface, die het systeem beschikbaar stelt aan hulpmiddelen. agent-desktop geeft aan de agent een momentopname in JSON-formaat door, waarin elk element waarop het kan inwerken een referentie, of ref, krijgt. Deze referenties worden gekwalificeerd door de identifier van de momentopname, zoals in het voorbeeld @s8f3k2p9:e8: een onvolledige referentie, zoals @e8, wordt geweigerd met de code INVALID_ARGS.
Wanneer de interface verandert, kan een actie STALE_REF of AMBIGUOUS_TARGET teruggeven, en moet de agent dan een nieuwe momentopname maken. Fouten geven ook aan of een nieuwe poging veilig is. Het hulpmiddel presenteert zich als een component dat door de agent wordt aangeroepen, en niet als een agent zelf: het bevat geen taalmodel en heeft geen grafische interface. Geschreven in Rust, wordt het vergezeld door een C-bibliotheek die programma’s in Python, Swift, Go, Ruby of Node direct kunnen aanroepen.
Het werkt op macOS 13+, Windows 10 1809+ of Server 2019+, Ubuntu 24.04+, op de architecturen x64 en ARM64, zonder GPU. Op macOS moet de toegankelijkheidsmachtiging worden verleend, met het commando agent-desktop permissions –guide.
Tokenbesparingen aangekondigd door de uitgever
Om het volume gegevens dat naar het model wordt verzonden te beperken, leest de optie –skeleton slechts drie diepteniveaus. Niet-geopende containers geven hun aantal kinderen en een referentie aan om een specifiek gebied te verkennen. Volgens de ontwerper bereikt de reductie 78% tot 96% tokens (teksteenheden verwerkt door de modellen) in vergelijking met een volledige doorloop van de boom in Slack, VS Code en Notion. Voor Apple Maps meldt het 3.811 tokens per observatie, tegen 273 met deze methode. Op een gesimuleerde taak van 52 stappen daalt het verbruik van 198k naar 31k tokens. Deze cijfers zijn zelfgerapporteerd en komen niet uit een onafhankelijke benchmark.
De documentatie van Anthropic geeft aan dat een schermafbeelding gebruikt door zijn ‘computer use’-tool ongeveer 1.000 tot 1.800 inputtokens kost, en dat de tooldefinitie ongeveer 4.500 tokens per aanvraag toevoegt. OpenAI biedt aan zijn kant klik-, invoer- en scrollacties aan die de code van de gebruiker uitvoert. Microsoft UFO² gebruikt ook UI Automation, maar presenteert zich als een volledige agent voor Windows.
Acties op referenties verlopen via de toegankelijkheids-API zonder de muisaanwijzer te verplaatsen of de focus te nemen, waardoor de agent kan werken terwijl de gebruiker zijn machine blijft gebruiken. De globale optie –headed staat fysieke invoer toe indien nodig. Elke actie wacht bovendien maximaal 5.000 ms tot een doel zichtbaar, actief en stabiel is.
Het project signaleert verschillende beperkingen. Een applicatie die geen toegankelijkheidsboom publiceert, blijft ontoegankelijk voor het hulpmiddel. Een Chromium- of Electron-applicatie die koud wordt opgestart, kan 10 tot 25 seconden nodig hebben om zijn webboom bloot te leggen. Ten slotte kunnen momentopnamen, lezingen van het klembord en schermafbeeldingen privégegevens bevatten, die de documentatie aanbeveelt buiten openbare logs te houden. De code is beschikbaar in het GitHub-archief van het project. Installatie gebeurt met het commando npm install -g agent-desktop, waarna agents het hulpmiddel ontdekken via agent-desktop skills get desktop.
