Vercel Labs ha pubblicato agent-desktop, uno strumento open source a riga di comando (CLI) che consente agli agenti di intelligenza artificiale di controllare applicazioni desktop su macOS, Windows e Linux. Nella versione 1.0.2, rilasciata il 30 ottobre 2026 sotto licenza Apache-2.0, non si basa su screenshot ma sull’albero di accessibilità del sistema operativo.
Una lettura strutturata anziché visiva
L’albero di accessibilità è una descrizione strutturata degli elementi di un’interfaccia, messa a disposizione dal sistema per gli strumenti di assistenza. agent-desktop trasmette all’agente un’istantanea in formato JSON, in cui ogni elemento su cui può agire riceve un riferimento, o ref. Questi riferimenti sono qualificati dall’identificativo dell’istantanea, come nell’esempio @s8f3k2p9:e8: un riferimento incompleto, come @e8, viene rifiutato con il codice INVALID_ARGS.
Quando l’interfaccia cambia, un’azione può restituire STALE_REF o AMBIGUOUS_TARGET, e l’agente deve quindi stabilire una nuova istantanea. Gli errori indicano anche se un nuovo tentativo è sicuro. Lo strumento si presenta come un componente chiamato dall’agente, e non come un agente: non integra alcun modello linguistico e non dispone di alcuna interfaccia grafica. Scritto in Rust, è accompagnato da una libreria C che programmi in Python, Swift, Go, Ruby o Node possono chiamare direttamente.
Funziona su macOS 13+, Windows 10 1809+ o Server 2019+, Ubuntu 24.04+, sulle architetture x64 e ARM64, senza GPU. Su macOS, l’autorizzazione di accessibilità deve essere concessa, con il comando agent-desktop permissions –guide.
Risparmi di token annunciati dall’editore
Per limitare il volume di dati trasmessi al modello, l’opzione –skeleton legge solo tre livelli di profondità. I contenitori non aperti indicano il loro numero di figli e un riferimento per esplorare un’area specifica. Secondo il suo progettista, la riduzione raggiunge dal 78% al 96% di token (unità di testo elaborate dai modelli) rispetto a una scansione completa dell’albero in Slack, VS Code e Notion. Per Apple Maps, riporta 3.811 token per osservazione, contro 273 con questo metodo. Su un’attività simulata di 52 passaggi, il consumo passa da 198k a 31k token. Questi dati sono auto-dichiarati e non provengono da un benchmark indipendente.
La documentazione di Anthropic indica che uno screenshot utilizzato dal suo strumento di utilizzo del computer costa circa 1.000-1.800 token in input, e che la sua definizione dello strumento aggiunge circa 4.500 token per richiesta. OpenAI propone invece azioni di clic, digitazione e scorrimento che il codice dell’utente esegue. Microsoft UFO² utilizza anch’esso UI Automation, ma si presenta come un agente completo per Windows.
Le azioni sui riferimenti passano attraverso l’API di accessibilità senza spostare il puntatore né acquisire il focus, consentendo all’agente di lavorare mentre l’utente continua a utilizzare il proprio computer. L’opzione globale –headed autorizza un input fisico se necessario. Ogni azione attende inoltre fino a 5.000 ms che un target sia visibile, attivo e stabile.
Il progetto segnala diversi limiti. Un’applicazione che non pubblica un albero di accessibilità rimane inaccessibile allo strumento. Un’applicazione Chromium o Electron avviata a freddo può impiegare dai 10 ai 25 secondi per esporre il proprio albero web. Infine, le istantanee, le letture degli appunti e le catture possono contenere dati privati, che la documentazione raccomanda di tenere lontani dai log pubblici. Il codice è disponibile sul repository GitHub del progetto. L’installazione avviene con il comando npm install -g agent-desktop, quindi gli agenti scoprono lo strumento grazie a agent-desktop skills get desktop.
