A Vercel Labs lançou o agent-desktop, uma ferramenta open source de linha de comandos (CLI) que permite que agentes de inteligência artificial controlem aplicações de ambiente de trabalho no macOS, Windows e Linux. Na sua versão 1.0.2, lançada a 30 de outubro de 2026 sob licença Apache-2.0, não se baseia em capturas de ecrã, mas sim na árvore de acessibilidade do sistema operativo.
Uma leitura estruturada em vez de visual
A árvore de acessibilidade é uma descrição estruturada dos elementos de uma interface, que o sistema disponibiliza para ferramentas de assistência. O agent-desktop transmite ao agente um instantâneo no formato JSON, no qual cada elemento sobre o qual pode atuar recebe uma referência, ou ref. Estas referências são qualificadas pelo identificador do instantâneo, como no exemplo @s8f3k2p9:e8: uma referência incompleta, como @e8, é rejeitada com o código INVALID_ARGS.
Quando a interface muda, uma ação pode devolver STALE_REF ou AMBIGUOUS_TARGET, e o agente deve então estabelecer um novo instantâneo. Os erros também indicam se uma nova tentativa é segura. A ferramenta apresenta-se como um componente chamado pelo agente, e não como um agente: não integra nenhum modelo de linguagem e não dispõe de nenhuma interface gráfica. Escrito em Rust, é acompanhado por uma biblioteca C que programas em Python, Swift, Go, Ruby ou Node podem chamar diretamente.
Funciona no macOS 13+, Windows 10 1809+ ou Server 2019+, Ubuntu 24.04+, nas arquiteturas x64 e ARM64, sem GPU. No macOS, a permissão de acessibilidade deve ser concedida, com o comando agent-desktop permissions –guide.
Economias de tokens anunciadas pelo editor
Para limitar o volume de dados transmitidos ao modelo, a opção –skeleton lê apenas três níveis de profundidade. Os contentores não abertos indicam o seu número de filhos e uma referência que permite explorar uma zona específica. Segundo o seu criador, a redução atinge 78% a 96% de tokens (unidades de texto processadas pelos modelos) em comparação com uma travessia completa da árvore no Slack, VS Code e Notion. Para o Apple Maps, reporta 3.811 tokens por observação, contra 273 com este método. Numa tarefa simulada de 52 etapas, o consumo passa de 198k para 31k tokens. Estes números são auto-declarados e não provêm de um benchmark independente.
A documentação da Anthropic indica que uma captura de ecrã usada pela sua ferramenta de utilização do computador custa cerca de 1.000 a 1.800 tokens na entrada, e que a sua definição de ferramenta adiciona cerca de 4.500 tokens por pedido. A OpenAI propõe, por sua vez, ações de clique, entrada e deslocamento que o código do utilizador executa. O Microsoft UFO² também utiliza UI Automation, mas apresenta-se como um agente completo para Windows.
As ações sobre referências passam pela API de acessibilidade sem mover o ponteiro nem tomar o foco, o que permite que o agente trabalhe enquanto o utilizador continua a utilizar a sua máquina. A opção global –headed autoriza uma entrada física se necessário. Cada ação aguarda até 5.000 ms para que um alvo esteja visível, ativo e estável.
O projeto assinala várias limitações. Uma aplicação que não publique uma árvore de acessibilidade permanece inacessível à ferramenta. Uma aplicação Chromium ou Electron iniciada a frio pode demorar de 10 a 25 segundos a expor a sua árvore web. Por fim, os instantâneos, as leituras da área de transferência e as capturas podem conter dados privados, que a documentação recomenda manter afastados de registos públicos. O código está disponível no repositório GitHub do projeto. A instalação faz-se com o comando npm install -g agent-desktop, e depois os agentes descobrem a ferramenta através de agent-desktop skills get desktop.
