Vercel Labs ha publicado agent-desktop, una herramienta de línea de comandos (CLI) de código abierto que permite a agentes de inteligencia artificial controlar aplicaciones de escritorio en macOS, Windows y Linux. En su versión 1.0.2, publicada el 30 de octubre de 2026 bajo licencia Apache-2.0, no se basa en capturas de pantalla sino en el árbol de accesibilidad del sistema operativo.
Una lectura estructurada en lugar de visual
El árbol de accesibilidad es una descripción estructurada de los elementos de una interfaz, que el sistema pone a disposición de las herramientas de asistencia. agent-desktop transmite al agente una instantánea en formato JSON, en la que cada elemento sobre el que puede actuar recibe una referencia, o ref. Estas referencias se califican con el identificador de la instantánea, como en el ejemplo @s8f3k2p9:e8: una referencia incompleta, como @e8, es rechazada con el código INVALID_ARGS.
Cuando la interfaz cambia, una acción puede devolver STALE_REF o AMBIGUOUS_TARGET, y entonces el agente debe establecer una nueva instantánea. Los errores también indican si un reintento es seguro. La herramienta se presenta como un componente llamado por el agente, y no como un agente: no integra ningún modelo de lenguaje y no dispone de ninguna interfaz gráfica. Escrito en Rust, está acompañado de una biblioteca C que programas en Python, Swift, Go, Ruby o Node pueden llamar directamente.
Funciona en macOS 13+, Windows 10 1809+ o Server 2019+, Ubuntu 24.04+, en las arquitecturas x64 y ARM64, sin GPU. En macOS, se debe conceder el permiso de accesibilidad, con el comando agent-desktop permissions –guide.
Ahorros de tokens anunciados por el editor
Para limitar el volumen de datos transmitidos al modelo, la opción –skeleton solo lee tres niveles de profundidad. Los contenedores no abiertos indican su número de hijos y una referencia que permite explorar un área específica. Según su diseñador, la reducción alcanza 78 % a 96 % de tokens (unidades de texto procesadas por los modelos) en comparación con un recorrido completo del árbol en Slack, VS Code y Notion. Para Apple Maps, reporta 3.811 tokens por observación, frente a 273 con este método. En una tarea simulada de 52 pasos, el consumo pasa de 198k a 31k tokens. Estas cifras son auto-declaradas y no provienen de un benchmark independiente.
La documentación de Anthropic indica que una captura de pantalla utilizada por su herramienta de uso del ordenador cuesta aproximadamente 1.000 a 1.800 tokens en entrada, y que su definición de herramienta añade unos 4.500 tokens por solicitud. OpenAI ofrece por su parte acciones de clic, escritura y desplazamiento que el código del usuario ejecuta. Microsoft UFO² también utiliza UI Automation, pero se presenta como un agente completo para Windows.
Las acciones sobre referencias pasan por la API de accesibilidad sin mover el puntero ni tomar el foco, lo que permite al agente trabajar mientras el usuario continúa utilizando su máquina. La opción global –headed autoriza una entrada física si es necesario. Cada acción espera además hasta 5.000 ms a que un objetivo sea visible, activo y estable.
El proyecto señala varias limitaciones. Una aplicación que no publique un árbol de accesibilidad permanece inaccesible para la herramienta. Una aplicación Chromium o Electron iniciada en frío puede tardar de 10 a 25 segundos en exponer su árbol web. Por último, las instantáneas, las lecturas del portapapeles y las capturas pueden contener datos privados, que la documentación recomienda mantener alejados de los registros públicos. El código está disponible en el repositorio GitHub del proyecto. La instalación se realiza con el comando npm install -g agent-desktop, y luego los agentes descubren la herramienta gracias a agent-desktop skills get desktop.
