Vercel Labs выпустил agent-desktop — инструмент командной строки с открытым исходным кодом (CLI), который позволяет агентам искусственного интеллекта управлять настольными приложениями в macOS, Windows и Linux. В версии 1.0.2, опубликованной 30 октября 2026 года под лицензией Apache-2.0, он полагается не на скриншоты, а на дерево доступности операционной системы.
Структурное, а не визуальное чтение
Дерево доступности — это структурированное описание элементов интерфейса, которое система предоставляет вспомогательным инструментам. agent-desktop передает агенту снимок в формате JSON, где каждый элемент, с которым можно взаимодействовать, получает ссылку, или ref. Эти ссылки квалифицируются идентификатором снимка, как в примере @s8f3k2p9:e8: неполная ссылка, например @e8, отклоняется с кодом INVALID_ARGS.
При изменении интерфейса действие может вернуть STALE_REF или AMBIGUOUS_TARGET, и тогда агенту необходимо создать новый снимок. Ошибки также указывают, безопасен ли повторный вызов. Инструмент позиционируется как компонент, вызываемый агентом, а не как сам агент: он не включает языковые модели и не имеет графического интерфейса. Написанный на Rust, он поставляется с библиотекой на C, которую могут напрямую вызывать программы на Python, Swift, Go, Ruby или Node.
Он работает на macOS 13+, Windows 10 1809+ или Server 2019+, Ubuntu 24.04+ на архитектурах x64 и ARM64 без GPU. В macOS необходимо предоставить разрешение на доступность с помощью команды agent-desktop permissions –guide.
Заявленная разработчиком экономия токенов
Чтобы ограничить объем данных, передаваемых модели, опция –skeleton читает только три уровня вложенности. Неразвернутые контейнеры указывают количество дочерних элементов и ссылку для исследования конкретной области. По словам разработчика, сокращение достигает от 78% до 96% токенов (единиц текста, обрабатываемых моделями) по сравнению с полным обходом дерева в Slack, VS Code и Notion. Для Apple Maps он сообщает о 3811 токенах на наблюдение против 273 при использовании этого метода. На симулированной задаче из 52 шагов потребление снижается с 198 тыс. до 31 тыс. токенов. Эти цифры являются самоотчетными и не взяты из независимого бенчмарка.
Документация Anthropic указывает, что скриншот, используемый ее инструментом для использования компьютера, стоит около 1000–1800 токенов на входе, а определение инструмента добавляет около 4500 токенов на запрос. OpenAI, со своей стороны, предлагает действия клика, ввода и прокрутки, которые выполняет пользовательский код. Microsoft UFO² также использует UI Automation, но позиционируется как полноценный агент для Windows.
Действия по ссылкам выполняются через API доступности без перемещения указателя или захвата фокуса, что позволяет агенту работать, пока пользователь продолжает использовать компьютер. Глобальная опция –headed разрешает физический ввод при необходимости. Каждое действие ожидает до 5000 мс, пока цель станет видимой, активной и стабильной.
Проект отмечает несколько ограничений. Приложение, не публикующее дерево доступности, остается недоступным для инструмента. Холодный запуск приложения на Chromium или Electron может занять от 10 до 25 секунд для раскрытия его веб-дерева. Наконец, снимки, чтение буфера обмена и захваты могут содержать приватные данные, которые документация рекомендует держать подальше от публичных логов. Код доступен в репозитории проекта на GitHub. Установка выполняется командой npm install -g agent-desktop, после чего агенты обнаруживают инструмент с помощью agent-desktop skills get desktop.
