Vercel Labs opublikował agent-desktop, otwartoźródłowe narzędzie wiersza poleceń (CLI), które umożliwia agentom sztucznej inteligencji sterowanie aplikacjami desktopowymi w macOS, Windows i Linux. W wersji 1.0.2, wydanej 30 października 2026 na licencji Apache-2.0, nie opiera się ono na zrzutach ekranu, lecz na drzewie dostępności systemu operacyjnego.
Odczyt strukturalny zamiast wizualnego
Drzewo dostępności to ustrukturyzowany opis elementów interfejsu, który system udostępnia narzędziom asystującym. agent-desktop przekazuje agentowi migawkę w formacie JSON, w której każdy element, na który może działać, otrzymuje referencję, czyli ref. Te referencje są kwalifikowane przez identyfikator migawki, jak w przykładzie @s8f3k2p9:e8: niepełna referencja, jak @e8, jest odrzucana z kodem INVALID_ARGS.
Gdy interfejs się zmienia, akcja może zwrócić STALE_REF lub AMBIGUOUS_TARGET, a agent musi wtedy ustalić nową migawkę. Błędy wskazują również, czy ponowna próba jest bezpieczna. Narzędzie prezentuje się jako komponent wywoływany przez agenta, a nie jako agent: nie zawiera żadnego modelu językowego i nie posiada interfejsu graficznego. Napisane w Rust, jest dostarczane z biblioteką C, którą programy w Pythonie, Swifcie, Go, Ruby lub Node mogą wywoływać bezpośrednio.
Działa na macOS 13+, Windows 10 1809+ lub Server 2019+, Ubuntu 24.04+, na architekturach x64 i ARM64, bez GPU. W macOS należy przyznać uprawnienia dostępności za pomocą polecenia agent-desktop permissions –guide.
Oszczędności tokenów deklarowane przez wydawcę
Aby ograniczyć ilość danych przesyłanych do modelu, opcja –skeleton odczytuje tylko trzy poziomy głębokości. Nieotwarte kontenery wskazują liczbę swoich dzieci oraz referencję umożliwiającą eksplorację określonego obszaru. Według twórcy, redukcja sięga 78% do 96% tokenów (jednostek tekstu przetwarzanych przez modele) w porównaniu z pełnym przejściem drzewa w Slacku, VS Code i Notion. Dla Apple Maps raportuje 3811 tokenów na obserwację, wobec 273 tą metodą. W symulowanym zadaniu 52-etapowym zużycie spada z 198k do 31k tokenów. Dane te są samodeklarowane i nie pochodzą z niezależnego benchmarku.
Dokumentacja Anthropic wskazuje, że zrzut ekranu używany przez jego narzędzie do użytkowania komputera kosztuje około 1000 do 1800 tokenów na wejściu, a jego definicja narzędzia dodaje około 4500 tokenów na żądanie. OpenAI oferuje z kolei akcje kliknięcia, wprowadzania tekstu i przewijania, które wykonuje kod użytkownika. Microsoft UFO² również wykorzystuje UI Automation, ale prezentuje się jako pełny agent dla Windows.
Akcje na referencjach odbywają się przez API dostępności bez przesuwania wskaźnika ani przejmowania fokusu, co pozwala agentowi pracować, gdy użytkownik nadal korzysta ze swojego komputera. Globalna opcja –headed zezwala na fizyczne wprowadzanie danych w razie potrzeby. Każda akcja czeka dodatkowo do 5000 ms, aż cel będzie widoczny, aktywny i stabilny.
Projekt sygnalizuje kilka ograniczeń. Aplikacja, która nie publikuje drzewa dostępności, pozostaje niedostępna dla narzędzia. Aplikacja Chromium lub Electron uruchomiona na zimno może potrzebować od 10 do 25 sekund na udostępnienie swojego drzewa webowego. Wreszcie, migawki, odczyty schowka i przechwyty mogą zawierać dane prywatne, które dokumentacja zaleca trzymać z dala od publicznych logów. Kod jest dostępny w repozytorium GitHub projektu. Instalacja odbywa się za pomocą polecenia npm install -g agent-desktop, a następnie agenci wykrywają narzędzie dzięki agent-desktop skills get desktop.
