Forscher von Microsoft Research und der Universität UC Berkeley haben TokenEconomizer veröffentlicht, ein Open-Source-Plugin zur Kostenkontrolle für Programmieragenten. Es lernt aus vergangenen Sitzungen auf demselben Code-Repository, um Verschwendung in folgenden Sitzungen zu reduzieren. Laut den veröffentlichten Ergebnissen senkt es die durchschnittlichen Kosten für SWE-Bench-Aufgaben um 18,4 % bis 30,9 % über 5 Agent-Modell-Konfigurationen.
Programmieragenten führen Entwicklungsaufgaben autonom aus, indem sie dem Sprachmodell einen kontinuierlichen Textstrom senden, der in Tokens (die abgerechneten Texteinheiten) unterteilt ist. Jede Runde des Agents berechnet das System-Prompt, die Schemata jedes geladenen Tools und den vollständigen Verlauf neu ab. TokenEconomizer sitzt außerhalb des Agents, den es als Black Box behandelt: Es ändert weder die Modellgewichte noch den Code der Agents. Es funktioniert mit Claude Code, Codex, GitHub Copilot CLI und Pi auf einer Maschine mit Python 3.10 oder neuer, ohne GPU oder eigenen API-Schlüssel.
Wohin das Geld fließt
Um die Verluste zu verstehen, analysierten die Forscher 60 SWE-Bench-Aufgaben, verteilt auf 6 Repositories, ausgeführt mit Claude Code und Opus 4.8. Sie identifizierten drei wiederkehrende Verschwendungsquellen. Die erste ist die wiederholte Entdeckung: Nachdem 5 vorherige Aufgaben erledigt waren, wiederholten 30 % der Tool-Aufrufe eine bereits durchgeführte Aktion. Die zweite betrifft unbenutzte Tools: 23 Tool-Schemata werden pro Runde geladen, davon werden 16 nie aufgerufen, und 3 decken 98 % der Aufrufe ab. Die dritte liegt in den Fehlschlag-Schleifen: 10 fehlgeschlagene Ausführungen machten 17 % der Aufgaben, aber 32 % der Gesamtkosten aus.
Die Forscher testeten auch drei bestehende Open-Source-Strategien: RTK, Serena und Aiders RepoMap. Keine war in allen Fällen kostengünstiger: Alle drei senkten die Kosten bei Django, erhöhten sie aber bei SymPy.
Drei Mechanismen
TokenEconomizer speichert für jedes Repository einen Zustand, der aus den Spuren abgeschlossener Aufgaben aufgebaut wird, und legt vor jeder Aufgabe drei Richtlinien fest. Die erste, die Micro-Skills, besteht darin, Beobachtungen in einzeilige Fakten zusammenzufassen, wie den zu verwendenden Testbefehl. Ein Fakt kommt erst ins Prompt, nachdem er 3 Mal bei Aufgaben bestätigt wurde, die nicht dieselben Dateien ändern, und ein Widerspruch zählt 5 Mal, was das schnelle Entfernen falscher Fakten ermöglicht.
Die zweite Richtlinie, das Tool-Pruning, behält immer die Shell-, Lese-, Schreib- und Editier-Tools. Andere werden nach 3 aufeinanderfolgenden Aufgaben ohne Nutzung ausgeblendet oder wenn ein LLM-Judge sie als irrelevant einstuft. Der vollständige Katalog kehrt alle 5 Aufgaben zurück, um neu bewertet zu werden. Bei Django mit Claude Code sank der erste Aufruf von Aufgabe 2 von 43.351 auf 16.295 Prompt-Tokens.
Die dritte ist die Intervention bei Fehlschlag-Schleifen. Der Controller definiert ein Rundenbudget gleich dem 1,25-fachen des 90. Perzentils der Längen erfolgreicher Ausführungen. Einfache Regeln melden wiederholte Fehlschläge, dann entscheidet ein LLM-Judge, ob der Agent blockiert ist, mit einem Mindestvertrauen von 0,7. Ein blockierter Agent erhält eine einzige Umleitung und wird dann gestoppt, wenn die Schleife erneut auftritt.
Variable Ergebnisse
Bei SWE-Bench senkte das Plugin die Kosten in allen 30 getesteten Repository-Konfigurations-Zellen, während RTK und RepoMap sie in jeweils 12 und 15 Fällen erhöhten. Das beste Ergebnis ist ein Rückgang um 30,9 % mit Claude Code und Opus 4.8, der auf 33,2 % steigt, wenn es mit RTK kombiniert wird. Die Pass@1-Rate, die den Erfolg beim ersten Versuch misst, verbesserte sich in 4 von 5 Konfigurationen, sank aber mit Opus 4.8 um 1,0 Punkt. Die Einsparungen zeigen sich vor allem über die Zeit: Die meisten Repositories waren anfangs teurer, aber alle waren ab der sechsten Aufgabe günstiger.
Das Plugin wird unter der Apache-2.0-Lizenz veröffentlicht. Die gelernten Daten bleiben lokal im Ordner ~/.tokeneconomizer, und es wird für Claude Code über das GitHub-Repository des Projekts installiert. Tool-Pruning und Schutz vor Schleifen sind standardmäßig aktiviert, während Micro-Skills deaktiviert sind, da ihr Proposer zusätzliche Modellaufrufe hinzufügt.
