Het laboratorium Infini-AI-Lab heeft Hermit gepubliceerd, een open source framework voor het aanpassen van harness voor kunstmatige intelligentie-agenten. De eerste versie, v0.1.0, kwam uit op 25 oktober 2026, en onderzoeker Haizhong Zheng, postdoc aan de CMU, kondigde dit aan op X op 27 oktober. Het doel richt zich op ontwikkelaars: het aanpassen van agenten zoals Codex of Claude Code aan nieuwe taken, zonder het model opnieuw te trainen of de harness aan te passen.
- Infini-AI-Lab brengt Hermit uit, een open source framework om AI-agenten aan te passen zonder hertraining.
- Hermit traint een externe adapter die aan de harness van de agent wordt toegevoegd, terwijl het model ongewijzigd blijft.
- Een trainingslus met Trainer, judge en Evolver verbetert de adapter, en elke versie wordt in git opgeslagen.
- De zelfgerapporteerde resultaten tonen verbeteringen, maar de meeste tests zijn met slechts één run uitgevoerd.
Een externe adapter in plaats van een aangepast model
Hermit traint een harness-adapter, dat wil zeggen een externe en trainbare component die wordt toegevoegd aan een bestaande agent. De harness verwijst hier naar de set instructies, tools en regels die het functioneren van een agent sturen. Het basismodel en de harness blijven ongewijzigd. De adapter kan instructies, herbruikbare vaardigheden, geheugen, tools, uitvoerbare code bevatten, of zelfs de coördinatielogica van meerdere agenten, en kan zelfs de vorm aannemen van een volledige repository.
Volgens het team is deze keuze gebaseerd op drie redenen. Veel harnessen zijn gesloten, wijzigingen aan een open harness kunnen zorgvuldig afgestelde interacties verstoren, en een getrainde adapter kan worden overgedragen tussen compatibele modellen en harnessen. In tegenstelling tot een modeladapter zoals LoRA, die het model zelf wijzigt, werkt deze dus op de agent.
Een trainingslus in vijf stappen
Hermit maakt gebruik van een trainingslus gebaseerd op reinforcement learning. Een Trainer laat een batch taken uitvoeren door de agent met de huidige adapter, waarna een judge de resultaten beoordeelt. Een Evolver leest de trajecten en feedback, en stelt een nieuwe adapter voor. De Trainer controleert deze voorstel tegen een sjabloon, voordat het wordt opgeslagen als volgende versie.
Elke versie wordt opgeslagen in een git-boom, wat inspectie, terugdraaien of verspreiding van elke versie mogelijk maakt. De leerprogramma’s kunnen worden uitgevoerd in een sandbox, waarvoor Linux met bubblewrap nodig is. Vijf evolutiemethoden zijn beschikbaar: GEPA, SkillOpt, MetaWorld Model (MWM), Harness² en Continual Harness. ACE en ReHarness worden aangekondigd als binnenkort beschikbaar, en gebruikers kunnen hun eigen Evolver schrijven.
Zelfgerapporteerde resultaten
Alle gepresenteerde tests gebruiken GLM 5.3 Flash als acterend model. De cijfers komen uit de README’s van de voorbeelden in de repository en zijn zelfgerapporteerd. Op OfficeQA, dat 172 vragen stelt over Amerikaanse Treasury Bulletins met een criterium van exacte overeenkomst, stijgt de nauwkeurigheid van 0,541 zonder adapter naar 0,651 voor Harness². Op CL-Bench bereikt MWM 0,795 in database-exploratie, tegen 0,580 voor de referentie van in-context learning. Op ServeLearnBench, dat 624 ondersteuningsverzoeken behandelt in een kader met verborgen beleid, behaalt MWM 45,3, tegen 28,7 voor CH en 89,2 voor een oracle die het beleid kent. Voor deze laatste test is slechts één run uitgevoerd, en de meeste gepubliceerde resultaten komen ook uit een enkele run.
Wat betreft implementatie wordt Hermit geïnstalleerd met pip install hermit-harness. Het commando hermit deploy schrijft een werkruimte voor Codex, Claude Code of Pi, terwijl hermit convert een getrainde adapter exporteert als native plugin voor Codex, Claude Code, Pi of Hermes. Modellen worden aangeduid met de vorm /, waaronder Fireworks, OpenAI, Anthropic, DeepSeek, vLLM, SGLang en Ollama. De repository toont ook een samenwerkingsadapter voor Lean, die vijf Codex-agenten coördineert die samen eenzelfde stelling moeten bewijzen.
