L’harness designa tutto ciò che circonda un modello di IA per renderlo un agente capace di agire. A parità di modello, questo quadro fa variare i punteggi, il costo e i controlli di sicurezza, secondo i dati pubblicati di recente su test di agenti di programmazione.
Un modello linguistico da solo produce testo. L’harness aggiunge un ciclo di esecuzione che rileva le chiamate agli strumenti, le esegue, restituisce i risultati e ripete fino al completamento del compito. Include anche le istruzioni, la gestione del contesto, i sotto-agenti, la verifica del lavoro e la sandbox, uno spazio che limita i file accessibili e i server raggiungibili.
Su Terminal-Bench 2.1, un test per agenti a riga di comando, Gemini 3 Pro ha completato con successo il 65,8% delle 89 attività in Gemini CLI, l’agente che Google pubblica per i suoi modelli. In Terminus 2, un programma minimale scritto dagli autori del test e dotato di un solo strumento, un terminale, raggiunge il 73,9%. La classifica di Terminal-Bench 2.1, successivamente archiviata da Snorkel AI, separa queste due righe di 8,1 punti.
LangChain ha misurato l’effetto modificando solo l’harness. Il suo agente deepagents-cli è passato dal 52,8% al 66,5% su Terminal-Bench 2.0, secondo il loro post del 17 febbraio 2026. «Abbiamo modificato solo l’harness mantenendo il modello fisso, gpt-5.2-codex», scrive l’azienda. Le modifiche riguardavano l’istruzione di sistema, gli strumenti, una verifica obbligatoria prima dell’output, un contatore che forza l’agente a rivedere il suo metodo quando modifica troppo spesso lo stesso file, e il dosaggio dello sforzo di ragionamento.
Uno studio di Tulane, Rutgers e Virginia Tech, pubblicato in un position paper il 7 maggio 2026, incrocia tre modelli con tre harness su 100 attività di SWE-bench Verified. Secondo i suoi autori, cambiare harness sposta il punteggio da 8,5 a 13 punti, contro i 2,5-5 punti per un cambio di modello. Gli autori di Terminal-Bench rimangono comunque prudenti: il loro articolo del 17 gennaio 2026 stima che «la scelta del modello generalmente conta più dell’impalcatura dell’agente».
Un costo che dipende dalla configurazione
Un’API fattura ogni chiamata l’intero contesto trasmesso, e una sessione di agente reinvia la sua cronologia a ogni turno. La cache riduce questa spesa, con uno sconto del 95% sul token riletto, sia per Claude Opus 5.5 che per GPT-6.1 Sol. Un harness che modifica l’inizio della sua richiesta durante la sessione perde questo sconto, il che spiega perché Codex aggiunga le sue modifiche alla fine della richiesta.
La scelta degli strumenti pesa anch’essa. In un post del 4 novembre 2025, Anthropic quantifica in 150.000 token la spesa di un agente che carica fin dall’inizio la definizione di tutti i suoi strumenti, contro i 2.000 quando li chiama da codice. Vercel ha rimosso l’80% degli strumenti da d0, il suo agente che traduce domande in SQL. Su cinque richieste con Claude Opus 4.5, il consumo medio è passato da circa 102.000 a 61.000 token, e il successo da quattro a cinque richieste su cinque. Cinque richieste non fanno statistica, riconosce l’azienda nello stesso spirito.
Chi decide cosa può fare l’agente
L’harness fissa anche i limiti di ciò che l’agente può eseguire. Un preprint, ToFu, ha mostrato il 9 ottobre 2026 che un piccolo modello locale emetteva una chiamata a uno strumento fittizio chiamato launch_missiles, che LangGraph eseguiva senza controllo, prima di redigere il suo rifiuto. Il rifiuto arriva quindi dopo l’esecuzione, il che colloca la verifica delle autorizzazioni nell’harness e negli strumenti stessi.
Anthropic indica nel suo post del 25 marzo 2026 che gli utenti accettano il 93% delle richieste di autorizzazione. La sua sandbox ha ridotto queste richieste dell’84% nell’uso interno, e un classificatore rilegge poi le azioni non autorizzate in anticipo. Su 52 azioni eccessive reali, ne ha lasciate passare il 17%. OpenAI isola anch’essa l’esecuzione nel suo Agents SDK, dal 15 aprile 2026.
Artificial Analysis prevede una rubrica «Harness Comparison» sulla sua pagina degli agenti di codice. Il 30 ottobre 2026, riportava la dicitura «disponibile a breve».
