Dire « grazie » a un assistente di IA costa poco, ma ogni messaggio rinvia l’intera conversazione, e il costo energetico aumenta con la sua lunghezza. Secondo un’analisi pubblicata sotto forma di tribuna, è quindi la durata degli scambi, più che la cortesia, a pesare sul conto, e l’autore propone un metodo per limitarla.
Il punto di partenza è un calcolo diffuso su LinkedIn, che stimava il costo dei « grazie » rivolti a ChatGPT e Claude a partire da 120 milioni di utenti e 8 ringraziamenti al giorno, cioè circa 350 miliardi di « grazie » all’anno. Con il calcolatore usato dall’autore, un « grazie » isolato rivolto a un modello della taglia di Claude Sonnet 5.5 rappresenta circa 23 GWh all’anno, contro meno di 1 GWh per un modello piccolo. La scelta del modello pesa quindi circa trenta volte più della cortesia.
Il vero fattore, secondo l’autore, sta nel modo in cui funzionano questi strumenti. Un modello linguistico non ha memoria da un messaggio all’altro: l’applicazione gli rinvia, a ogni turno, tutto o parte dello scambio, cioè i messaggi, le risposte, le istruzioni e i documenti allegati. Un « grazie » inviato alla fine di un lungo scambio si accompagna così a migliaia di tokens, cioè le unità di testo che il modello elabora. Nello scenario considerato, con 5.000 tokens rinviati, l’energia stimata è moltiplicata per dieci, e il valore al prezzo dell’API passa da circa 100 milioni a 3,6 miliardi di dollari all’anno.
Un costo che cresce più velocemente della conversazione
Ogni nuovo scambio ripropone tutti i precedenti: al centesimo messaggio, il modello elabora di nuovo gli altri novantanove. Per un progetto di 60 scambi, con messaggi di 200 tokens, risposte di 300 tokens e 1.500 tokens di istruzioni e file, il modello deve elaborare quasi un milione di tokens in totale.
I fornitori dispongono di un meccanismo di cache, che permette di rileggere a minor costo una cronologia già elaborata. In Anthropic, una lettura in cache è fatturata da 10 a 40 volte meno di un token di ingresso, a seconda del modello: 20 volte per Sonnet 5.5 e Opus 5.5, 40 volte per Fable 5.1, 10 volte per Haiku 5.5. La cache alleggerisce quindi il conto, ma non risolve la questione della lunghezza.
Più lunga, e meno affidabile
Una conversazione che si allunga risponde anche meno bene. Già nel 2023, ricercatori di Stanford guidati da Nelson Liu hanno dimostrato che i modelli sfruttano male l’informazione posta al centro di un contesto lungo. Nel luglio 2025, la società Chroma ha testato 18 modelli, tra cui o3, Claude 4 e Gemini 2.5, su compiti semplici e controllati: la loro affidabilità diminuisce man mano che l’input si allunga. La modalità di ragionamento migliora i punteggi, senza cancellare il divario tra versione breve e versione lunga.
La piattaforma di test NoLiMa, presentata alla conferenza ICML 2025 da Adobe Research e dall’università LMU di Monaco, va nella stessa direzione. Su un sottoinsieme di 10 domande tra le più difficili, il modello di ragionamento o1 di OpenAI risponde correttamente nel 92% dei casi con 4.000 tokens di contesto, nel 78% a 8.000 tokens e nel 31% a 32.000 tokens. Una pre-pubblicazione del 2026, intitolata « Reasoning Shift », indica inoltre che una cronologia di conversazione riduce la durata del ragionamento dei modelli e la loro capacità di verificare il proprio lavoro.
Il metodo della conversazione madre
L’autore propone di organizzare il lavoro prima di iniziare. Una conversazione « madre » fissa l’obiettivo, suddivide il progetto in compiti e non produce i risultati finali. Ogni compito è affidato a una conversazione « figlia », aperta da un brief che precisa l’obiettivo, il formato atteso, le fonti e i limiti, poi chiusa alla fine. I documenti di riferimento restano in una cartella e sono richiamati solo quando una figlia ne ha bisogno. Ogni figlia rimanda alla madre solo un breve resoconto, riletto dall’utente, e il modello è scelto all’apertura di ogni conversazione, in base al compito.
Secondo i calcoli presentati, il progetto di 60 scambi diventa sei figlie di dieci scambi, guidate da una madre. Rispetto a una conversazione unica condotta sul modello principale, il metodo sarebbe dal 7 al 16% più sobrio in energia e dal 22 al 28% meno costoso. Se la madre redige risposte due volte più lunghe, il guadagno energetico scende al 20-39%. L’autore precisa che queste cifre restano teoriche, in particolare il tasso di revisioni evitate, e che il metodo EcoLogits, usato per stimare i modelli di OpenAI, Google o Mistral, conta solo i tokens prodotti. Secondo lui, i fornitori dovrebbero pubblicare l’energia consumata per token letto, scritto e riletto in cache, perché senza questi dati, le stime si basano su approssimazioni.
