Google, Microsoft e OpenAI hanno annunciato che terranno conto di una stessa riga del file robots.txt per esprimere una preferenza riguardo all’addestramento dell’IA. Un sito potrebbe così indicare una sola preferenza a tutti i fornitori che aderiscono, invece di redigere regole distinte per il robot di ogni azienda. Nessuna delle tre aziende supporta ancora questa riga, secondo i rispettivi calendari.
Il testo si basa su un progetto individuale («Internet Draft») presentato da Kevin Kelley, di Anthropic, al gruppo di lavoro AI Preferences dell’IETF. Questo documento figura nel tracciamento dell’IETF come un progetto individuale, che non rappresenta un’attività di standardizzazione ufficiale dell’organizzazione. In un messaggio inviato alla mailing list del gruppo, Kelley indica che Anthropic ha iniziato a sviluppare questa funzionalità.
Una regola ordinaria, un token specifico
Il progetto non aggiunge alcuna nuova direttiva al file robots.txt. Una regola si scrive come al solito, con le istruzioni Allow e Disallow, sotto un token chiamato __usage_ai-training. L’esempio fornito dal testo corrisponde a un sito che rifiuta l’addestramento sull’insieme delle sue pagine, ad eccezione della cartella /press-kit/.
Il token riprende la definizione della bozza di vocabolario del gruppo di lavoro. L’addestramento designa l’utilizzo di un contenuto per modificare i parametri appresi di un modello di IA generativa. I modelli che svolgono solo compiti non generativi, come la classificazione o il ranking, ne sono esclusi. Le regole già presenti nei file robots.txt non sono prese in considerazione in questa preferenza comune, e il token non controlla l’esplorazione delle pagine.
Tre approcci diversi
Google ha indicato, in un post firmato da John Mueller, che se un sito utilizza la riga comune senza specificare Google-Extended, l’azienda la interpreterà «come se l’editore avesse vietato Google-Extended». Questo controllo si applicherà anche alle risposte basate su contenuti in Gemini Apps. Google mira a un supporto nel 2027, la sua documentazione dei robot menziona l’inizio del 2027. Secondo tale documentazione, Google-Extended condiziona l’utilizzo dei contenuti per addestrare i futuri modelli Gemini, così come il loro uso per l’ancoraggio (grounding) in Gemini Apps e su Vertex AI. Google non collega questo strumento all’indicizzazione nella sua ricerca, e gli AI Overviews e la modalità IA dispongono di un controllo distinto.
Microsoft riprende la riga comune per l’addestramento, ma aggiunge una preferenza separata, «AI Grounding», definita unicamente a livello di pagina. Secondo il post di Krishna Madhavan, principal product manager di Bing, l’opzione DisallowExtended autorizza l’ancoraggio negli strumenti di Microsoft come Copilot, ma non nei servizi forniti ad altre aziende, come Web IQ. L’azienda precisa che queste restrizioni possono ridurre la visibilità del brand nelle risposte dell’IA, senza effetto sul ranking nei risultati di Bing. Microsoft sostituisce NoArchive e NoCache con queste due nuove opzioni a partire dal 1° febbraio 2027, e non riconoscerà più i vecchi tag dopo il 1° marzo 2027.
OpenAI e Anthropic
OpenAI mira a supportare questo segnale nei prossimi mesi, ma la sua politica attuale in materia di robots.txt rimarrà in vigore. Né il suo post né la sua documentazione dei robot precisano cosa succederebbe in caso di conflitto tra la riga comune e una regola GPTBot.
Al 30 ottobre, Anthropic non aveva pubblicato alcun annuncio a riguardo. Secondo il messaggio di Kevin Kelley, l’implementazione sull’insieme dei servizi dell’azienda richiederà tempo. La sua pagina di aiuto per i robot menziona solo tre opzioni di controllo: ClaudeBot, Claude-User e Claude-SearchBot.
La bozza di Kelley scade il 3 maggio 2027, a meno che non venga sostituita da una nuova versione. Google e OpenAI hanno indicato che forniranno maggiori dettagli man mano che il loro supporto verrà implementato.
