Google, OpenAI, Microsoft e Anthropic sostengono una nuova direttiva che permette ai siti web di controllare l’utilizzo dei propri dati da parte dei modelli di IA. Questo segnale comune, destinato a integrare il protocollo robots.txt, deve offrire agli editori un mezzo più semplice per opporsi all’uso dei loro contenuti per l’addestramento dei modelli.
- Google, OpenAI, Microsoft e Anthropic sostengono un segnale comune che permette ai siti di vietare l’uso dei loro contenuti per addestrare l’IA.
- Il segnale si aggiungerà al file robots.txt e semplificherà la gestione, finora complicata da regole separate per ogni robot.
- Il segnale distingue l’addestramento dall’indicizzazione, quindi un sito può restare visibile sui motori di ricerca e in Bing.
- Il meccanismo sarà progressivamente attivo nel 2027, mentre Anthropic lo applica già.
Finora, i gestori dei siti dovevano configurare regole separate per ciascuno dei robot di esplorazione utilizzati dalle aziende tecnologiche. Google propone così Google-Extended, mentre OpenAI dispone di GPTBot. Questa moltiplicazione dei dispositivi complica la gestione delle autorizzazioni, in particolare per i media e i produttori di contenuti, le cui pubblicazioni sono suscettibili di essere integrate nei dati di addestramento dei modelli.
La nuova proposta si basa su un identificatore comune, battezzato __usage_ai-training, che potrebbe essere aggiunto direttamente nel file robots.txt. Sottomessa all’Internet Engineering Task Force (IETF), è stata depositata da Kevin Kelley, ingegnere di Anthropic. Deve permettere agli amministratori dei siti di definire le proprie preferenze, applicabili ai diversi fornitori di IA che adotteranno questo meccanismo. Un sito potrebbe così vietare lo sfruttamento dell’insieme delle sue pagine per l’addestramento dei modelli, autorizzando al contempo alcune rubriche, come il proprio spazio stampa.
Separare addestramento dei modelli e visibilità
Una delle sfide di questa evoluzione riguarda la distinzione tra l’addestramento dei modelli di IA e l’indicizzazione dei contenuti nei motori di ricerca. Google indica che il nuovo segnale deve permettere agli editori di rifiutare l’utilizzo delle proprie pagine per l’addestramento senza bloccare necessariamente la loro esplorazione da parte dei motori di ricerca. Il gruppo precisa che i suoi dispositivi esistenti, tra cui Google-Extended, continueranno a funzionare parallelamente a questa nuova regola.
Microsoft difende anch’essa questa separazione. Nella sua presentazione delle nuove preferenze destinate agli editori, l’azienda distingue l’addestramento dei modelli dall’utilizzo dei contenuti per alimentare le risposte generate dai sistemi di IA, una pratica spesso designata con il termine di grounding. L’editore potrà gestire separatamente questi due usi, e Microsoft intende mantenere la possibilità per i siti di rimanere visibili in Bing, indipendentemente dalle loro scelte riguardanti l’addestramento dei modelli.
Un dispiegamento scaglionato a partire dal 2027
Le aziende partecipanti prevedono un dispiegamento progressivo del meccanismo. Microsoft annuncia un supporto a partire dal 1° febbraio 2027, man mano che procede l’esplorazione dei siti da parte dei suoi robot. Google punta anch’essa a un’integrazione nel 2027, mentre Anthropic ha già iniziato a implementare questa direttiva e OpenAI prevede di integrarla nei prossimi mesi.
Le regole proprie a ciascun fornitore rimarranno utilizzabili in complemento al segnale comune.
