Il file robots.txt rimane lo strumento di riferimento per indicare ai robot di scansione le parti di un sito che possono esplorare. Mentre strumenti di ricerca basati sull’IA e agenti visitano ora i siti insieme ai robot tradizionali, conoscere bene le regole che ciascuno segue diventa essenziale per non escludere i propri contenuti per errore.
Posizionato nella radice del sito, questo file di testo comprende diverse direttive. User-agent designa il robot interessato, Disallow richiede di non esplorare determinati percorsi, Allow autorizza l’esplorazione di alcuni URL anche se la loro cartella genitore è bloccata, e Sitemap indica la posizione della mappa del sito in formato XML. Il funzionamento di queste direttive è descritto nella RFC 9309. Il file non supporta espressioni regolari complete e conta solo due caratteri jolly: l’asterisco (*), che corrisponde a zero o più caratteri, e il dollaro ($), che segna la fine di un URL. I percorsi sono sensibili alle maiuscole/minuscole, mentre i nomi delle direttive e i nomi dei robot non lo sono.
Quale regola prevale in caso di conflitto
Quando un robot dispone di regole proprie, segue queste ultime piuttosto che quelle del gruppo User-agent: *. Per Google, due principi si applicano all’interno del gruppo interessato. La regola più specifica, quella che corrisponde a un maggior numero di caratteri dell’URL, viene applicata per prima. Pertanto, un’autorizzazione relativa a una sottocartella, come /downloads/free/, prevale su un divieto relativo a /downloads/. A parità di specificità, è la regola meno restrittiva che si applica.
Bloccare le pagine che non devono apparire nei risultati di ricerca, come una politica sulla privacy, consente di ridurre l’esplorazione non necessaria e di indirizzare il budget di scansione verso le pagine utili. Google precisa tuttavia che ciò non trasferisce automaticamente questo budget ad altre pagine, a meno che il sito non abbia già raggiunto il suo limite di capacità di scansione. I negozi online sono particolarmente interessati: i filtri a combinazioni infinite e gli URL di azione, come l’aggiunta al carrello o alla lista dei desideri, possono generare un gran numero di pagine senza valore proprio. Gary Illyes, di Google, ha avvertito più volte che questi URL possono essere esplorati indefinitamente.
Il file non garantisce tuttavia l’uscita di una pagina dall’indice. Google può indicizzare una pagina bloccata a partire dai link che puntano ad essa. Per rimuoverla, la fonte raccomanda il tag noindex, a condizione di lasciare la pagina accessibile per l’esplorazione in modo che Google possa leggere questa istruzione.
Robot IA: addestramento, ricerca e visite su richiesta
La distinzione essenziale riguarda l’uso che viene fatto dei contenuti. Un robot può servire per l’addestramento di un modello linguistico, un altro per la ricerca o per il recupero di informazioni in tempo reale, un terzo per una visita richiesta da un utente. In OpenAI, OAI-SearchBot alimenta le risposte di ricerca di ChatGPT, ChatGPT-User gestisce le visite richieste dall’utente, e GPTBot serve per l’addestramento. È quindi possibile bloccare GPTBot autorizzando gli altri due.
Secondo uno studio BuzzStream, riportato da Search Engine Journal a gennaio 2026, il 79% dei siti di informazione statunitensi e britannici esaminati vieta almeno un robot di addestramento, e il 71% almeno un robot di ricerca o di recupero in tempo reale. La guida sottolinea che questi robot di recupero aiutano gli strumenti di IA a trovare e citare le pagine, quindi bloccarli è una decisione distinta dal rifiuto dell’addestramento.
Queste regole hanno dei limiti. Un robot che ignora robots.txt può comunque raccogliere contenuti, e bloccare l’addestramento non obbliga gli strumenti di IA a citare il sito. Secondo OpenAI, le regole del file potrebbero non applicarsi a ChatGPT-User, e Perplexity indica che Perplexity-User generalmente le ignora. Anthropic afferma che i suoi robot, incluso Claude-User, rispettano robots.txt. Per proteggere informazioni private, l’autenticazione rimane necessaria.
Google e Apple propongono inoltre token distinti. Google-Extended copre l’addestramento di Gemini e alcuni usi di ancoraggio delle risposte, senza bloccare Googlebot né l’inclusione nella ricerca classica. Applebot-Extended controlla l’addestramento dei modelli di base senza bloccare l’esplorazione di ricerca di Applebot. Questi due token non sono robot separati: da soli, non riducono il numero di richieste di scansione.
