El archivo robots.txt sigue siendo la herramienta de referencia para indicar a los robots de rastreo qué partes de un sitio pueden explorar. Mientras que las herramientas de búsqueda basadas en IA y los agentes ahora visitan los sitios junto a los robots tradicionales, conocer bien las reglas que cada uno sigue se vuelve esencial para no excluir por error los contenidos.
Colocado en la raíz del sitio, este archivo de texto incluye varias directivas. User-agent designa al robot en cuestión, Disallow solicita no explorar ciertas rutas, Allow autoriza la exploración de ciertas URL incluso si su directorio padre está bloqueado, y Sitemap indica la ubicación del mapa del sitio en formato XML. El funcionamiento de estas directivas se describe en la RFC 9309. El archivo no admite expresiones regulares completas y solo cuenta con dos comodines: el asterisco (*), que coincide con cero o más caracteres, y el dólar ($), que marca el final de una URL. Las rutas distinguen entre mayúsculas y minúsculas, mientras que los nombres de las directivas y los nombres de los robots no.
Qué regla prevalece en caso de conflicto
Cuando un robot dispone de reglas propias, sigue estas últimas en lugar de las del grupo User-agent: *. Para Google, dos principios se aplican dentro del grupo correspondiente. La regla más específica, la que coincide con más caracteres de la URL, se aplica con prioridad. Así, una autorización que afecta a un subdirectorio, como /downloads/free/, prevalece sobre una prohibición dirigida a /downloads/. Con igual especificidad, es la regla menos restrictiva la que se aplica.
Bloquear las páginas que no necesitan figurar en los resultados de búsqueda, como una política de privacidad, permite reducir el rastreo innecesario y orientar el presupuesto de rastreo hacia las páginas útiles. Google precisa, sin embargo, que esto no transfiere automáticamente ese presupuesto a otras páginas, a menos que el sitio ya haya alcanzado su límite de capacidad de rastreo. Las tiendas en línea están particularmente concernidas: los filtros de combinaciones infinitas y las URL de acción, como añadir al carrito o a la lista de deseos, pueden generar un gran número de páginas sin valor propio. Gary Illyes, de Google, ha advertido en varias ocasiones que estas URL pueden ser rastreadas indefinidamente.
El archivo no garantiza, sin embargo, la salida de una página del índice. Google puede indexar una página bloqueada a partir de los enlaces que apuntan hacia ella. Para retirarla, la fuente recomienda la etiqueta noindex, a condición de dejar la página accesible para el rastreo a fin de que Google pueda leer esta instrucción.
Robots de IA: entrenamiento, búsqueda y visitas bajo demanda
La distinción esencial concierne al uso que se hace de los contenidos. Un robot puede servir para el entrenamiento de un modelo de lenguaje, otro para la búsqueda o la recuperación de información en directo, un tercero para una visita solicitada por un usuario. En OpenAI, OAI-SearchBot alimenta las respuestas de búsqueda de ChatGPT, ChatGPT-User gestiona las visitas solicitadas por el usuario, y GPTBot sirve para el entrenamiento. Por tanto, es posible bloquear GPTBot mientras se autorizan los otros dos.
Según un estudio de BuzzStream, difundido por Search Engine Journal en enero de 2026, el 79 % de los sitios de información estadounidenses y británicos examinados prohíben al menos un robot de entrenamiento, y el 71 % al menos un robot de búsqueda o de recuperación en directo. La guía subraya que estos robots de recuperación ayudan a las herramientas de IA a encontrar y citar las páginas, de modo que bloquearlos corresponde a una decisión distinta de la del rechazo del entrenamiento.
Estas reglas tienen límites. Un robot que ignora robots.txt puede seguir recopilando contenidos, y bloquear el entrenamiento no obliga a las herramientas de IA a citar el sitio. Según OpenAI, las reglas del archivo pueden no aplicarse a ChatGPT-User, y Perplexity indica que Perplexity-User generalmente las ignora. Anthropic afirma que sus robots, incluido Claude-User, respetan robots.txt. Para proteger información privada, la autenticación sigue siendo necesaria.
Google y Apple ofrecen, además, tokens separados. Google-Extended cubre el entrenamiento de Gemini y ciertos usos de anclaje de respuestas, sin bloquear Googlebot ni la inclusión en la búsqueda clásica. Applebot-Extended controla el entrenamiento de los modelos de base sin bloquear el rastreo de búsqueda de Applebot. Estos dos tokens no son robots separados: no reducen, por sí solos, el número de solicitudes de rastreo.
