Google, Microsoft y OpenAI han anunciado que tendrán en cuenta una misma línea del archivo robots.txt para expresar una preferencia respecto al entrenamiento de IA. Un sitio podría así indicar una única preferencia a todos los proveedores que se adhieran, en lugar de redactar reglas distintas para el robot de cada empresa. Ninguna de las tres empresas admite aún esta línea, según sus calendarios respectivos.
El texto se basa en un proyecto individual («Internet Draft») presentado por Kevin Kelley, de Anthropic, al grupo de trabajo AI Preferences de la IETF. Este documento figura en el seguimiento de la IETF como un proyecto individual, que no representa una actividad de estandarización oficial de la organización. En un mensaje enviado a la lista de correo del grupo, Kelley indica que Anthropic ha comenzado a desarrollar esta funcionalidad.
Una regla ordinaria, un token específico
El proyecto no añade ninguna nueva directiva al archivo robots.txt. Una regla se escribe como de costumbre, con las instrucciones Allow y Disallow, bajo un token llamado __usage_ai-training. El ejemplo dado por el texto corresponde a un sitio que rechaza el entrenamiento en el conjunto de sus páginas, a excepción de la carpeta /press-kit/.
El token retoma la definición del borrador de vocabulario del grupo de trabajo. El entrenamiento designa allí el uso de un contenido para modificar los parámetros aprendidos de un modelo de IA generativa. Los modelos que solo realizan tareas no generativas, como la clasificación o el ordenamiento, quedan excluidos. Las reglas ya presentes en los archivos robots.txt no se tienen en cuenta en esta preferencia común, y el token no controla la exploración de las páginas.
Tres enfoques diferentes
Google ha indicado, en una entrada firmada por John Mueller, que si un sitio utiliza la línea común sin especificar Google-Extended, la empresa la interpretará «como si el editor hubiera prohibido Google-Extended». Este control se aplicará también a las respuestas basadas en contenidos en Gemini Apps. Google pretende ofrecer soporte en 2027, su documentación de robots menciona principios de 2027. Según esta documentación, Google-Extended condiciona el uso de los contenidos para entrenar los futuros modelos Gemini, así como su uso para el anclaje (grounding) en Gemini Apps y en Vertex AI. Google no vincula esta herramienta a la indexación en su búsqueda, y los AI Overviews y el modo IA disponen de un control distinto.
Microsoft adopta la línea común para el entrenamiento, pero añade una preferencia separada, «AI Grounding», definida únicamente a nivel de página. Según la entrada de Krishna Madhavan, director de producto principal en Bing, la opción DisallowExtended autoriza el anclaje en las herramientas de Microsoft como Copilot, pero no en los servicios proporcionados a otras empresas, como Web IQ. La empresa precisa que estas restricciones pueden reducir la visibilidad de la marca en las respuestas de la IA, sin efecto en la clasificación en los resultados de Bing. Microsoft reemplaza NoArchive y NoCache por estas dos nuevas opciones a partir del 1 de febrero de 2027, y no reconocerá más las antiguas etiquetas después del 1 de marzo de 2027.
OpenAI y Anthropic
OpenAI pretende ofrecer soporte para esta señal en los próximos meses, pero su política actual en materia de robots.txt seguirá vigente. Ni su entrada ni su documentación de robots especifican qué sucedería en caso de conflicto entre la línea común y una regla GPTBot.
Al 30 de octubre, Anthropic no había publicado ningún anuncio al respecto. Según el mensaje de Kevin Kelley, la implementación en el conjunto de los servicios de la empresa llevará tiempo. Su página de ayuda para robots solo menciona tres opciones de control: ClaudeBot, Claude-User y Claude-SearchBot.
El borrador de Kelley expira el 3 de mayo de 2027, a menos que sea reemplazado por una nueva versión. Google y OpenAI han indicado que proporcionarán más detalles a medida que su soporte se despliegue.
