Una sola línea en robots.txt para decirle no al entrenamiento de IA

Qué se anunció el 30 de octubre

Hasta ahora, si no querías que tu web se usara para entrenar modelos de IA, tenías que escribir una regla para cada rastreador: GPTBot, ClaudeBot, Google-Extended y la lista seguía creciendo. Las cuatro grandes empresas de IA dijeron que van a leer una misma señal común en el archivo robots.txt, de modo que con una sola instrucción expresas tu preferencia ante todos los proveedores que participen.

La propuesta la firma Kevin Kelley, de Anthropic, como un Internet-Draft individual del IETF: draft-kelley-aipref-training-preference-signal-00. Se apoya en el trabajo del grupo AI Preferences (AIPREF). Ojo: es un borrador de estándar, un "trabajo en curso" que puede cambiar, y vence el 3 de mayo de 2027 si no se actualiza.

Cómo se ve en tu robots.txt

Este es el ejemplo del propio borrador:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Significa: "no quiero que mi contenido se use para entrenar IA generativa, salvo lo que está en /press-kit/". Dos detalles importan. Una regla general User-Agent: * no cuenta como esta señal; si no escribes la línea __usage_ai-training, no has expresado ninguna preferencia. Y si solo bloqueas una carpeta, el resto se interpreta como permiso.

Qué NO hace esta señal

• No bloquea el rastreo. El borrador dice que no es una instrucción de rastreo. Si quieres limitar el acceso de un robot, sigues usando sus reglas propias.
• No te saca de los buscadores. Microsoft aclara que tu web sigue apareciendo en Bing, elijas lo que elijas.
• No es un candado. Es una preferencia que las empresas se comprometen a respetar de forma voluntaria; OpenAI lo describe como un esfuerzo voluntario.
• No reemplaza los controles actuales. OpenAI y Google dicen que sus controles por rastreador seguirán funcionando.

Quién lo aplica y cuándo

• Anthropic: ya adoptó la señal, según The Verge.
• OpenAI: dice que la implementará "en los próximos meses".
• Microsoft: respetará las nuevas preferencias desde el 1 de febrero de 2027, y además suma un control aparte para el grounding (el uso de tu página para responder preguntas en Bing y Copilot).
• Google: apunta a soportarla en 2027. Si usas la señal para salirte y no mencionas Google-Extended, Google lo tratará como si hubieras bloqueado Google-Extended.
• Meta: apoya la idea, pero no se comprometió a aplicarla.

Mi lectura como dueño de negocio y creador

Yo vivo de que me encuentren. Si alguien le pregunta a un asistente de IA cómo poner agentes a trabajar en su empresa, quiero que aparezca mi nombre. Eso es GEO: ser visible para la IA como antes lo fuimos para Google. Salirse de todo puede proteger tu contenido, pero también puede apagar tu vitrina.

Por eso hay que separar dos preguntas: ¿dejo que entrenen con mi contenido? y ¿dejo que me citen cuando responden? Microsoft ya las separa, y Google advierte que si permites Google-Extended puedes aparecer y recibir clics en Gemini. Ninguna opción garantiza tráfico, pero cerrar todo sí garantiza que no te citen.

Una política selectiva en 4 pasos

• Revisa tu robots.txt actual y guarda una copia con fecha: la preferencia que cuenta es la del archivo vigente cuando se recogió el contenido.
• Separa lo que vendes de lo que te promociona. Cursos, plantillas o material de pago: bloquéalos para entrenamiento. Artículos, servicios y kit de prensa: déjalos visibles.
• Escribe la señal completa: bloquea primero y luego lista las excepciones, como el ejemplo del borrador.
• Mantén las reglas por rastreador mientras cada empresa termina de implementar la señal.

Si te interesa cómo pienso la IA en el negocio, lee también libertad empresarial con un copiloto de IA, deja de ser el centro de notificaciones y Claude Duet, el agente proactivo.

Preguntas frecuentes

¿Qué es __usage_ai-training?

Es una señal común para robots.txt que indica si quieres o no que el contenido de una ruta se use para entrenar modelos de IA generativa, ante varios proveedores a la vez.

¿Ya es un estándar oficial?

No. Es un borrador individual del IETF, sin estatus formal, que todavía puede cambiar.

¿Bloquearla me saca de Google o Bing?

No. Es una preferencia sobre entrenamiento, no sobre rastreo. Microsoft confirma que seguirás en los resultados de Bing.

¿Tengo que borrar mis reglas para GPTBot o Google-Extended?

No. OpenAI y Google dicen que sus controles actuales siguen funcionando junto a la nueva señal.

¿Qué me conviene: salirme o seguir visible?

Para la mayoría de negocios, una política selectiva: proteger el contenido de pago y dejar visible lo que te trae clientes.

Fuentes

• IETF: draft-kelley-aipref-training-preference-signal-00 — https://www.ietf.org/archive/id/draft-kelley-aipref-training-preference-signal-00.txt
• Google Search Central Blog: Supporting a shared AI training control for websites — https://developers.google.com/search/blog/2026/10/ai-training-control
• Bing Blog: Your content, your choice — https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/
• OpenAI: Making it easier for websites to express AI training preferences — https://openai.com/index/helping-websites-express-ai-training-preferences/
• The Verge — https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out
• SiliconANGLE — https://siliconangle.com/2026/10/30/google-anthropic-and-others-to-support-new-ai-crawling-opt-out-standard/

— Andrés Gil, Consultor Estratega de IA e IT.