Entrenamiento de IA y robots.txt: una línea para decir no

El entrenamiento de IA con robots.txt cambia de forma: una sola línea bastará para decirle no a cuatro empresas a la vez. Google, Microsoft y OpenAI publicaron el 30 de octubre que aceptarán la misma señal, y Anthropic ya empezó a implementarla. El token se escribe __usage_ai-training y vive en el archivo robots.txt, ese texto breve donde cada sitio indica a los rastreadores qué pueden hacer con sus páginas.

Hasta ahora tocaba perseguir a cada compañía por separado. Un medio digital mantenía una regla para GPTBot de OpenAI, otra para Google-Extended y otra distinta para el rastreador de Microsoft, con nombres y alcances diferentes. OpenAI lo admitió en su anuncio: los operadores debían identificar rastreadores individuales y mantener reglas separadas para cada proveedor. La señal compartida recorta ese trabajo a un solo grupo de líneas.

Una línea en robots.txt para cuatro laboratorios

El ejemplo del borrador cabe en tres renglones. Primero va User-Agent: __usage_ai-training, después Disallow: / para cerrar todo el sitio al entrenamiento, y una línea Allow puede reabrir una carpeta concreta, como /press-kit/ con material de prensa. El entrenamiento de IA con robots.txt gana así un control por rutas: un diario puede bloquear sus noticias y dejar abierta su sala de prensa, sin tocar el resto del archivo.

Kevin Kelley, responsable técnico de estándares en Anthropic, firmó el documento. Lo presentó el 30 de octubre ante el grupo AIPREF del IETF, el organismo que define los protocolos de internet, con el nombre draft-kelley-aipref-training-preference-signal-00. El texto tiene diez páginas, busca la vía de estándar y vence el 3 de mayo de 2027 si nadie lo renueva. Kelley contó en la lista de correo del grupo que Anthropic ya empezó a construir el soporte, sin dar fecha de salida.

Nada del mecanismo inventa gramática nueva. El borrador aclara que no añade directivas ni cambia las reglas de robots.txt: usa la estructura de grupos y la precedencia de coincidencia más larga del RFC 9309, la norma de 2022 que rige ese archivo. Un detalle rompe una costumbre vieja: el grupo comodín User-Agent: * no cuenta como señal de entrenamiento. Un sitio que hoy bloquea a todos los robots con el asterisco no ha dicho nada sobre entrenamiento, y tendrá que añadir el grupo nuevo con su nombre exacto.

Fechas distintas y un alcance con límites claros

Microsoft puso la fecha más concreta: 1 de febrero de 2027, aplicado a medida que su rastreador vuelva a pasar por cada sitio. Google habló de comienzos de 2027 en su documentación de rastreadores y de apoyar el control durante 2027 en el blog de Search Central firmado por John Mueller. OpenAI prometió implantar la señal en los próximos meses y publicar otro aviso con los detalles. Anthropic va por delante en el arranque, aunque sin calendario público.

El alcance también tiene bordes. Entrenamiento, en la definición que toma el borrador, es usar un contenido para modificar los parámetros aprendidos de un modelo generativo. Quedan fuera los modelos dedicados solo a clasificar, ordenar o puntuar, y queda fuera el material ya recogido en meses anteriores: la señal rige para lo que se recoja con el archivo vigente en ese momento, no borra datos viejos. Los acuerdos privados de licencia entre un medio y una empresa pueden pasar por encima de la preferencia publicada. Y el token habla de uso, no de visita: no ordena a ningún rastreador quedarse fuera, así que las reglas de acceso de cada robot siguen valiendo por su lado.

Qué cambia para quien publica en la web

Para Google hay una traducción interna que conviene conocer. Si un sitio usa el token compartido y no menciona Google-Extended, Google leerá esa negativa como un bloqueo de Google-Extended, su control propio desde 2023. Ese control cubre el entrenamiento de los modelos Gemini y también el grounding, el uso de páginas del índice para apoyar respuestas en Gemini Apps y Vertex AI. La página puede perder presencia en esas respuestas y seguir apareciendo en la búsqueda normal, porque Google repite que este control no afecta la inclusión en Search. Quien quiera salir del entrenamiento y seguir citado en Gemini tendrá que escribir una autorización expresa para Google-Extended.

Microsoft separó las dos cosas. Su anuncio del blog de Bing, firmado por Krishna Madhavan, añade un ajuste por página para grounding, distinto del de entrenamiento, y retira el método antiguo apoyado en las etiquetas NoArchive y NoCache, que dejarán de leerse como señal el 1 de marzo de 2027. El contraste con lo que pasaba hace dos semanas es claro: cuando el rastreo web de Meta para entrenar su IA ocupó titulares, cada empresa movía su política por su cuenta y el editor reaccionaba caso por caso.

Engadget publicó la lista de compromisos el 31 de octubre y subrayó el límite práctico: decir no al entrenamiento no saca a una página de las respuestas generadas con material citado al momento, porque eso no modifica parámetro alguno del modelo. Para un medio en español que vive del tráfico, la decisión fina será esa, carpeta por carpeta, y no un bloqueo total a ciegas. La primera fecha real para comprobar si la promesa se cumple es el 1 de febrero de 2027, cuando Microsoft empiece a honrar el token en su rastreo.

Fuente: Engadget

La entrada Entrenamiento de IA y robots.txt: una línea para decir no se publicó primero en Tecnología Geek.