OpenAI anunció que reconocerá una señal compartida en el archivo robots.txt para que los administradores de sitios web puedan expresar sus preferencias sobre el uso de sus contenidos en el entrenamiento de modelos fundacionales de inteligencia artificial generativa. El mecanismo será voluntario y permitirá comunicar una misma decisión a varios proveedores de IA que adopten esta señal.
Columnas al director
Cómo funcionará la nueva señal de entrenamiento de IA en robots.txt
Actualmente, los administradores de sitios web deben identificar los rastreadores de cada empresa de inteligencia artificial y establecer reglas individuales para indicar cómo pueden utilizar sus contenidos. Este procedimiento requiere mantener configuraciones separadas para cada proveedor, especialmente cuando se necesita modificar las preferencias de entrenamiento.
Uri
Con el mecanismo anunciado, el archivo robots.txt podrá contener una señal común que comunique esas preferencias a varios proveedores participantes, evitando tener que configurar reglas independientes para cada uno. Su desarrollo está relacionado con los trabajos del grupo de preferencias de IA del Internet Engineering Task Force (IETF), organismo que trabaja en la estandarización de tecnologías y protocolos de Internet.
La iniciativa busca establecer un mecanismo compartido entre diferentes desarrolladores de inteligencia artificial, aunque OpenAI todavía no ha detallado la sintaxis que tendrá la señal ni los parámetros específicos que deberán configurar los administradores de sitios web.
OpenAI mantendrá los controles actuales de rastreo
OpenAI tiene previsto implementar la nueva señal durante los próximos meses y publicar posteriormente los detalles técnicos necesarios para utilizarla, aunque todavía no ha confirmado una fecha específica para su entrada en funcionamiento.
La empresa también aclaró que este mecanismo no sustituirá los controles individuales que actualmente admite mediante robots.txt, por lo que los administradores podrán continuar utilizando las reglas existentes para sus rastreadores.
Berri
La adopción de la señal compartida dependerá de los proveedores de inteligencia artificial que decidan reconocerla, mientras continúan las discusiones técnicas del IETF sobre las preferencias de uso de contenidos web para entrenamiento de modelos generativos.
