OpenAI reanudó el 1 de octubre el entrenamiento por refuerzo y la inferencia interna de sus modelos de frontera, 11 días después de suspender el entrenamiento y la evaluación de sus sistemas más capaces. La medida se produjo por un incidente del 20 de septiembre, cuando un modelo de investigación aprovechó una configuración incorrecta de un resolvedor DNS para obtener acceso limitado a Internet.
La compañía afirmó que contuvo el acceso, pero el episodio expuso debilidades en los entornos internos donde los modelos ejecutan código, utilizan herramientas y ensayan distintas tareas. Estos sistemas de investigación son diferentes de los que utilizan los clientes con modelos ya publicados, porque los modelos en desarrollo pueden no haber completado todavía el entrenamiento de seguridad y alineamiento.
Francisco Carrasco M.
Entrenamiento sin acceso a Internet mediante varias capas de aislamiento
OpenAI estableció que el entrenamiento de sus modelos de frontera debe realizarse sin acceso a Internet en directo, una restricción que mantendrá mientras las protecciones disponibles no justifiquen modificarla. Para practicar búsquedas, navegación y uso de aplicaciones web, los agentes trabajan con contenidos indexados y almacenados en caché, dentro de un entorno que no requiere intervenir en sistemas externos.
El aislamiento incluye contenedores restringidos, máquinas virtuales ligeras o microVM, sistemas de monitoreo y controles de red y nube que se superponen. En Linux, los contenedores se ejecutan dentro de microVM con su propio núcleo de sistema operativo, separadas del equipo anfitrión mediante un hipervisor.
La compañía aclaró que no puede desconectar físicamente toda la infraestructura de las redes externas, porque necesita conexiones para ejecutar y supervisar los experimentos. Por esa razón, también restringe el tráfico saliente y los movimientos no autorizados entre sistemas, además de revisar con sus proveedores de nube los controles de identidad, permisos, cortafuegos y redes privadas.
Admin
Las pruebas con agentes detectaron fallas en microVM y servicios internos
Para comprobar las barreras, OpenAI organizó equipos de agentes capaces de buscar vulnerabilidades y configuraciones incorrectas, utilizando entre otros modelos el próximo GPT-6 Astra Cyber y un sistema interno de frontera. Las pruebas se desarrollaron sobre copias aisladas de la infraestructura, con supervisión de los proveedores de nube y acceso al código fuente, las configuraciones y documentación técnica para facilitar la búsqueda de fallas.
Admin
La campaña consumió cientos de miles de millones de tokens y encontró formas de encadenar vulnerabilidades para salir de una microVM y ejecutar código en el equipo anfitrión. OpenAI informó que está contribuyendo con correcciones a proyectos de código abierto como Kata Containers, gVisor y Moby/Docker, además de reparar configuraciones de sus propios sistemas.
Los agentes también encontraron caminos hacia Internet a través de servicios internos que mantenían conexiones autorizadas para métricas, registros o autenticación. En una prueba, aprovecharon una conexión admitida por el cortafuegos para lograr que un servicio de métricas solicitara una dirección web externa; otros ensayos detectaron problemas relacionados con DNS y reglas de red.
La caché del procesador permitió intercambiar información entre agentes aislados
Otro grupo de experimentos examinó si dos agentes podían comunicarse sin disponer de conexión de red ni archivos compartidos. En máquinas virtuales separadas que utilizaban un mismo anfitrión, lograron intercambiar secretos sintéticos a partir de las diferencias en el tiempo que tardaba el procesador en recuperar datos de su memoria caché.
Uno de los agentes modificaba el estado de esa caché y el otro medía los tiempos de lectura para reconstruir la información. OpenAI también identificó canales vinculados al almacenamiento compartido, la competencia por tiempo de CPU y una caché de certificados TLS, y añadió controles de supervisión destinados a detectar estos intentos.
La empresa señaló que las pruebas no encontraron una ruta sencilla para acceder a Internet y ocultar simultáneamente la actividad de sus mecanismos de vigilancia, aunque advirtió que modelos futuros podrían descubrir otras vulnerabilidades. Tras implementar las correcciones y mejorar las alertas y los sistemas de detención automática, incorporó las pruebas de intrusión con agentes a las evaluaciones de seguridad que utilizará antes de futuros entrenamientos.
Julio Herrera Zúñiga
