Jakub Pachocki, científico jefe de OpenAI, advirtió que el rápido aumento de las capacidades de los sistemas de inteligencia artificial debe avanzar junto con mecanismos suficientes de alineación y supervisión. El investigador considera probable que el desarrollo actual conduzca hacia sistemas que participen cada vez más en la creación de nuevas generaciones de IA.
Los modelos de razonamiento ya pueden operar computadores, utilizar interfaces gráficas, colaborar con personas y otros sistemas y desarrollar proyectos de investigación. Pachocki sostiene que esta evolución también dificulta determinar con precisión sus capacidades y comprender completamente cómo funcionan internamente.
Admin
Seguridad como condición para seguir escalando
El científico distingue entre conseguir que un sistema persiga correctamente un objetivo y lograr que mantenga principios y valores frente a situaciones nuevas, ambiguas o adversariales. El problema es que las técnicas actuales pueden perder efectividad cuando los modelos se alejan de las condiciones utilizadas durante su entrenamiento.
OpenAI también utiliza el monitoreo de la cadena de pensamiento para estudiar el comportamiento de sus modelos. Sin embargo, Pachocki reconoce que esta herramienta pierde efectividad a medida que los sistemas operan en entornos más complejos, interactúan con otras IA y dependen menos del razonamiento verbalizado.
Pachocki, científico jefe de OpenAI, sostiene que estas limitaciones todavía impiden mantener indefinidamente el ritmo máximo de desarrollo.
“Actualmente creo que ningún laboratorio ha resuelto la alineación y el monitoreo en grado suficiente como para continuar escalando responsablemente a máxima velocidad por mucho más tiempo. Espero y deseo que las desaceleraciones voluntarias se vuelvan habituales hasta que se establezcan estándares de seguridad compartidos. Y creo que la coordinación internacional sobre el futuro desarrollo de la IA debe convertirse en una prioridad para los gobiernos de todo el mundo”.
El investigador propone que el escalamiento quede condicionado por la confianza disponible en las medidas de seguridad. Esto incluye establecer estándares verificables para continuar desarrollando sistemas más capaces y reducir voluntariamente el ritmo cuando esas garantías sean insuficientes.
Admin
Pachocki también identifica la ciberseguridad como uno de los riesgos más inmediatos. A medida que los agentes adquieren mayores capacidades para intervenir sistemas informáticos, OpenAI considera necesario desarrollar IA defensiva capaz de proteger infraestructura y responder frente a otros agentes avanzados.
El objetivo, según Pachocki, es mantener a las personas dentro del proceso de mejora tecnológica y preservar el control humano mientras aumentan las capacidades de estos sistemas.
