Sam Altman, CEO de OpenAI, intervino ante el Consejo de Seguridad de Naciones Unidas para abordar el potencial de la inteligencia artificial, los riesgos asociados al desarrollo de sistemas cada vez más capaces y la necesidad de mantener estas tecnologías bajo control humano.
OpenAI publicó posteriormente la intervención tal como fue pronunciada. A continuación, presentamos en español el discurso completo, con la traducción del tramo originalmente publicado en inglés y manteniendo sin modificaciones la sección que OpenAI ya ofrece en español.
Admin
Intervención de Sam Altman ante el Consejo de Seguridad de Naciones Unidas
Por Sam Altman, CEO de OpenAI
Gracias, señor Presidente y excelencias. Es un honor estar aquí y poder dirigirme a todos ustedes en este momento tan importante.
Llevamos años hablando de inteligencia artificial, pero en las últimas semanas y meses la situación se siente diferente. El rápido progreso de los modelos ha hecho que los plazos parezcan más comprimidos, que los beneficios potenciales sean más tangibles y que tanto lo que está en juego como los riesgos sean más inmediatos.
Entre un nuevo Renacimiento y una nueva Revolución Industrial
Tenemos una elección frente a nosotros. La IA puede parecerse más a un nuevo Renacimiento de creatividad y descubrimiento, o a una nueva Revolución Industrial marcada por la conmoción y el desorden.
El Renacimiento fue una época en la que nuevas herramientas, nuevas ideas y nuevas instituciones ampliaron aquello que las personas creían que podían hacer. La IA puede desempeñar ese papel en nuestra época. Creo que las personas son mucho más capaces de lo que imaginan, pero han estado limitadas por una tecnología que debía empoderarlas y que, en cambio, las distrae y con frecuencia les roba la atención.
La mejor versión de la IA no consiste en convertir a las personas en engranajes de una gran máquina ni en optimizar cada aspecto de la vida hasta que desaparezcan sus dimensiones humanas. Se trata de dar a las personas una mayor capacidad de acción en un mundo cada vez más complejo: más posibilidades de aprender, crear, descubrir, construir y participar. Hay muchas cosas que la IA no puede —y no debería— automatizar.
La IA debe construirse para las personas, no simplemente para hacer que las máquinas funcionen cada vez más rápido por el solo hecho de hacerlo. Algunas de las cosas que han dicho quienes trabajan en el desarrollo de IA son tan distópicas que parecen el argumento de malas películas de ciencia ficción.
Columnas al director
Cualquier tecnología tan poderosa también resulta intimidante. Este momento es complejo porque sentimos al mismo tiempo un enorme potencial y una ansiedad perfectamente comprensible.
Estos modelos pueden ayudar a las personas a descubrir nuevos conocimientos: nuevos medicamentos, una mejor atención médica, una educación más sólida y economías más productivas. Pueden convertirse en nuevas herramientas para que las personas persigan sueños y ambiciones que hoy parecen fuera de su alcance. La complejidad de la vida ha aumentado de manera drástica para una persona promedio. La IA puede ser una herramienta defensiva frente a esa complejidad tanto como puede convertirse en una herramienta de descubrimiento e innovación sin precedentes.
Por otra parte, a medida que los sistemas de IA se vuelven más capaces y autónomos, podrían avanzar más rápido que nuestras instituciones, concentrar el poder en muy pocas manos o tomar decisiones que las personas ya no comprendan ni puedan controlar.
Esta preocupación se vuelve especialmente importante a medida que nos acercamos a sistemas capaces de mejorarse a sí mismos y de mejorar sus futuras versiones, lo que suele denominarse automejora recursiva. A medida que el proceso de construcción de IA se automatice, el ritmo del progreso de la IA podría acelerarse rápidamente. Este momento exige un cuidado extremo.
Los dos riesgos que Altman plantea para el desarrollo de la IA
Coincido en gran medida con el profesor Bengio. Aunque hablaré de dos en lugar de tres: creo que existen dos maneras en las que el progreso de la IA podría salir muy mal y que debemos evitar.
Francisco Carrasco M.
Perder el control sobre sistemas cada vez más capaces
La primera es que podríamos perder el control del futuro frente a la IA. El riesgo es que avance tan rápido que las personas ya no puedan seguir lo que está ocurriendo ni intervenir cuando sea necesario. Evidentemente, eso sería terrible.
La industria no debe aceptar un nivel excesivo de riesgo tecnológico solo porque los beneficios sean enormes y parezcan demasiado importantes como para desacelerar. Superar a otras empresas en una carrera competitiva no es una razón para tomar decisiones precipitadas. Tampoco creemos estar atrapados en una carrera en la que no podamos desacelerar. En el pasado hemos reducido unilateralmente el ritmo y volveremos a hacerlo en el futuro. No queremos construir sistemas —y creemos que es importante que todos eviten construirlos— si no podemos ofrecer las garantías necesarias de alineación, capacidad de supervisión y seguridad.
Necesitamos comprender qué están haciendo estos sistemas y contar con pruebas sólidas de que harán lo que las personas pretenden, incluso cuando se vuelvan muy, muy inteligentes. En realidad, especialmente cuando se vuelvan muy, muy inteligentes. No importa si las personas sitúan el riesgo de una catástrofe en 10%, 1%, 12% o 0,1%. Ninguno de estos niveles es remotamente aceptable. Y no deberíamos entrenar modelos si no podemos sostener con argumentos extremadamente sólidos que podremos mantenerlos bajo control humano.
Columnas al director
Evitar que el poder quede concentrado en pocas manos
Esa es una manera en la que las cosas pueden salir mal. En la otra dirección, estos sistemas podrían concentrar demasiado poder en muy pocas manos. Ninguna persona, empresa o país debería poder utilizar los modelos de IA más poderosos para imponer su visión del mundo a todos los demás. Una empresa o un país que crea que solo él puede ser digno de confianza con esta tecnología puede utilizar esa convicción para justificar prácticamente cualquier otra cosa. Tenemos que rechazar esa lógica, incluso cuando resulte conveniente para un determinado actor.
Creo que existe una vía pragmática para abordar ambos asuntos. En OpenAI, abordamos estas preguntas con un objetivo claro: la IA debe dar a las personas más poder sobre sus propias vidas. Más libertad para vivir como quieran. Más capacidad para resolver problemas, grandes o pequeños, y mejorar sus comunidades. No queremos caer en la trampa del optimismo ciego. Tampoco queremos caer en la trampa del catastrofismo. Dejarnos arrastrar hacia cualquiera de los extremos no nos ayudará a resolver con éxito los desafíos que enfrentamos, especialmente cuando el mundo y sus habitantes afrontan problemas enormes que esta tecnología puede ayudar a solucionar. Por eso intentamos seguir un camino intermedio entre estos dos polos.
Admin
Los tres principios que propone OpenAI
Para nosotros, eso implica tres principios.
Las personas deben permanecer en el centro de las decisiones
Primero, a medida que la IA adquiere más capacidades, las personas deben seguir ocupando el centro de las decisiones sobre ella. La alineación no es una cuestión de investigación abstracta. Es la labor de garantizar que estos sistemas permanezcan de forma confiable bajo control humano, reflejen valores humanos y ayuden a las personas a orientar las próximas etapas del desarrollo. No intentamos —ni debemos— automatizar el criterio ni los valores humanos.
Columnas al director
El progreso científico y económico debe estar al servicio de las personas
Segundo, los beneficios del progreso científico y del crecimiento económico deben surgir de las personas y estar a su servicio. La IA debe ayudar a los investigadores a hacer descubrimientos, a los médicos a tratar pacientes, a los docentes a enseñar, a los emprendedores a crear empresas, a las comunidades a resolver problemas que parecían inalcanzables y mucho más. La historia continua del progreso humano no consiste en que las herramientas reemplacen la capacidad de acción de las personas. Consiste en que las herramientas adecuadas aumentan las capacidades de las personas, y creo que esto llegará mucho más lejos de lo que hoy consideramos posible.
Admin
La tecnología debe empoderar a cada persona
Tercero, esta tecnología debe empoderar a cada persona. Un gran futuro surgirá cuando las personas alcancen su potencial y generen valor para sí mismas, sus comunidades, sus países y el mundo en general. Podemos ser algunos de los creadores de esta tecnología, pero no somos los héroes de esta historia. Nuestro papel es brindar oportunidades a personas de todo el mundo y confiar en la magia de las habilidades y facultades humanas.
De las matemáticas al proceso democrático
Ahora tenemos modelos capaces de descubrir conocimientos que nunca antes habíamos tenido. Consideremos los avances que hemos visto en matemáticas. Hace tres veranos, nuestros modelos tenían un desempeño aceptable en matemáticas de primaria. Hace dos veranos, eran bastante buenos en competencias de matemáticas de secundaria. El verano pasado, alcanzamos un nivel de medalla de oro en la competencia internacional de matemáticas más prestigiosa. Y hace apenas unas semanas, este verano, uno de nuestros modelos resolvió uno de los Problemas del Milenio: las ecuaciones de Navier-Stokes.
Ivan
Estas ecuaciones se usan para diseñar aeronaves, pronosticar el tiempo y estudiar el flujo sanguíneo. No resolvemos problemas matemáticos como un fin en sí mismo, sino para que las personas puedan descubrir nuevos conocimientos y usarlos para mejorar la atención médica, elevar el nivel de vida y ampliar el potencial de todos en el mundo. Aún queda muchísimo por descubrir.
Pero es muy importante que las empresas no sustituyan el proceso democrático.
Para que la IA sea democrática, las decisiones más importantes no pueden quedar únicamente en manos de laboratorios de San Francisco. Deben definirse mediante procesos democráticos y por gobiernos que rindan cuentas a las personas a las que sirven.
Juan Andrés
Cooperación internacional y normas para la IA de vanguardia
En el ámbito internacional, esto exigirá cooperación. A lo largo de la historia, ha habido momentos en que países que compiten y no siempre se llevan muy bien aun así se unen en torno a intereses compartidos y al bien común ante una nueva y poderosa tecnología. Creemos que este debe ser uno de esos momentos.
Necesitamos un mecanismo de normas nacionales e internacionales complementarias para la IA de vanguardia: normas para medir capacidades, evaluar riesgos, determinar si las salvaguardas son suficientes y preservar una supervisión humana efectiva a medida que los sistemas se vuelven más autónomos.
Necesitamos normas comunes para que los países puedan comparar pruebas, verificar el cumplimiento y compartir un mismo lenguaje y entendimiento de lo que ocurre.
Necesitamos informes de incidentes precisos y oportunos, así como protocolos de clasificación y notificación, para que el mundo pueda aprender de las fallas antes de que se conviertan en catástrofes.
Columnas al director
Y necesitamos canales seguros entre gobiernos, operadores de infraestructura crítica y expertos técnicos para compartir vulnerabilidades emergentes y nuevas amenazas.
Por supuesto, estas normas no deben consolidar a los actores establecidos ni favorecer un modelo de negocio sobre otro. Deben respaldar a desarrolladores de modelos abiertos y cerrados, a nuevos participantes y laboratorios establecidos, así como la autoridad nacional y la cooperación internacional. Cada gobierno debe decidir cómo incorporar las normas a su propio sistema jurídico. Pero todos estaremos mejor si logramos acordar qué constituyen buenas pruebas, buenas salvaguardas y una buena supervisión en el ámbito mundial.
No tenemos todas las respuestas y estamos muy abiertos a escuchar mejores ideas. Estamos listos para trabajar con todos ustedes y hacer nuestro mayor esfuerzo por encontrar el camino a seguir.
Juan Andrés
Una encrucijada para el futuro de la inteligencia artificial
Estamos ante una encrucijada. Un camino conduce a un mundo donde el poder está concentrado, las decisiones son opacas y las personas sienten que la tecnología más importante de sus vidas es algo que se les impone. El otro camino conduce a un mundo donde la IA trabaja para las personas porque ellas, a través de instituciones democráticas, ayudan a decidir cómo debe desarrollarse y orientarse; donde el progreso científico mejora vidas reales; donde más personas pueden participar en el futuro; y donde esta tecnología sigue dando a las personas y las comunidades más poder para vivir como elijan. Este es un futuro de potencial realizado, entusiasmo y asombro.
Y es el futuro que creemos que vale la pena construir. Muchas gracias.
