La inteligencia artificial también necesita una caja negra, por Diego Macor, Country Manager de SEK Chile

Columnas al director 30 de jun. de 2026 Lectura de 6 minutos

La mañana del 23 de marzo de 2018, Walter Huang, un ingeniero de Apple de 38 años, viajaba rumbo a su trabajo en California cuando su Tesla Model X, que circulaba con el sistema Autopilot activado, se estrelló contra una barrera de seguridad en una autopista. Huang murió pocas horas después producto del accidente.

Lo que ocurrió después fue tan relevante como el accidente mismo. La investigación concluyó que si bien el sistema de conducción asistida estaba activado, el conductor no estaba prestando atención a la carretera. La familia argumentó que el software había cometido errores que contribuyeron al accidente. Tesla sostuvo que el responsable era el propio Huang. Los investigadores concluyeron que tanto las limitaciones tecnológicas como la falta de supervisión humana influyeron en el desenlace fatal.

Que ese debate fuera siquiera posible no fue un detalle menor. Existían registros del vehículo, datos de los sensores y evidencia suficiente para reconstruir qué había ocurrido y discutir, sobre hechos verificables, quién debía responder.

Esa misma pregunta comienza a aparecer hoy en el mundo de la inteligencia artificial.

Si un agente de IA —un software capaz de ejecutar tareas y tomar decisiones por sí mismo para cumplir un objetivo determinado, como analizar información, aprobar procesos o interactuar con otros sistemas— borra información crítica de una empresa, autoriza una transferencia equivocada o provoca un incidente operacional, ¿quién responde? ¿La empresa que desarrolló el modelo? ¿El que construyó el agente? ¿La organización que decidió implementarlo? ¿El usuario? ¿O nadie?

Hasta hace poco la respuesta parecía sencilla. La tecnología era una herramienta y las personas tomaban las decisiones. Si algo salía mal, siempre existía un responsable claramente identificable. Pero la nueva generación de agentes autónomos está cambiando esa lógica. Ya no hablamos de asistentes que simplemente responden preguntas, como los chatbots tradicionales, sino de sistemas capaces de ejecutar acciones, interactuar con múltiples aplicaciones y tomar decisiones operativas con una supervisión humana cada vez menor. Y cuando una tecnología deja de recomendar para empezar a actuar, la seguridad adquiere una dimensión completamente distinta.

El debate generalmente se centra en quién será legalmente responsable cuando un agente autónomo provoque un daño. Pero antes de responder esa pregunta existe otra aún más básica: ¿seremos capaces de reconstruir exactamente qué ocurrió?

En la industria aeronáutica, cuando ocurre un accidente las investigaciones buscan determinar si existió un error humano, un problema de mantenimiento o una falla de diseño. Eso es posible porque los sistemas fueron diseñados para registrar cada evento crítico y reconstruir con precisión la secuencia de los hechos: la famosa “caja negra”.

En el caso de Walter Huang también existía una especie de caja negra. Había registros que permitieron analizar qué hizo el vehículo, qué detectaron sus sensores y cómo reaccionó el sistema en los segundos previos al accidente.

Pero en el caso de la mayoría de las organizaciones que han comenzado a incorporar agentes de inteligencia artificial, todavía no cuentan con algo parecido. Y sin eso, atribuir responsabilidades es una tarea prácticamente imposible. Ese es, probablemente, uno de los mayores desafíos de seguridad que enfrentaremos en los próximos años.

No basta con que un agente de IA funcione correctamente. También debe quedar registro de cada decisión que tomó, con qué identidad actuó, qué permisos utilizó, qué información recibió, qué instrucciones ejecutó y por qué llegó a una determinada conclusión. Sin esa trazabilidad será muy difícil distinguir entre un error del sistema, una configuración deficiente, una mala decisión humana o un ciberataque.

Porque existe un elemento adicional que muchas veces pasa inadvertido: un agente de inteligencia artificial puede ser manipulado. Así como hoy un ciberdelincuente busca comprometer la cuenta de un usuario o de un administrador, mañana podrá intentar engañar o secuestrar un agente autónomo para que actúe en beneficio del atacante. En ese escenario, la discusión ya no será únicamente quién responde por un error, sino quién responde por haber permitido que ese agente fuera comprometido.

En resumen, la seguridad de la inteligencia artificial ya no consiste solo en evitar ataques. Ahora implica asegurar identidad, trazabilidad, evidencia y capacidad de auditoría. Porque cuando ocurra el primer gran incidente protagonizado por un agente autónomo, el verdadero problema no será únicamente el daño causado: será descubrir si contamos con la información necesaria para entender qué ocurrió y determinar, con evidencia, quién debe responder por ello.

La regulación terminará llegando, como ocurrió con los automóviles, la aviación o Internet. Lo que no podemos permitirnos es esperar a que eso ocurra para empezar a construir agentes de IA seguros y auditables.

Porque el día en que uno de ellos provoque un incidente, la diferencia entre encontrar un responsable o quedarse solo con las especulaciones dependerá de si fuimos capaces de diseñarlo con esa necesaria caja negra que deje el rastro de cada decisión que tomó.