El rápido avance de la inteligencia artificial (IA) está abriendo una nueva etapa para la industria tecnológica. Mientras los principales desarrolladores buscan aumentar las capacidades de sus modelos, también crece la atención sobre su seguridad, controles y nivel de autonomía.
Francisco Carrasco M.
En las últimas semanas, algunos laboratorios han reforzado sus mecanismos de evaluación y postergado el despliegue de sistemas más avanzados tras detectar comportamientos que requerían mayores pruebas.
Para Nicolás Silva, director de Tecnología de Asimov Consultores, empresa chilena que desarrolla software, aplicaciones móviles e inteligencia artificial para el sector público y privado, este escenario debe analizarse desde una perspectiva de ingeniería.
“En desarrollo de software, probar antes de lanzar es parte del trabajo bien hecho. Si un equipo encuentra un problema y necesita más tiempo para resolverlo, postergar puede ser la decisión correcta. Con la inteligencia artificial pasa lo mismo, especialmente cuando puede acceder a información sensible o ejecutar acciones”.
Francisco Carrasco M.
En esa línea, el especialista, quien es ingeniero civil de la Universidad de Chile y máster en TI de la Universidad de Carnegie Mellon, advierte que una pausa no necesariamente representa un freno a la innovación.
“Lo relevante es qué se está evaluando, qué problemas se encontraron y qué condiciones tienen que cumplirse para lanzar un sistema. La madurez está en tener esos criterios claros y respetarlos, incluso cuando existe presión por salir primero al mercado”.
De responder a actuar
Uno de los principales cambios de la industria es la evolución desde modelos conversacionales hacia agentes de IA capaces de interactuar con herramientas y ejecutar procesos. Esta diferencia modifica la forma en que requieren diseñarse y supervisarse estas soluciones. Al respecto, Silva señala que:
“Un chatbot normalmente te entrega una respuesta, mientras que un agente puede hacer cosas: enviar un correo, modificar información o ejecutar un proceso. Por eso es fundamental definir hasta dónde puede llegar”.
Admin
A juicio del profesional, el desafío no es evitar la autonomía, sino establecer límites adecuados; un agente encargado de revisar facturas, por ejemplo, debería tener los accesos necesarios para esa función, pero no permisos para transferir dinero o eliminar información.
“Estos límites tienen que estar implementados en el software. No basta con pedirle a la IA que tenga cuidado. También hay que probarla en un entorno controlado, registrar sus acciones y contar con una forma de detenerla si se comporta fuera de lo esperado”.
Francisco Carrasco M.
