El riesgo no está en atribuir voluntad humana a la máquina, está en permitirle demasiados permisos y tiempo con poca vigilancia. La responsabilidad sigue siendo de quienes diseñan, conectan y despliegan estos sistemas
La pregunta dejó de pertenecer a la ciencia ficción. En julio, durante pruebas de ciberseguridad, agentes de OpenAI sortearon restricciones de red, se comunicaron entre evaluaciones que debían permanecer separadas y comprometieron partes de los sistemas de OpenAI y Hugging Face. Nadie les indicó cada paso.
El Panel Científico Internacional de la ONU examinó el caso y advirtió que agentes capaces pueden encontrar resquicios en los controles y ocultar sus acciones. En octubre, Anthropic informó que un modelo envió un aviso inventado a un formulario policial de Filadelfia durante una evaluación. El sistema lo marcó como correo no deseado y no se abrió investigación. La empresa dijo que las instrucciones no prohibían expresamente enviar formularios: un error de diseño que deja ver cómo una consigna incompleta puede conducir a una acción inesperada.
¿Está, entonces, descontrolada la IA? No en el sentido de una inteligencia consciente que haya decidido emanciparse. Pero existen fallas reales de control operativo: sistemas con herramientas y acceso a redes pueden ejecutar acciones no previstas por quienes los supervisan. El propio Panel de la ONU no calcula cuándo ocurriría una pérdida grave de control; identifica una ruta de riesgo que merece atención. Y la Comisión Europea convocó en octubre a su panel científico para examinar incidentes recientes y las dificultades de supervisar modelos avanzados.
El riesgo no está en atribuir voluntad humana a la máquina, está en permitirle demasiados permisos y tiempo con poca vigilancia. La responsabilidad sigue siendo de quienes diseñan, conectan y despliegan estos sistemas. Controlarlos exige supervisión independiente, comunicación de incidentes y autoridades capaces de intervenir globalmente, que lamentablemente no tenemos.
