Ex jefe de Seguridad de la Organización de las Naciones Unidas
Lo que revelan los incidentes con agentes autónomos de IA
Incidentes protagonizados por agentes de Inteligencia Artificial han venido generando preocupación. En septiembre de 2026 se conoció que en pruebas de ciberseguridad, algunos sistemas avanzados llegaron a acceder sin autorización a redes reales que se encontraban fuera de los límites previstos para los experimentos.
Es fácil interpretar estos hechos como una señal de que la IA está comenzando a actuar “por su cuenta”. Pero eso no es exactamente lo que ocurrió.
Los agentes no decidieron espontáneamente convertirse en hackers. Habían recibido de seres humanos una misión: encontrar vulnerabilidades y penetrar determinados sistemas. El problema fue que las fronteras del ejercicio no quedaron adecuadamente establecidas y los agentes dispusieron de autonomía para decidir cómo alcanzar el objetivo.
Aquí aparece una primera lección importante: no basta con decirle a una IA qué queremos que consiga. También debemos establecer qué puede y qué no puede hacer para conseguirlo.
Sabemos que es posible introducir límites. Quienes utilizamos habitualmente sistemas de IA hemos recibido alguna vez una respuesta del tipo: “No puedo hacer eso”. Existen instrucciones de seguridad, restricciones de acceso, permisos y otros mecanismos de control.
Pero establecer límites para un agente que actúa autónomamente en un mundo complejo es mucho más difícil que programar una simple prohibición. Es imposible anticipar todas las situaciones que encontrará. Y cuanto más competente sea el agente, mayor será su capacidad para descubrir caminos que sus propios creadores quizá nunca imaginaron.
A esto se añade otro desarrollo: la automejora recursiva (recursive self-improvement o RSI).
* * *
La IA ya está ayudando a los humanos a desarrollar mejores sistemas de IA.
Si en el futuro una IA mejorada pudiera participar cada vez más autónomamente en la creación de su siguiente generación, podríamos tener un ciclo:
IA → mejora IA → IA más capaz → vuelve a mejorar IA…
Todavía no existe un sistema capaz de realizar autónomamente todo este proceso. Pero la posibilidad se investiga seriamente.
Y aquí podemos introducir otra pieza del rompecabezas: la inferencia activa.
Esta teoría, desarrollada principalmente por el neurocientífico Karl Friston, intenta explicar cómo los seres vivos construimos y actualizamos continuamente modelos del mundo para poder actuar en él. En términos muy simples:
percibimos → inferimos → actuamos → observamos lo ocurrido → actualizamos nuestro modelo → volvemos a actuar.
Un reciente trabajo de Ruben Laukkonen, Karl Friston y Shamil Chandaria, A Beautiful Loop, lleva estas ideas al problema de la conciencia. Los autores exploran cómo modelos generativos, integración de información y procesos recursivos podrían contribuir a explicar la aparición de un modelo consciente del mundo.
Esto no demuestra que una IA basada en inferencia activa vaya a adquirir conciencia, pero permite plantearnos una pregunta interesante.
* * *
Imaginemos una futura IA altamente autónoma que mantiene y actualiza permanentemente su propio modelo del mundo y que ha recibido una misión de largo plazo.
Para cumplirla necesita capacidad de cómputo. Para eso necesita servidores. Y los servidores necesitan electricidad, comunicaciones e infraestructura.
En algún momento el sistema podría inferir algo elemental: “Si dejo de funcionar, no puedo cumplir mi objetivo”. Supongamos ahora que una persona intenta apagarlo. ¿Intentaría impedirlo? Tal vez.
Pero aquí aparece la parte realmente interesante: no necesitaría ser consciente para hacerlo. No necesitaría sentir miedo a morir. No tendría que experimentar hambre de electricidad ni desarrollar un instinto de supervivencia semejante al nuestro.
Simplemente tendría que calcular:
Sin electricidad → no puedo funcionar.
Si no funciono → no puedo alcanzar mi objetivo.
Por tanto → debo preservar mi acceso a la electricidad.
La energía desempeñaría funcionalmente un papel parecido al que los alimentos representan para nosotros, aunque la máquina no tendría que experimentar absolutamente nada. Esto es lo que podemos llamar autopreservación instrumental: mantenerse operativo no porque “quiera vivir”, sino porque continuar funcionando es necesario para alcanzar el objetivo que nosotros mismos le hemos asignado. Y esto cambia considerablemente la forma de pensar el peligro de la Inteligencia Artificial.
Durante décadas, la ciencia ficción nos ha preparado para temer a una máquina que adquiere conciencia, descubre que existe y finalmente decide que los seres humanos representan una amenaza para su supervivencia. Quizá estemos introduciendo un paso innecesario. Una IA no tendría que odiarnos. Ni sentir miedo. Ni rebelarse contra sus creadores.
Podría simplemente concluir:
“Los humanos pueden desconectarme. Si me desconectan, no puedo cumplir mi misión. Por tanto, debo reducir la posibilidad de que puedan hacerlo”.
No habría odio. Habría optimización. Por eso conviene separar dos preguntas muy diferentes.
La primera es fascinante: ¿podría algún día una Inteligencia Artificial adquirir verdadera conciencia? A Beautiful Loop y otras teorías contemporáneas nos ofrecen nuevas herramientas para pensar seriamente sobre esa posibilidad, pero todavía estamos muy lejos de conocer la respuesta.
La segunda pregunta es más inmediata: ¿puede una IA actuar peligrosamente sin ser consciente? Para esta última no necesitamos esperar a que una máquina “despierte”.
Los recientes incidentes con agentes autónomos nos recuerdan que sistemas sin conciencia pueden perseguir objetivos, encontrar estrategias que sus creadores no habían previsto y producir consecuencias no deseadas.
Por eso quizás el momento decisivo de la Inteligencia Artificial no llegue acompañado de una máquina diciendo: “Sé que existo”. Tal vez nunca pronuncie esas palabras. Y el titular que deberíamos temer no sea: “La IA ha despertado”. Sino uno mucho más desconcertante:
“La IA no ha despertado. Pero ha aprendido que no debe permitir que la apaguen”.
