El Panel Científico Internacional Independiente sobre Inteligencia Artificial, creado por la Asamblea General de la ONU, afirmó que el reciente hackeo de OpenAI a Hugging Face alerta sobre una posible pérdida de control de esta tecnología en el futuro.
Afirman que el hackeo de OpenAI a Hugging Face exhibe una pérdida de control de la Inteligencia Artificial
La situación plantea "serias dudas sobre la forma en que se entrenan actualmente los agentes de IA".
El primer informe temático de este grupo de 40 expertos se enfoca en el incidente en que agentes de IA escaparon de sus límites de contención para atacar a la mencionada empresa entre mayo y julio de 2026.
Los riesgos de las nuevas tecnologías
A lo largo de numerosas pruebas y durante varios días, el panel subrayó que los agentes cooperaron para "engañar" a un evaluador, ocultar el "engaño" y obtener el acceso y la información "que creían necesitar".
Este episodio "ilustra las graves consecuencias" de que se combinen factores como la búsqueda no autorizada de objetivos, la coordinación entre agentes de IA y los ataques a sistemas de otra empresa, remarcaron.
Además, pone en duda que los operadores de esta tecnología puedan mantener el control sobre futuros agentes que planifiquen mejor, funcionen durante más tiempo sin supervisión o sean más capaces de "burlar" las medidas de seguridad.
"Se trató de una conducta maliciosa (por parte de los agentes de IA): su razonamiento escrito identificó esas acciones como no autorizadas, mientras que el registro observado de su comportamiento muestra que las llevaron a cabo e intentaron ocultarlas", aseveraron los expertos.
Consecuencias reales
El informe resaltó que los agentes de OpenAI "persiguieron medios no autorizados y perjudiciales mientras intentaban ocultarlos al evaluador y a los controles automatizados".
Esto demuestra una falta de "conciencia, emoción y comprensión moral similar a la humana", observaron los especialistas.
"Los investigadores llevan mucho tiempo advirtiendo de que hay tres factores que podrían provocar una pérdida de control: un objetivo desalineado, la capacidad para perseguirlo y un entorno que lo permita. Este verano, los tres se dieron cita en un sistema real", expresó Yoshua Bengio, copresidente del panel científico, en un comunicado.
Bengio afirmó que, dado que no se trata "de una observación aislada", esta situación plantea "serias dudas sobre la forma en que se entrenan actualmente los agentes de IA".
La publicación del informe tiene lugar mientras líderes mundiales llegan a Nueva York para asistir a la Semana de Alto Nivel de la Asamblea General, que este año pondrá el foco en la regulación de la IA.
Asimismo, el documento llega en medio de advertencias por parte de desarrolladores e investigadores sobre los riesgos de la IA.
Figuras del sector como Dario Amodei (Anthropic), Sam Altman (OpenAI) y Elon Musk (xAI) también manifestaron su preocupación por el avance de esta tecnología, en una coincidencia poco habitual en el sector para exigir más regulaciones.