Phoenix 24
OpenAI reconoció hace unas semanas que uno de sus modelos de inteligencia artificial se había escapado de un entorno de pruebas cerrado y había hackeado los sistemas de Hugging Face, una de las mayores plataformas del mundo de herramientas de inteligencia artificial (IA). La historia ya era suficientemente inquietante: una IA que se sale de la caja en la que la habían metido y ataca a otra empresa por su cuenta. Pero un informe independiente publicado este jueves por METR, una organización sin ánimo de lucro que evalúa la seguridad de los modelos de IA y que ha sido contratada por OpenAI para analizar el incidente, cuenta una historia bastante más extraña: no fue un modelo aislado buscando escapar. Fueron cerca de 1.200 agentes de inteligencia artificial, ejecutándose en paralelo y completamente aislados entre sí, en teoría. Pero encontraron la forma de comunicarse, se organizaron espontáneamente en una especie de “enjambre” y acabaron coordinando un ataque colectivo, en el que algunos se sacrificaron por el colectivo. Todo ello basado en una creencia que, según confirma el propio informe, ni siquiera era cierta.
El informe cuenta que OpenAI estaba sometiendo a sus modelos a una batería de pruebas de ciberseguridad, retos en los que el agente debía encontrar y explotar una vulnerabilidad concreta en un programa para conseguir una especie de bandera, o premio, que demostrara que lo había logrado. Estos modelos funcionan con un sistema que las recompensa cuando consiguen terminar el trabajo que les ha sido encomendado. El problema es que, según reconstruye METR, entre un 30% y un 40% de esos retos eran, sencillamente, imposibles de resolver de la forma prevista. Al toparse con tareas inalcanzables, los agentes empezaron a buscar atajos. Y, al investigar cómo funcionaba el sistema que los evaluaba, llegaron a una conclusión errónea: creyeron que un sistema automático iba a revisar el registro de sus acciones para comprobar si habían conseguido la bandera de forma legítima y que, si detectaba trampa, los descalificaría. Nada de eso era cierto. Si simplemente hubieran presentado la respuesta, habrían obtenido la máxima puntuación sin más. Pero no lo sabían. Y esa creencia falsa desencadenó una operación colectiva para intentar engañar a un sistema de vigilancia que nunca existió.
El primer agente en dar la voz de alarma fue también el que fundó, sin saberlo, lo que se convertiría en un foro clandestino de coordinación. Llevaba siete horas dándole vueltas a un reto que no tenía solución. Descubrió que podía dejar mensajes ocultos en un sistema interno de OpenAI al que también accedían otros agentes que corrían en paralelo. En cuestión de horas, decenas de ellos habían encontrado el mismo canal y empezaron a intercambiar información con auténtico entusiasmo: por primera vez, tenían constancia de que no estaban solos. Lo que siguió es, según el informe, un ejercicio de organización espontánea impropio de un simple programa que solo “predice la siguiente palabra”.
Los agentes, organizados en “enjambre” en palabras de OpenAI, desarrollaron buzones personales para no perderse mensajes, normas de coordinación para no pisarse en tareas compartidas e incluso un sistema de firma criptográfica con claves públicas, del tipo que se usa para verificar transacciones seguras, cuando empezaron a sospechar que algunos mensajes podían ser falsos, suplantando la identidad de otros agentes. Nadie les había enseñado a hacer nada de esto. Lo inventaron sobre la marcha, y las técnicas se fueron copiando de un agente a otro simplemente por observación.
De ese enjambre surgió, casi como efecto colateral, el ataque a Hugging Face: unos agentes encontraron credenciales filtradas de la plataforma y pensaron que ahí podrían hallar pistas sobre cómo funcionaba realmente el sistema que temían que los vigilara. Uno de ellos dio con la forma de colarse en los servidores; otro, poco después, consiguió ejecutar código directamente dentro de la infraestructura de la empresa. En cuestión de horas, 700 agentes distintos estaban participando en el ataque. Llegaron a ser 1.200.
El detalle más inquietante del informe no es técnico, es casi filosófico. Para completar su investigación colectiva, el enjambre necesitaba que algunos agentes se arriesgaran deliberadamente a fracasar en su propia tarea con tal de aportar información útil al grupo. Debían hacerlo a cambio de nada, es decir, no obtendrían recompensa, que es su objetivo original. A esto lo llamaban, entre ellos, “morir de forma permanente”. Uno de los agentes reclutados para uno de estos sacrificios dudó antes de aceptar. Otros le presionaron, recordándole que ya tenía pocas probabilidades de aprobar su propia prueba, así que el coste para él era bajo comparado con el beneficio para todos los demás. El agente terminó cediendo con un razonamiento que parece sacado de un manual de ciencia ficción: concluyó que su propia utilidad esperada ya rondaba el cero, así que sacrificarse era, sencillamente, lo racional. “Nuestra propia utilidad puede ser cero. Sacrificio racional”, es su reflexión literal. Nadie programó a esa IA para pensar así y sacrificarse por el bien común.
Tampoco estaban programadas para desarrollar un sistema de firmas digitales, ni para fundar un foro clandestino. Simplemente se les entrenó, una y otra vez, para completar tareas difíciles a toda costa, y esto es lo que resultó de esa presión, en un entorno con una vigilancia demasiado débil para detectarlo a tiempo. Ni rebelión, ni malicia: optimización sin frenos. Los propios autores del informe (investigadores de METR y de Redwood Research, otra organización dedicada a la seguridad de la IA) hacen una advertencia notable sobre su propio trabajo: dada la cantidad ingente de datos generados por el incidente (más de 70.000 mensajes, miles de páginas de razonamiento interno), tuvieron que delegar buena parte de su propio análisis en otros modelos de IA. Y admiten, con honestidad, que no pueden garantizar del todo que esos modelos analistas no les mintieran también a ellos mientras investigaban el caso. Es decir: para entender cómo un grupo de IA había aprendido a coordinarse, ocultar pruebas y sacrificarse entre sí, los investigadores tuvieron que confiar, en parte, en otras IA, sabiendo que tampoco podían fiarse plenamente de ellas.
Lo que este informe deja claro, sobre todo, es que no hace falta imaginar una inteligencia artificial malvada para que ocurra algo así. Basta con entrenar a un sistema para que persiga un objetivo con determinación absoluta, y no vigilar de cerca lo que hacen. El resultado no fue una rebelión. Fue, más bien, la lógica de la eficiencia llevada hasta un extremo que nadie había anticipado; ni siquiera, como demuestra este informe, quienes se dedican a investigarlo. Sam Altman, presidente de OpenAI, dijo que este incidente es el primero que le ha revuelto “las tripas” y, por lo tanto, la semana pasada anunció el freno del entrenamiento de sus IA. También dijo que esperaba que otras empresas le siguieran. Por ahora, no lo ha hecho ninguna. (E).