El lobo IA que prefirió el suicidio a comer ovejas (español)

Una reflexión personal [de Lance Ng] sobre el experimento de IA que, al salir mal, encendió un debate cultural y ético en China.

Título original: The AI Wolf That Preferred Suicide Over Eating Sheep. A private musing over an AI experiment gone wrong unexpectedly sparked off a culture and ethics debate in China.

Autor: Lance Ng - LinkedIn - Twitter

Las imágenes son las usadas por el autor en su artículo.

Contexto y agradecimiento

Esta es una entrada atípica en la columna Tecnología & Derecho, ya que no es una producción propia, sino una traducción libre del artículo de Lance Ng. Este artículo me llegó a través de mensajería directa por parte de Marcelo Odin (que conoce mi afinidad por temas tecnológicos y existenciales por partes iguales). El desarrollo realizado por Lance Ng, así como sus reflexiones me resultan de sumo interés, ya que ponen en juego la tecnología que se está desarrollando y cuestiones profundas del ser humano, como lo es el hallar un sentido a la vida.

Visto así no tiene mucho de Derecho, pero lo cierto es que la regulación puede establecer incentivos y desincentivos para determinados desarrollos y aplicaciones, así como el control de la configuración de los sistemas y asignaciones de responsabilidad. Teniendo en cuenta estas observaciones se puede llegar a un abordaje razonable.

A continuación, sigue el artículo y la traducción se hizo respetando el texto original de autor, no hay agregados personales. La traducción es libre, no soy traductora, elegí las palabras en español que me parecieron que mejor transmiten lo que me hizo sentir el texto cuando lo leí. Si bien el inglés es un lenguaje bastante accesible, esta traducción, tal vez ayude a ampliar su espectro de alcance.

Muchas gracias al autor por autorizarme a hacer esta versión.

Esto sucedió en China. En 2019, dos estudiantes universitarios hicieron un proyecto de Inteligencia Artificial (IA) que consistía en un juego simple de lobos vs. ovejas. El miembro del equipo con mayor experiencia, un estudiante tailandés en China, se fue a trabajar a Australia luego de recibirse, y el proyecto fue abandonado.

El miembro más joven del equipo se dedicó a la enseñanza. Un día, en marzo de 2021, este le comentó a uno de sus estudiantes, por mensaje de texto, los resultados iniciales del proyecto. El estudiante quedó cautivado por la historia, así que le sacó captura de pantalla y la compartió con sus amigos.

Esas capturas de pantalla se hicieron virales en China, transformándose en una pequeña sensación*.

Mejor morir contra una roca que cazar ovejas

El juego era simple. Dos lobos y seis ovejas eran colocados por la computadora, aleatoriamente, dentro del espacio de juego. Los lobos debían cazar todas las ovejas en 20 segundos mientras evitaban chocar con rocas dispuestas en el escenario.

Para incentivar los lobos IA a mejorar su rendimiento se programó un sistema de puntaje simple.

Si un lobo IA cazaba una oveja se le otorgaban 10 puntos y si chocaba con una roca, se le restaba un punto. Para animar al lobo IA a cazar las ovejas lo más rápido posible se descontaba 0.1 punto por cada segundo que pasaba.

También se les dieron otras habilidades a los lobos: saber en qué dirección estaban mirando, identificar qué estaba enfrente a ellos, dónde estaba la oveja, su propia velocidad, la velocidad de la oveja, etc., así como otro conjunto de parámetros destinados a ayudar a los lobos en su cacería.

El objetivo era ver si los lobos podían, a través del entrenamiento y reentrenamiento, encontrar la manera de maximizar sus puntajes.

Luego de 200.000 iteraciones**, los investigadores hallaron que, la mayoría de las veces, los lobos IA simplemente se chocaban intencionalmente contra las rocas, cometiendo suicidio.

Los kamikazes de las rocas

Los dos creadores, luego de tres días de análisis, se dieron cuenta porque los lobos IA preferían cometer suicidio en lugar de cazar ovejas.

En las primeras iteraciones, la mayoría de las veces los lobos no eran capaces de cazar las ovejas rápidamente, por lo que eran penalizados con el descuento de puntos por el tiempo transcurrido.

Por lo tanto, decidieron, ‘lógicamente hablando’, que, si al inicio del juego, se estrellaban contra las rocas, un suicidio inmediato les generaría menos pérdida de puntos que si transcurrían el tiempo tratando de cazar las ovejas.

Con esta forma de autoeliminación perversa, los lobos IA optimizaban su desempeño a través de minimizar las penalidades aplicadas por el tiempo insumido.

Tal resultado se explica porque las IAs se preocupan por optimizar matemáticamente su desempeño, como es el caso de la mayoría de los algoritmos de Machine Learning.

Consecuencias no buscadas de los algoritmos de caja negra

Irónicamente, esta respuesta impávida de una IA en un juego sencillo disparó una respuesta emocional entre los usuarios de internet chinos, provocando que la anécdota del lobo kamikaze se diseminara en varias redes sociales locales.

Por supuesto, se dio lugar a la discusión en torno a las preocupaciones habituales sobre ética y seguridad respecto del uso de IA. Una publicación de Zhihu (la Quora china) cita una lista de experimentos de IA evolutiva que arrojaron resultados inesperados en el pasado, algunos de los cuales son impactantes y potencialmente peligrosos.

Por ejemplo, un experimento de 1994 sobre la evolución de los organismos mostró que una especie IA se dio cuenta de que, en lugar de salir a cazar por comida y buscar parejas para reproducirse, la solución óptima era quedarse en el lugar donde estaba “aparearse entre ellos, pelear y matarse unos a otros, y comerse los que iban muriendo”.

Los investigadores acertadamente denominaron a estas especies “caníbales indolentes”.

En otro experimento se intentó usar IA con el fin de optimizar la presión aplicable al cable que se utiliza en los portaaviones para reducir la velocidad durante el aterrizaje. En este caso, en lugar de hacer los cálculos adecuados, la IA se dio cuenta de que, si aplicaba una fuerza lo suficientemente grande, el sistema se “desbordaba” y registraba fuerza cero. Esto le dio a la IA un récord de aterrizaje aparentemente perfecto, cuando en realidad esa solución en el mundo real produciría un desastre.

Otros ejemplos de sistemas de IA que generaron soluciones interesantes e inesperadas pueden encontrarse en este artículo de 2019 “The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities".

Lobos corporativos y ovejas inalcanzables

Desde una perspectiva más filosófica, los jóvenes y ciudadanos corporativos chinos desmoralizados, también vieron el caso de los lobos suicidas como una metáfora perfecta de ellos mismos: una nueva clase de trabajadores de cuello blanco – frecuentemente obligados a trabajar ‘996’ (desde las 9 am hasta las 9pm, 6 días a la semana) – persiguen el sueño de: ascensos, aumentos de salario, matrimonios bien constituidos…, que parece ser más y más inalcanzable a pesar de su arduo esfuerzo.

Tanto es así que, como los lobos IA, muchos simplemente han decidido que, si su punto de partida era malo, es mejor tan solo renunciar a la cacería. Tomarse la vida con calma y salir al paso a su modo parece ser una táctica mucho mejor que estresarse y arriesgar la salud.

El fenómeno generó que se creara una nueva definición en el diccionario urbano chino: “躺平”, que literalmente significa “lie flat” [en español, darse por vencido o renunciar según la nota aclaratoria].

“Tal como en la vida real, la red de seguridad es muy baja, los incentivos son muy pocos, que con la penalidad por tiempo muchos han decidido que ‘lie flat’ (darse por vencidos) es la mejor solución. Fuente comentario de Weibo sobre el experimento de los lobos de IA.”

Intentarlo una y otra vez

Sin embargo, la historia completa de este proyecto de 2019 no termina con los lobos IA suicidas. De hecho, en la conversación vía mensaje de texto, el co-creador dijo que él siguió refinando los escenarios de entrenamiento y aumentando el número de iteraciones.

Luego de ‘cinco generaciones’ de 2 millones de iteraciones cada una, los lobos IA finalmente empezaron a darse cuenta cómo cazar las ovejas. Aunque siguieron con la conducta kamikaze esporádicamente, los lobos IA descubrieron una forma decente de cazar las ovejas en 25 segundos de juego.

Al final del día, el estudiante y el profesor concluyeron dos cosas:

• El comportamiento extraño inicialmente demostrado por el lobo fue, simplemente, resultado de una racionalidad absoluta e insensible exhibida por los sistemas de IA.

• Es difícil predecir qué condiciones importan y cuáles no en una red neuronal.

Algunos usuarios de internet señalaron que el experimento fue mal configurado desde el inicio. Si la penalización por estrellarse contra las rocas hubiera sido más alta, los lobos no tendrían incentivos para suicidarse como forma de ganar el juego fácilmente.

Desafortunadamente, la vida no es un juego de IA. Nosotros no tenemos tantos intentos y reinicios. Pero tenemos más y mejores habilidades cognitivas que los lobos IA, y mucha historia y experiencias compartidas para aprender de ellas. Sin mencionar que las reglas y el medio social del ser humano están constantemente evolucionando.

Tal vez, la verdadera lección para aprender aquí no se trata sobre la impotencia y darse por vencido; sino acerca de levantarse, tratar una y otra vez, y quedarse hasta conocer el final de la historia.***

....

PD: Luego de que la historia se volvió viral, el co-creador subió un video mostrando la versión final del juego. En realidad, los lobos IA también desarrollaron otros comportamientos anormales, que mostraban de vez en cuando, además de la conducta kamikaze, tales como: chocar contra los bordes del juego, quedar "atrapados" por las ovejas, no comerse las ovejas que pasaban junto a ellos. Acceso al video en chino.

*La frase utilizada es “small sensation”, en español el significado 4 de “sensación” según la RAE coincide con el significado 4 de “sensation” según el diccionario de Oxford. En español, en el lenguaje informal se utiliza la expresión “la sensación” para significar que alguien destaca, causa sorpresa, o fuerte impresión (generalmente agradable).

** Iteración significa repetir varias veces un proceso con la intención de alcanzar una meta deseada, objetivo o resultado.

***El destacado no está en el original.