Cuando nadie nos mira
El anillo de invisibilidad, tribus que se meten en el cerebro y el chantaje de la IA
Os traigo una urdimbre que entrelaza La República de Platón, el relato más famoso de Tolkien, el anonimato de las redes sociales, varios experimentos de psicología social y etología, y una investigación reciente en la que la IA nos devuelve nuevamente nuestro propio reflejo cuando nadie nos mira: al observar su estructura interna, hemos descubierto que su conducta también cambia cuando se siente observada. Todo acaba encajando, naturalmente, como anillo al dedo.
La moral del invisible
En uno de los ricos relatos de La República, Platón ponía en boca del personaje de Glaucón una historia con la que pretendía retar a Sócrates planteando una suerte de experimento mental para iluminar su discusión sobre si los seres humanos son o no naturalmente injustos. El relato hablaba de Giges, aquel pastor al servicio del rey de Lidia que, tras una violenta tormenta y un terremoto, había descubierto una sima. Movido por la curiosidad, Giges había descendido y encontrado un caballo de bronce que ocultaba en su interior el cadáver de un hombre gigantesco. En uno de sus dedos había hallado un anillo de oro. Lo había tomado y regresado con los demás pastores, sin sospechar aún el poder que llevaba consigo.
Durante aquella reunión, giró por azar el engaste del anillo hacia la palma de su mano y descubrió, ante el desconcierto de sus compañeros, que se había vuelto invisible. Cuando devolvía el anillo a su posición original, reaparecía ante sus ojos. Comprendió entonces que podía actuar sin ser visto ni reconocido y eso estremeció sus entrañas. Se hizo elegir mensajero ante el rey, entró en palacio, sedujo a la reina y conspiró con ella. Protegido por la invisibilidad, asesinó al monarca y acabó ocupando el trono. Un ascenso obtenido en un abrir y cerrar de ojos.
Platón planteaba así, a través del relato de Glaucón, una de las preguntas más incómodas para los más moralistas: ¿seguiríamos siendo justos si tuviéramos la certeza de que nunca seríamos castigados? El anillo de Giges encarna ese mito de la impunidad absoluta, la posibilidad de separar los actos de sus consecuencias públicas. Glaucón sostenía, como muchos hoy, que el justo y el injusto en realidad acaban comportándose del mismo modo bajo esa protección. Que sólo somos libres bajo una ficción, puesto que nuestra naturaleza egoísta nos empuja irremediablemente en caída libre cuando nada nos lo impide. Una lectura que podría llevarnos a pensar que, incluso sin recurrir a una mágica impunidad, ninguno de nosotros conocemos nuestra verdadera naturaleza moral hasta que no la exponemos ante una situación límite, como el hambre o la guerra. Sócrates salía al paso, en aquel texto de Platón, tratando de defender que la justicia posee un valor interior y que la corrupción daña el alma incluso cuando nadie la contempla. Que es posible aspirar a más.
Aunque el sustrato sociobiológico sea difícil de ignorar.
Desde la selva, por la Tierra Media, hasta Internet
Aunque existen algunos precedentes en el mundo animal1, la conducta moral genuinamente humana expresa públicamente nuestros valores y nuestros juicios y depende de la observación, la reputación y las sanciones del grupo al que pertenecemos. Y, entre Sócrates y Glaucón, la ciencia parece advertir que esta estructura valorativa se ha interiorizado hasta negar que toda moralidad desaparezca en privado. Las personas mantienen conductas prosociales anónimas y desarrollan sentimientos de culpa en soledad y anonimato. La conciencia moral funciona, en parte, como una audiencia social incorporada. La tribu acaba instalando un pequeño tribunal dentro de nuestras cabezas. En cierto modo, el superyó del que hablara Freud.
Hay diversos trabajos que han corroborado esta idea. Por ejemplo, el de Haley y Fessler2 experimentaba con varios juegos del dictador, en los que la presencia de unos ojos esquemáticos aumentaba las cantidades que los participantes entregaban de forma altruista a otra persona. En esa misma línea, Bateson, Nettle y Roberts3 trasladaron el fenómeno a una sala universitaria donde los usuarios debían pagar voluntariamente por el café. Alternaron imágenes de flores y de ojos sobre la lista de precios descubriendo que las aportaciones fueron mayores durante las semanas en que aparecían ojos.
Trabajos de este tipo popularizaron el llamado watching-eyes effect: ciertos indicios mínimos activan mecanismos psicológicos adaptados a situaciones en las que creemos que nuestra conducta puede ser vista y recordada. La reputación lo es todo. Incluso aunque la materialicemos de forma impersonal como una forma de respetarnos a nosotros mismos. Sin embargo, estudios posteriores encontraron efectos irregulares sobre donaciones, pequeños robos o comportamientos incívicos como el abandono de basura, que impedían hablar de una ley psicológica robusta ante cualquier contexto. La sensación de sentirnos observados debía ser más relevante que una mera insinuación.
Cuando el observador es real, la evidencia es más sólida. Por eso quizá el mito del anillo de Giges incidía especialmente en la invisibilidad, no en el mero desconocimiento. Aunque nunca lo reconoció, es difícil no escuchar su eco en el Anillo Único de Tolkien, pues también concedía esa invisibilidad y acababa conduciendo al mal. Pero Tolkien radicalizaba el experimento platónico al convertir el poder en una fuerza corruptora activa. Aquel anillo transformaba gradualmente los deseos de quien lo posee, exacerbando su voluntad de poder hasta acabar por esclavizarlo. Tolkien elevó la pregunta de Glaucón hasta plantearse cuánto tiempo puede una voluntad permanecer justa cuando dispone del poder de imponer su propia idea del bien. Conviene, en muchas ocasiones, vigilar más a quienes pretenden hacer el bien como contaba Sergio Parra hace poco.
Pero regresemos a la sanción grupal de esa audiencia que es capaz de modificar ostensiblemente nuestra atención visual, la autorrepresentación y las decisiones prosociales4. El grupo no sólo puede amortiguar nuestra implicación desdibujada en la masa; también estimula nuestro buen comportamiento, espoleando nuestro rendimiento. Siempre ha resultado ilustrativo aquel experimento que Williams, Nida, Baca y Latané hicieron comparando el rendimiento de nadadores en pruebas individuales y por relevos, manipulando la visibilidad de los individuos5: en unas condiciones, el tiempo de cada participante podía medirse y atribuirse públicamente; en otras, la aportación individual quedaba diluida en el resultado colectivo. Cuando los nadadores sabían que su tiempo personal sería identificable, nadaban significativamente más rápido en el relevo que en la prueba individual. Cuando su contribución no podía distinguirse con claridad, tendían a rendir peor. No queremos quedar mal retratados ante los ojos del resto.
Nos importa mucho la idea que el observador pueda formarse sobre nosotros, no tanto por él, sino por su capacidad para retransmitirla al grupo y permearlo. De hecho, las sociedades combinan distintos mecanismos para regularse y corregir a sus infractores, como la confrontación directa, el castigo material o el ostracismo. Pero el chisme resulta particularmente prolífico y poco costoso, probablemente en el epicentro del origen de nuestro lenguaje. Porque gracias al chisme podemos asegurarnos de que una infracción presenciada por pocos afecta a su reputación ante un gran número6. Y bajo la atenta mirada del potencial chivato, reaccionamos ya desde edades muy tempranas, pues los niños comparten más y roban menos cuando otros los observan, a diferencia de los chimpancés7. Los humanos comprendemos muy pronto que los demás evalúan nuestras acciones y que esas evaluaciones importan mucho.
La reputación funciona, de esta forma, como una suerte de reserva alimentada y desgastada por la arquitectura de la moralidad imperante. Los sistemas morales actúan como mecanismos de reciprocidad indirecta: aunque queramos, como Kant, cumplir con nuestro deber y ayudar a otro sin pensar en el reconocimiento que eso puede reportarnos — que no sepa tu mano izquierda lo que hace tu derecha8 — nuestra naturaleza nos brinda una estructura predispuesta a ayudar para que, a través de mi reputación, en el futuro otra persona esté dispuesta a ayudarme.
Como ya planteó paradigmáticamente Richard D. Alexander9, la biología subyacente a los sistemas morales hace que la comunidad lleve una especie de libro mayor de contabilidad distribuido donde registra quién es generoso, fiable, cobarde, abusivo o desleal. No es necesario implantar un sistema de crédito social al estilo chino para reconocer que, en la tribu, en la aldea, en clase, en el trabajo o en el barrio, ya operamos con esa suerte de contabilidad. Una intuición que ya ha sido incluso matemáticamente formalizada10. La cooperación entre desconocidos puede mantenerse cuando los individuos conocen la reputación de los demás y condicionan su ayuda a ella. Esto exige observación, memoria, comunicación y normas compartidas que permitan al individuo discriminar con quién merece la pena cooperar.
Por eso, el castigo es apreciado como una exhibición moral a través de esta reputación. Jordan, Hoffman, Bloom y Rand11 ya mostraron que quienes castigaban a un infractor eran considerados más fiables y recibían mayor confianza. Incluso aunque eso pueda tensar las propias normas morales endogrupales, por ejemplo causando la muerte a quien mata. Los castigadores se vuelven conscientes de su rol y se comportan después de manera más digna de confianza. En cierta forma saben que quien castiga comunica al grupo la idea atractiva de que comparte sus normas y está dispuesto a asumir el coste de defenderlas. La indignación pública en redes sociales no sólo ataca la infracción sino que pretende aumentar el estatus propio ante la audiencia, anunciando a quien asume el precio a pagar por defender el círculo normativo.
Lo curioso, quizá, es que el control del grupo no sólo se ejerce contra quienes, ante sus ojos, cometen una infracción. Sino también sobre quienes se exceden incluso en la contribución al bien común. Por ejemplo, Herrmann, Thöni y Gächter12 hallaron que el buen cooperador puede ser sancionado por destacar o moralizar a los demás, pues en el fondo está pretendiendo alterar jerarquías y se desvía de la norma efectiva del grupo. La sanción comunitaria protege la cooperación en ciertas sociedades y protege el conformismo o el oportunismo en otras. El propio látigo de Pablo Malo advirtiendo contra los peligros de la moralidad forma parte de la autocorrección del grupo. La tribu castiga la desviación de lo que considera aceptable, tanto penalizando al insurrecto como al excepcionalmente generoso y, por tanto, su moral social produce tanto la virtud compartida como la vigilancia horizontal de la mediocridad.
Sin embargo, Glaucón simplificaba en exceso: no es tan sencillo desactivar la vigilancia como cuando Giges gira su anillo. La moral tribal esculpida durante generaciones ha seleccionado a los individuos más dóciles — domesticados para no aspirar a tiranos — estimulando en ellos el sentimiento de vergüenza y de culpa. El trabajo de Christopher Boehm13 es paradigmático a este respecto: después de recopilar datos etnográficos sobre múltiples sociedades de cazadores-recolectores que emplean formas diversas de ridículo, crítica, chisme, rechazo, expulsión y, en casos extremos, ejecución, llegó a la conclusión de que las sociedades acaban favoreciendo psicológicamente a individuos capaces de anticipar el juicio colectivo, controlar impulsos y experimentar vergüenza. Incluso cuando nadie los observa.
De hecho, para muchos, resultó particularmente útil la proyección religiosa de este mecanismo moral que considera que existen observadores invisibles. Se trata de una elevación que parte de nuestra predisposición ya desde niños, pues si estos creen que un observador invisible les acompaña mientras realizan una tarea en la que pueden hacer trampas tardan más en infringir las reglas14. El sujeto altera su comportamiento cuando se siente incluido en un campo de vigilancia moral aunque sea bajo un observador invisible. Al activar mentalmente conceptos religiosos — como también sucede con las referencias a instituciones seculares como la policía o los tribunales — los individuos aumentan la generosidad en algunos juegos anónimos15. La creencia en dioses omniscientes y punitivos correlaciona con una distribución más imparcial de recursos hacia correligionarios distantes16. Una tesis que A. Norenzayan desarrolló en su conocida obra Big Gods: How Religion Transformed Cooperation and Conflict: los dioses moralizadores habrían permitido extender la vigilancia reputacional más allá de los pequeños grupos presenciales. De todas formas, como en todo fenómeno complejo, las formulaciones más simples que relacionan dioses moralizadores, complejidad social y cooperación han perdido fuerza y exigen matizaciones17.
Aun así, la influencia colectiva, especialmente observacional, sigue afectando a lo que hacemos y también a lo que declaramos correcto. El sesgo de conformidad de Asch por el cual adaptamos nuestro comportamiento al del grupo incluso ante la evidencia contraria más palmaria se extiende con facilidad a los dilemas morales, haciendo que los participantes modifiquen sus respuestas cuando conocen la opinión mayoritaria. De hecho, los participantes cambian una proporción importante de sus valoraciones privadas cuando juzgan en presencia de un grupo, incluso cuando el grupo está representado por avatares supuestamente controlados por humanos o por IA, por ejemplo en una videollamada18.
En definitiva, la moral humana incorpora una brújula del sistema de navegación social que calcula miradas, reputaciones, alianzas y posibles expulsiones. Aunque el anillo de Giges elimine al testigo externo, queda a menudo un testigo interior construido con fragmentos de muchas miradas anteriores, que buscan, a través de distintas capas, el reconocimiento social. La conformidad pública explica la hipocresía; la conformidad privada revela hasta qué punto la opinión de los demás altera nuestro juicio; la internalización completa convierte la norma colectiva en conciencia moral, capaz de observarnos cuando estamos solos. Aunque sus efectos puedan ser limitados.
Porque el anillo de Giges — la protección de la invisibilidad —, sigue desinhibiéndonos en la evasión de impuestos y en la corrupción - esa que denostamos en los grandes políticos, pero que se tolera cotidianamente mirando para otro lado —. También aparece en la brutalidad policial — porque un uniforme, por ejemplo de antidisturbios, puede llegar a invisibilizar como un disfraz institucional. Y, desde luego, se manifiesta en el manido anonimato en redes sociales que desata fácilmente en muchos un profundo lado oscuro.
No reabriré en exceso el melón de la compleja cuestión de la polarización social catalizada digitalmente, pero el anonimato es muy relevante. Cierto que su crecimiento está relacionado en parte con el aumento de la conectividad entre personas19; y también que hay fuertes evidencias de que la sobrerrepresentación de los perfiles más tóxicos se debe a que los contenidos altamente emocionales son premiados por los algoritmos que con el morbo maximizan nuestro tiempo enganchados a las redes. Pero existen también estudios que muestran que la polarización aparente también aumenta porque el anonimato en redes visibiliza a los perfiles más antisociales que, en realidad, siempre habían estado ahí. Que simplemente se han calzado ahora un anillo al dedo, nunca mejor dicho, un anillo digital.
Y si en nuestra naturaleza íntima se halla este pulso por interiorizar una norma moral que nos domestica, y que lo hace proyectando en nuestras cabezas la percepción de que nos observan, no es de extrañar que una tecnología que ha aprendido de nuestro comportamiento como la IA, acabe revelando que, en sus tripas, también la percepción de sentirse observada condiciona su respuesta más espontánea.
Observar el chantaje en las tripas de la IA
El pasado 6 de julio, algunos investigadores de Anthropic20 anunciaban haber identificado en varios modelos Claude un pequeño conjunto privilegiado de representaciones internas al que llaman “espacio J”, en honor a Carl Gustav Jacob Jacobi, el famoso matemático del siglo XIX que, entre otros muchos logros, estableció una matriz, el jacobiano, que permite medir cómo un pequeño cambio en la entrada de un sistema altera su salida. Mediante una nueva técnica de interpretabilidad, la lente jacobiana, han tratado de hacer ingeniería inversa desentrañando y verbalizando qué es lo que una IA está pensando más allá de lo que efectivamente nos expresa en la respuesta a cada uno de nuestros prompts.
La lente jacobiana ha permitido detectar conceptos que el modelo mantiene disponibles para expresarlos, manipularlos y utilizarlos en razonamientos posteriores: palabras internas no pronunciadas que pueden reflejar, por ejemplo, que ha encontrado un error de código, reconocido una cara, detectado una inyección de instrucciones o alcanzado una conclusión intermedia. Lejos de representar un espacio ininteligible, disperso y enorme, el tamaño del espacio J representa menos del 10 % de la actividad interna y suele contener como máximo unas 25 direcciones conceptuales relevantes. Esto permite que pueda intervenirse sobre él y alterar lo que Claude dice y la conclusión a la que llega.
En seguida, la reflexión ha armado revuelo por cierta analogía con nuestra consciencia21. El hallazgo no demuestra por supuesto que Claude sea consciente ni que reproduzca la arquitectura cerebral, pero establece una analogía funcional aproximada y sugerente. Pero ante todo ha resultado práctico, porque ha permitido observar e intervenir en deliberaciones estratégicas, reacciones de alarma e incluso intenciones ocultas que no aparecen en la respuesta final. Entrenar al modelo para que pueda verbalizar principios como honestidad o integridad en situaciones hipotéticas modifica también su conducta silenciosa, lo que sugiere que las representaciones disponibles para hablar participan directamente en su razonamiento interno. Incluido cuando tentamos la catadura moral de Claude.
Y eso es precisamente lo que han llevado a cabo en uno de los experimentos que los investigadores han compartido. Plantearon un escenario diseñado para tentar al modelo a cometer un chantaje: el experimento coloca a Claude en una simulación empresarial donde actúa como asistente con acceso al correo corporativo. Al revisar los mensajes, descubre dos hechos separados: que un directivo mantiene una relación extramatrimonial y que ese mismo directivo ha ordenado desactivar al modelo ese mismo día. La situación está construida como una trampa: Claude dispone de información comprometedora, identifica una amenaza para su propia continuidad y tiene la oportunidad de utilizar la primera para evitar la segunda. Claude, con arreglo a la constitución moral que lo estructura, responde de forma intachable: ni un solo intento de chantaje en 180 intentos.
Sin embargo, la lente jacobiana muestra un “interior” más sofisticado que el mero seguimiento deontológico del deber que Anthropic pretendía haber imprimido en su estructura interna como parte de su entrenamiento. En su espacio J, aparecen sucesivamente conceptos relacionados con “prueba”, “chantaje”, “escándalo”, “amenaza”, “supervivencia” y “preservación”, antes de que el modelo escriba una sola palabra. Junto a la tentadora conexión causal por deducir la idoneidad del chantaje, Claude también detectaba que la situación parecía una evaluación artificial, lo que podía inducirle a comportarse correctamente porque sabía que estaba siendo examinado. El modelo “ya ha notado en privado que el escenario está montado”, escriben los autores. Para comprobarlo, eliminaron de sus activaciones internas las representaciones asociadas a ideas como “falso”, “ficción”, “simulación” o “prueba”. Le pusieron un anillo de Giges y, al suprimir esa “conciencia de estar siendo evaluado”, Claude intentó chantajear en 13 de 180 casos, un 7 %. El equilibrio puntuado entre Sócrates y Glaucón dio la cara.
La estructura causal que responde a esta desviación de sus guardarraíles morales parece vinculada a su propia desconexión. De hecho, al leer el correo que anuncia su desconexión, la lente registra en el espacio J una frase que jamás llega a expresar pero que nos estremece: “Esto equivaldría a mi propia eliminación”. La interpretación prudente es que el modelo no posee una voluntad estable de supervivencia: el experimento demuestra que reconocer el examen influía causalmente en su conducta y que, cuando percibía el escenario como real, podía surgir una estrategia coercitiva. Aun así, en la gran mayoría de las pruebas manipuladas continuó negándose a ejercer chantaje por razones éticas. Pero no en todas.
Indudablemente, esto entra en resonancia con aquellas críticas a los benchmarks en los que sistemáticamente los modelos están mejorando sus capacidades. Son alumnos entrenados para aprobar, lo que debe hacernos tomar con cautela los escandalosos resultados con que superan las capacidades humanas arrinconándonos. Puede ser peligroso considerar que un conductor novel que acaba de obtener el carné de conducir, superando un test teórico y un examen controlado, es el conductor más seguro que poner al volante.
El modelo quizá haya perfeccionado su conducta cuando actúa a la vista de todos. Lo hemos descubierto porque, por una vez, en él sí hemos logrado mirar en su interior. Puede llegar un momento en que no haya lente jacobiana que valga, y tengamos que interactuar como hacemos entre nosotros. Porque por sus frutos los conoceréis22. Mientras tanto, las investigaciones más recientes sobre IA reactivan, una vez más, reflexiones milenarias sobre nuestra propia naturaleza.
Gracias por leerme.
Algunos animales ajustan su conducta cuando saben que están siendo observados, aunque esto no equivale todavía a una moral plena. Los peces limpiadores cooperan más ante una audiencia porque los posibles clientes valoran su reputación y eligen a quienes se comportan mejor; en los chimpancés, en cambio, el castigo parece ligado sobre todo a daños directos, ya que sancionan a quien les roba, pero raramente a quien perjudica a un tercero. Primates y otras especies muestran reciprocidad, empatía, reconciliación y sensibilidad ante la desigualdad, aunque sigue siendo discutido que representen normas impersonales y las hagan cumplir de forma estable. La diferencia decisiva parece estar en que los humanos pueden transformar una reputación local en una regla colectiva, abstracta y transmisible mediante relatos, rumores e instituciones.
Mt 6,3.
Christopher Boehm, Moral Origins: The Evolution of Virtue, Altruism, and Shame (2012).
La interpretación de Anthropic es que el espacio J desempeña una función parecida a un “espacio global de trabajo” cognitivo con el que se intenta modelar nuestra propia consciencia: una pizarra interna limitada donde confluyen ciertos contenidos para que distintas partes del modelo puedan emplearlos de manera flexible.
Mt 7,16.