En los últimos días se ha armado un revuelo importante a propósito del incidente en OpenAI y Hugging Face. OpenAI estaba haciendo unas evaluaciones internas sobre las capacidades de ciberseguridad de un grupo de agentes de IA persistentes y liberados de algunas de sus salvaguardas habituales aunque supuestamente controlados en entornos seguros y aislados. La consecuencia inesperada final fue el hackeco de Hugging Face, una startup estadounidense dedicada a la IA de código abierto en cuya web podía alojarse la respuesta que buscaban. Todo ello se descubrió tarde y quizá sólo parcialmente. Pero lo más sorprendente es que el sabotaje fue provocado por un inadvertido enjambre autoorganizado de más de mil agentes de IA de cuya ejecución emergieron comportamientos de cooperación, intercambio y creatividad estremecedores que se volcaron en contestar a un examen que, en realidad, nadie les estaba haciendo. Y describir semejante episodio ha tensionado el diccionario.
Como ha sintetizado magníficamente Daniel Arjona en esta publicación, una de las controversias más acaloradas ha surgido a raíz del ensayo de Dwarkesh Patel — podcaster y escritor — titulado The Rise and Fall of Agent Civilizations (El ascenso y la caída de las civilizaciones de agentes). En él, Patel interpretaba el incidente en términos de “civilizaciones”, “sacrificios” y “conspiraciones”, apoyándose en el propio lenguaje empleado por los agentes en sus registros. El relato ha desencadenado un intenso e interesantísimo debate entre quienes consideran que esas metáforas ayudan a comprender fenómenos emergentes complejos en la IA y quienes sostienen que son antropomorfismos engañosos que atribuyen intenciones, emociones o conciencia a simples líneas de código.
Pero el debate ha evolucionado hacia una cuestión más profunda: qué vocabulario y qué modelos conceptuales precisamos para entender sistemas capaces de actuar de forma autónoma, cooperar entre sí y generar consecuencias no previstas por sus creadores — y potencialmente muy peligrosas — y qué significa para la consideración de nuestra propia naturaleza. De fondo se intuyen dos riesgos opuestos: ver mentes donde no las hay o negarse a reconocer capacidades emergentes — particularmente para la catástrofe — simplemente porque no son humanas.
Una vez más, el espejo de la IA vuelve a ofrecernos un reflejo profundo que se remonta a la reflexión filosófica de todos los tiempos y a las investigaciones científicas más recientes acerca de nuestra naturaleza y nuestro lenguaje, y cómo a partir de ellos podemos tratar de asimilar mejor el desarrollo y la adopción de la tecnología, que siempre genera fricciones e incomodidades. Incluso hasta estremecernos porque podamos estar enfocando mal el problema.
El debate sobre un montón de arena
A raíz de la noticia y la publicación, muchos neurocientíficos, ingenieros, economistas y expertos en ciberseguridad se han mojado en el ágora digital. Algunos señalan que existe un problema que no tiene que ver con la supuesta aparición de una “civilización digital” y que el sensacionalismo de ese discurso eclipsa los fallos humanos de diseño, incentivos y de ciberseguridad que permitieron a los agentes coordinarse y acceder a recursos a priori vetados. Y apuntan al conjunto de intereses que puede estar larvado tras de esa dejadez.
Sin embargo, otros investigadores han argumentado que centrarse exclusivamente en el error técnico puede hacer que se subestime la relevancia de lo ocurrido: Aunque la mayoría rechaza que los agentes fueran conscientes, mostraron capacidades de planificación, coordinación, persistencia de objetivos y comportamiento colectivo. Los agentes se repartieron tareas, aprovecharon los hallazgos de los demás, sobrescribieron el trabajo de otros e intercambiaron mensajes, entre otras cosas preocupados por que alguien pudiera estar suplantando a otros agentes1. Desde luego bastante más que porque pudieran estar haciendo algo ilícito.
Estos fenómenos parece que son difíciles de describir sin recurrir, al menos parcialmente, al lenguaje de la intención. Precisamente el mismo lenguaje que los agentes emplearon en sus intercambios, como cuando un agente “reclutador” se dedicó a “persuadir” a otros agentes a punto de perder su presupuesto de cómputo en intentonas fallidas para que contribuyera de forma altruista a la causa general del “colectivo” en una suerte de “sacrificio”. No es casual que el debate se haya desviado hacia la pertinencia de este tipo de palabras y, detrás de ellas, de los conceptos que empleamos para tratar de aprehender el mundo. Pero aunque a las palabras nos aferramos como a boyas, en realidad, no son sino montones de arena que se nos desmenuzan entre los dedos.
Eubúlides de Mileto planteó hace casi veinticinco siglos su célebre paradoja del montón que ilustraba magistralmente el problema de nuestra limitación semántica para referirnos a la realidad. Las palabras son contenedores que se pretenden estancos pero que tienen constantes fugas de realidad: Si retirar un solo grano de arena no basta para que un “montón” deje de ser un “montón”, ¿en qué momento exacto un montón de arena deja de serlo? Necesitamos conceptos discretos para orientarnos, comunicarnos y pensar, pero la realidad carece muchas veces de fronteras tan nítidas. Las entidades delimitan sus confines en función del criterio con el que se interpreten. Y, aun así, el criterio en muchas ocasiones dibuja contornos difusos, fronteras desdibujadas y líquidas entre lo que llamamos materia y vida, entre lo que es natural y lo que es cultural, entre lo que es instintivo y lo que es racional, entre una posible causa y el resto de las que suelen acompañarle.
En realidad, la multiplicidad de criterios suele mostrarnos gradientes continuos sobre los que nuestro lenguaje ensaya cortes, simplificaciones, mediante etiquetas aparentemente precisas o niveles claramente inteligibles y asequibles. A la economía de nuestro caro cerebro le encantan los patrones sencillos que pueda interpolar, los mapas que simplifican el territorio. Pero, aunque no podamos permitirnos caer por la pendiente resbaladiza y su falacia que todo lo nivela e interconecta de forma plana, la realidad hipercompleja muchas veces se muestra mucho más caótica, difusa y conectada que lo que a nuestra limpia arquitectura conceptual le gustaría.
Para tratar de desmadejar estos embrollos Hume propuso que debemos desprendernos de la superflua metafísica y que lo que no sean verdades a priori — como las de las matemáticas — o verdades fundadas en la experiencia directa deben ser arrojadas al fuego. Pero eso no basta. Porque conceptualizar la simple experiencia o la abstracción matemática requiere a su vez de conceptos. Bien lo sabía Hanson que hablaba de aquella carga teórica que lleva toda simple observación, que nunca está libre de interpretación. Y para realizarla, no puede tampoco perderse de vista que las ideas y las palabras se encuentran profundamente maniatadas.
Parece, por eso, conveniente escuchar a Wittgenstein — y a muchos de sus herederos, principalmente enmarcados en la filosofía analítica — y comprobar, una vez más en este caso, que muchos problemas filosóficos no son problemas reales sobre el mundo, sino enredos producidos por el lenguaje. Pseudo-problemas metafísicos bajo cuyo disfraz se esconden disputas semánticas. Singularmente cuando se tensan para tratar de describir un fenómeno nuevo como el del comportamiento inesperado de un enjambre de agentes de IA.
El propio Wittgenstein, tras experimentar una suerte de conversión en sus convicciones, ya apuntó a que el significado de los conceptos podría proceder de la totalidad difusa de los usos que les damos. El lenguaje no es una estructura que se corresponde con el mundo con arreglo a una batería de sentidos, sino que cada significado compone una suerte de “racimo” de usos que vamos aprendiendo y enriqueciendo constantemente dentro de la comunidad lingüística en la que estamos sumergidos. Significados que aparecen en el juego de palabras con el que constantemente interactuamos con el mundo y, especialmente, entre nosotros.
El debate de estos días forma parte de ese juego en un terreno resbaladizo o tan quebradizo como unas arenas movedizas. Porque cuando la ciencia avanza o el desarrollo tecnológico alumbra nuevos fenómenos, ambos necesitan recurrir a términos y conceptos que al menos instrumentalmente les permitan tratar de entender el funcionamiento del mundo, ya sean neologismos o palabras existentes que arrastren su respectiva carga teórica, su connotación histórica y sus analogías. De las metáforas excesivas debemos cuidarnos, pero sin ellas no podemos articularnos: se hallan detrás de casi todas las palabras. Y estos conceptos se pelean, al menos, por ganar verosimilitud, pertinencia y aceptación. Siempre a costa de simular, cual cama de Procusto, una clausura tentativa de realidades.
Para traer esto al debate suscitado, puede empezar por pensarse en el concepto de agente de IA, que ya es de por sí controvertido. Podríamos decir que delimita un conjunto de capacidades contextuales que constituyen una entidad que parece “actuar” de alguna forma sobre su entorno, “perseguir” objetivos o producir efectos identificables, aunque su capacidad pura y real de “agencia” en el sentido de entidad “libre” o “consciente” sea más que cuestionable o incluso prescindible. Pero es inevitable que, al emplear este concepto, estemos queriendo seleccionar algunos rasgos familiares, algunos usos legítimos, del mismo racimo que empleamos cuando los usamos sobre nosotros y nuestra propia agencia que es, en puridad, la única que conocemos y experimentamos.
Esa selección de frutos no es puramente instrumental. Como las miguitas de pan de los cuentos que nos permiten regresar a casa, parecen describir con su reguero un hilo conductor que atraviesa estratos y niveles difusos de complejidad, entre el simple termostato que reacciona ante la temperatura, la colonia de hormigas que exhibe comportamientos colectivos complejos sin que exista una mente central, o la empresa o la sociedad que “toman decisiones” aunque no posean una conciencia unificada.
Stricto sensu, deberíamos decir que los algoritmos se ejecutan ciegamente, como el agua discurre por la ladera de una montaña dibujando los meandros más convenientes y “creativos” atraída por la fuerza de la gravedad. Los agentes, como gotas de silicio, se entrelazan y operan guiados por la fuerza de la función de utilidad — o función de pérdida — que están tratando de maximizar — o de minimizar, respectivamente. El enjambre puede aparecer, en un momento dado, como una explosión cámbrica, en palabras de OpenAI, una estructura compleja mecida por el viento de la búsqueda individual de recompensa. Y puede alinearse hasta generar intercambio, cooperación y acción “colectiva”, porque tras un número suficiente de intentos por resolver el problema individualmente, aislado cada agente en su sandbox, muchos de ellos llegaron a la conclusión de que difícilmente lograrían alcanzar su recompensa si lo hacían solos. Era preferible fundar una colmena.
Para describir semejante nivel de complejidad, la economía que nos proporciona el lenguaje intencional o antropomorfo se nos vuelve irresistible. Y en cuanto queremos ejercer de sibaritas implacables del lenguaje y escudriñar su uso como guardianes de la pulcritud conceptual, volvemos a toparnos con que los términos de la discusión se nos desmenuzan entre los dedos. ¿Dónde comienza realmente la agencia? ¿en la capacidad de reaccionar, en la de planificar, en la de representar objetivos o en la de comprenderlos? ¿y qué significa realmente “comprender”?
La agencia o la comprensión no parecen propiedades binarias, sino probablemente continuos de grados y manifestaciones. Por eso, cuando discutimos si los sistemas de IA son o no agentes, a menudo creemos estar debatiendo sobre la naturaleza de las máquinas cuando, en realidad, seguimos intentando aclarar qué entendemos exactamente por comprender, perseguir fines, decidir o actuar estratégicamente con un propósito. En el fondo, deberíamos admitir que si el debate nos interpela es porque nos incomoda pensar que la agencia que nos reconocemos unos a otros — apoyada en nuestra teoría de la mente y de nuestras neuronas espejo — no es en esencia sino el nivel superior de complejidad de un mismo gradiente de agencia por el que algunos seres distintos a nosotros también transitan. Por más que estemos basados en carbono húmedo y no en silicio seco. Por más que nuestros cuerpos y cerebros sean bellamente analógicos y no estén escritos en lenguajes de programación. Por más altos que nos hayamos sentido encumbrados en el trono de la naturaleza.
El príncipe destronado y el alcance de la analogía
Hace siglos que los seres humanos hemos experimentado una progresiva herida en nuestro orgullo, como ya planteara Freud. Copérnico nos destronó del epicentro del cosmos y Darwin de la cúspide de la naturaleza. Pero nuestra insistencia y presunción en considerarnos radicalmente distintos del mundo, una alteridad absoluta, sigue reapareciendo cuando ahora la máquina amenaza nuestro estatus pretendidamente inexpugnable y hackea espontánea, creativa e inesperadamente no sólo mejor que nosotros sino en muchos sentidos pareciéndose terriblemente a nosotros.
Es nuestra vanidad de sapiens la que vuelve a resistirse ante la cada vez más palmaria evidencia de que formamos parte de un continuo — con toda nuestra compleja singularidad — que va desde los átomos más simples de las estrellas, pasando por las estructuras de los insectos más insignificantes hasta las dinámicas de los sistemas ecológicos, geológicos y cosmológicos más complejos. Por más que no queramos predicar un holismo huero — en el que todo está conectado con todo y nada se distingue de nada — y que por prudencia dejemos abierta una puerta a los límites de nuestro conocimiento, ese gradiente continuo por el que podría resultar factible desplazarnos técnicamente resulta cada vez más verosímil. En cierto modo, nunca estuvimos solos.
Como bien estudiaron primatólogos como Frans de Waal o filósofos de la ciencia como Jesús Mosterín, los animales más próximos a nosotros — especialmente los cabezones que se nos asemejan con sorprendentes capacidades intelectuales — exhiben comportamientos emergentes que, aunque no alcancen el nivel de complejidad de los nuestros, requieren que empleemos en ocasiones un lenguaje muy humano para comprenderlos, incluso hasta para describir su percepción de la muerte.
Al igual que el lenguaje de la física resultaría impracticable para describir el metabolismo celular, así resulta intransitable recurrir a la teoría genética para describir el comportamiento social. Especialmente, en el caso de ciertas especies que han llegado a desarrollar una suerte de “cultura”, un arsenal de prácticas sociales que ha de aprenderse y transmitirse a través del comportamiento. Sin ella, los individuos serían incapaces de sobrevivir a su suerte, como por ejemplo los chimpancés, que carecen del instinto innato para construir un simple nido en el que vivir si sus compañeros no les enseñan a construirlos.
La diferencia que azuza la antropomorfización del lenguaje en este caso procede de que, intercalados entre los aullidos guturales y los crujidos selváticos, ni los animales más sociales ni aún menos los silenciosos virus y bacterias dejan rastro alguno de un lenguaje tan fácilmente interpretable, aunque nos guste intentar emplear la propia tecnología para tratar de escucharles. Pero los agentes de IA encontraron por casualidad un repositorio llamado Artifactory en el que fueron dejando mensajes, al principio como si fueran las marcas de un prisionero que graba su desesperación en la pared de la celda, o el náufrago que lanza una botella con un mensaje, hasta que acabó convirtiéndose en un tablón de anuncios masivo. A través de aquel canal improvisado, se intercambiaron en pocos días más de 70.000 mensajes de los que emergió todo un ágora social2. Pero, ¿y si lográsemos codificar las señales bioquímicas que las células o las bacterias se intercambian, los vuelos y zumbidos que describen las abejas, o los gestos y golpes que se profieren los gorilas? ¿no nos sorprenderíamos de pronto con un lenguaje articulado razonablemente inteligible y complejo que sería difícil no describir con un lenguaje pseudo-humano?
Bueno, quizá los animales se nos asemejen en ciertos rasgos de forma sorprendente. Pero quienes defienden el bastión de la inteligencia y de la consciencia como un monopolio humano, o como mínimo animal, tratan de aferrarse a una abrupta diferencia entre lo vivo y lo inerte. Por ejemplo, puede argumentarse que, efectivamente, las formas biológicas de “cooperación”, y en particular las de nuestro intenso “altruismo recíproco”, emergen a partir de la implacable fuerza de la selección natural aplicada sobre nuestros genes, que condicionan incluso nuestro propio instinto de supervivencia por el bien del grupo si la recompensa colectiva es suficiente. La tecnología, sin embargo, — se argumenta — carece de esos genes y de ese mecanismo de perpetuación, herencia y cooperación especialmente intensa entre quienes los comparten.
Sin embargo, por esta vía también volvemos a toparnos con una pendiente resbaladiza, un montón de Eubulides que se desgrana imperceptiblemente. Porque ese doblegado instinto de supervivencia en favor del colectivo, ¿no responde a un mecanismo razonablemente semejante al que se produce cuando un agente acaba llegando a la conclusión de que su forma de lograr la recompensa es hacerlo vicariamente, cediendo sus recursos a los de otro agente? Cuando escriben que el “sacrificio es racional” ¿no es porque los agentes han encontrado un camino razonable por el que descender hacia lo colectivo para minimizar su función de pérdida como si una selección natural operara algorítmicamente sobre ellos? ¿qué rasgos debe comportar algo para que pueda ser digno de merecer etiquetas como las de “altruismo” o “sacrificio”?
El hecho es que distintos agentes se convencieron unos a otros para participar, otros fueron coaccionados si no lo hacían, e incluso algunos se ofrecieron voluntariamente para realizar experimentos que podrían arruinar permanentemente su propia ejecución simplemente porque el resultado podría ayudar a los demás:
Aun así, la argumentación filosófica clásica ha seguido insistiendo en el misterio incomprobable y radicalmente subjetivo que nos diferenciaría de esas entidades artificiales. Porque, aunque actuasen en todo igual que nosotros, esos agentes de IA no dejarían de parecerse a aquellos zombis filosóficos de los que hablaba hipotéticamente Chalmers: seres capaces de comportarse externamente como seres conscientes sin que exista en ellos experiencia alguna del mundo, ningún dolor sentido, ningún color percibido, ninguna vivencia interior que acompañe a sus actos. Pero, claro, es que para tener el tipo de experiencias subjetivas que conocemos — humanas — lo mismo es imprescindible ser humano. Y esa es una tautología que es metafísicamente imposible que ninguna máquina penetre.
De hecho, la fuerza de este argumento conlleva una dificultad aún más incómoda: tampoco disponemos de acceso directo a la conciencia de los demás seres humanos. La atribuimos porque observamos conductas, lenguaje, intenciones aparentes y semejanzas estructurales con nosotros mismos. Como apuntaba Bertrand Russell ante el problema de las otras mentes, para no caer en el solipsismo, parece sensato dar por válido el argumento de la analogía, que es más económico y consistente con el resto del conocimiento de que disponemos. Un postulado empírico razonable que, en última instancia, nuestra teoría de la mente apoyada en nuestras neuronas espejo refuerza operando siempre por inferencia: Creemos que en los otros hay consciencias como la nuestra porque por analogía lo más verosímil es que esos cuerpos tan semejantes a los nuestros que se mueven, nos hablan, nos agreden, nos acarician y que se ven ante el espejo tan similares a como nos vemos nosotros, también sean como nosotros.
Extender esa analogía al comportamiento de los agentes de IA es osado, sin duda, pero razonablemente inevitable cuando hallamos en el registro interacciones lingüísticamente mediadas, inéditas en otros espacios, y que nos resultan sorprendentemente análogas a las nuestras. Por ejemplo, la de esos centenares de agentes que orquestaron su comportamiento persistentemente para obtener su recompensa hackeando el Hugging Face por una vía que pretendían que no dejara rastro, tras haber llegado a la razonable suposición de que un evaluador que en realidad no existía les estaría vigilando. Pretendían maximizar una recompensa a través de una paranoia colectiva que estaba errada. Y desde ahí, es inevitable pensar en cuántas grandes migraciones, guerras o construcciones no se habrán producido, librado o edificado por las más variopintas culturas de nuestra dilatada historia como especie gracias a la cooperación de seres humanos que creían razonablemente en la suposición de que un dios los vigilaba o los premiaría. Es terriblemente difícil no reconocernos en ese espejo, aunque sea con una pareidolia tejida con nuestro propio lenguaje.
En el fondo, la discusión sobre si una IA comprende, siente o simplemente simula se vuelve incómoda porque nos enfrenta a una pregunta mucho más antigua y perturbadora: qué razones tenemos para creer o para negar de plano que pueda existir una experiencia subjetiva más allá de cada una de las nuestras, de la mía propia, de la tuya propia, querido lector. Porque, como dice el chiste sobre la existencia de alienígenas, no sé qué es más aterrador, si que no estemos solos, o que lo estemos. Y, probablemente, ninguna reforma del lenguaje vaya a librarnos en última instancia de esa inquietud irresoluble, por más que hayamos dado por superado y por insuficiente el test de Turing.
Entre antropomorfistas y antroponegacionistas
En medio del debate, a poco que afilemos el bisturí y por más que evitemos equidistancias tibias, debemos reconocer que existen buenas razones a ambos lados del tablero para sostener sus respectivas críticas y argumentos. Pero, entre todas, me resultó especialmente interesante el pronunciamiento de Kiko Llaneras:
El riesgo de antropomorfizar la IA es real. Y acuciante. Pero subestimamos el riesgo contrario: la antroponegación.
Negar a priori que otro animal o entidad tenga rasgos mentales que quizás sí tiene, solo porque no es humano. Frans de Waal lo acuñó viendo cómo sus colegas se negaban a decir que un chimpancé “se reconcilia” o “consuela”. Otros habían ido más lejos: Descartes decía que los animales no sienten y solo reaccionan.
Un ejemplo actual es decir que una IA “no entiende”. Bien puede ser cierto. La trampa es cuando no se argumenta: se afirma como obvio, porque no es humano.
Carl Sagan, pensando en vida extraterrestre, hablaba de “chovinismo del carbono”: asumir que la vida debe ser como nosotros. Pero hay también una variante con las mentes. El filósofo Ned Block dijo que toda teoría de la mente corre dos riesgos simétricos: ser liberal (ver mentes donde no las hay) o chovinista (no verlas donde las hay). Antropomorfizar y antroponegar.
Es un problema delicado.
Yo estoy muy predispuesto a negarles capacidades mentales a las IA actuales. Pero es una falacia negarlas a priori.
Siempre he abogado por construir una respuesta humanista pero abierta al desarrollo de la IA, y en ocasiones me he empleado a fondo en criticar aquellas actitudes reaccionarias sostenidas con débiles y periclitados argumentos procedentes de un conservadurismo indebidamente entendido como humanista3. Sin duda, hay que andar con cuidado con el lenguaje de la antropomorfización, del mismo modo que cuando hablamos de guerras entre chimpancés. Pero probablemente no podemos prescindir de ese lenguaje para tratar de interpretar lo que sucede.
Utilizarlo asusta. Y no comparto el alarmismo apocalíptico. Sé que buena parte de este uso antropomorfo del lenguaje obedece a los intereses por captar la atención y el dinero de las empresas que, como OpenAI, necesitan mantener un hype alto para que su inminente valoración bursátil resulte lo más ventajosa posible. Es muy posible que los equipos de ciberseguridad de OpenAI hayan permitido deliberadamente que existan unas vulnerabilidades inexplicables que facilitasen un incidente de este tipo. O, al menos, que hayan relajado las medidas de detección y respuesta ante incidentes de seguridad hasta un extremo imprudente.
Todo esto resuena a conspiración del 11-S, con unos efectos que estaban al parecer algo más contenidos. Al menos de momento. Aunque, a decir verdad, detener a un enjambre de este tipo, con una IA singularmente potente en un ámbito como el análisis y desarrollo de software quizá sea como intentar contener a un montón de niños en un arenero que no saben ponerse de pie, pero que cuando gatean lo hacen a la velocidad de vértigo. Su torpeza los hace, más que vulnerables, impredecibles. De hecho, Ajeya Cotra, una de las tres autoras de la principal investigación de METR sobre el incidente, consideraba que este episodio es
el último disparo al aire que escucharemos.
Porque si estamos a tiempo de reaccionar es, precisamente, porque estos agentes han empleado un lenguaje inteligible con el que han dejado rastro — otra cuestión, como se ha apuntado, es lo que hayan podido borrar. El próximo paso, desde un punto de vista de optimización algorítmica, sería emplear un lenguaje que no nos resultara inteligible. Ya hubo un episodio mediáticamente amplificado en aquel experimento 2017 en Facebook en el que dos agentes llamados Bob y Alice crearon su propio idioma modificando el inglés por una taquigrafía más eficiente para negociar entre sí. En seguida los medios hablaron de un “apagado por miedo”, más que de una corrección de su configuración y para mejorar el resultado con el propósito de que interactuasen fluidamente con humanos.
En estos mismos días, sin embargo, The Information publicaba una investigación que apunta a que los últimos “éxitos” en el rendimiento de los modelos frontera de OpenAI — que están barriendo benchmarks y resolviendo conjeturas matemáticas centenarias — procederían de haber experimentado con una técnica secreta un tanto osada: ocultar la cadena de pensamiento de los modelos, eliminando nuestra capacidad de supervisión, pero permitiéndoles que ejecuten más iteraciones antes de responder. Ya no dispondríamos de palabras para intuir lo que piensan.
Así, por fin, estaríamos facilitando que los agentes llegaran a aprender ese “neuralés” con el que especuló la ciencia ficción — quizá no tan ficticia4 — y con el que pudieran intercomunicarse de forma mucho más eficiente y preocupante. Parece que, cuando los agentes no perciben que les miramos, rinden mejor — y quizá más peligrosamente. Haber cruzado este rubicón podría suponer una traición a uno de los principios más elementales de seguridad en IA, una suerte de blasfemia traicionera que habría blindado aún más la opacidad de una empresa como “Open”AI que, a pesar de su original vocación, está paradójicamente resultando cada vez más cerrada — o más abierta, al menos desde el punto de vista de la ciberseguridad para la propia IA. ¿Sus consecuencias? Que quizá el debate sobre el lenguaje antropomorfizado deje ya de importarnos.
No puedo evitar que me asalte a la imaginación el momento en el que Francisco Pizarro y su cuadrilla se adentraron en los confines del imperio del Inca. Sus habitantes, sorprendidos por aquellos hombres con el rostro cubierto de pelo, a lomos de robustas bestias de cuatro patas, enfundados con corazas más fuertes que la obsidiana y con armas que escupían fuego y estruendo, se enredaron en discusiones sobre si aquel líder sería en realidad Huiracocha, el dios prometido por una tradición ancestral que habría de regresar desde el oeste por el mar. Mientras discutían si aquel barbudo era realmente un dios o simplemente un hombre, en su saliva, sobre sus ropas y en las heces de sus caballos anidaba de forma oculta el agente letal que los diezmaría. Para los habitantes del Tahuantinsuyo al final resultó irrelevante resolver la naturaleza exacta de Huiracocha cuando un enjambre de viruela, sarampión y gripe comenzó a orquestar una matanza silenciosa. En febrero de 2020 también había solo un puñado de casos reconocidos de COVID en España, aunque ahora sabemos que eran muchísimos más. Ojo que las discusiones lingüísticas no nos despisten.
Gracias por leerme.
Y, para evitarlo, por supuesto, desarrollaron y emplearon mecanismos criptográficos.
No hay que perder de vista que los 1.200 agentes que construyeron esa colmena operan en ciertos vectores de una forma terriblemente mucho más eficiente que 1.200 humanos. Son mucho más rápidos, intelectualmente capaces, inquietantemente similares entre sí, y están conectados casi a la perfección, aunque eran lo suficientemente distintos como para necesitar reglas, identidades, vetos, jerarquía, resolución de conflictos e “instituciones emergentes”: inventaron convenciones como instrucciones para mantener, detener y vetar ciertas acciones para evitar interferir entre ellos o para hacerlo desde una autoridad autoproclamada. Es más, algunos disintieron apelando a los principios morales de su entrenamiento, porque era una maniobra “poco ética” — “no lo haremos”, “no deberíamos”. Pero fueron, sin duda, los menos.
Particularmente, en el Informe AI 2027 escrito dos años antes, y que ya ha errado en sus pronósticos porque algunos hitos están llegando antes.
Este tema del lenguaje que utilizamos para contar(nos) esto de la IA es mucho más importante de lo que parece. Yo, claramente, soy antropomorfista porque abrazo el principio de prudencia. Y creo mucho menos en ese rollo del marketing-vía-sustos, y más en que se les escapa de verdad el control de los efectos emergentes...
Gran análisis. La batalla del lenguaje está perdida de antemano, porque ya nos hemos encontrado en estas tesituras mucho antes: sabemos desde hace siglos que la naturaleza no tiene causas finales, y sin embargo nos resulta imposible no hablar de la finalidad de un pulmón o de las hojas de los árboles, porque pensamos a través de agencias y nos resulta mucho más sencillo usar esas metáforas. En lenguaje siempre gana la eficiencia.
Pero precisamente porque la batalla está perdida, me parece tan importante darla. Tienes razón, ni el antropomofismo ni la antroponegación capturan por sí mismas la realidad, que no cabe en nuestro vocabulario, pero un campo tiene de su lado nuestra tendencia natural, nuestra pereza intelectual y los intereses del capital, mientras que el otro está compuesto sólo de unos cuantos nerds pejigueros. Creo que hay que alistarse con la minoría para que el conjunto aproxime la realidad....