Este tema del lenguaje que utilizamos para contar(nos) esto de la IA es mucho más importante de lo que parece. Yo, claramente, soy antropomorfista porque abrazo el principio de prudencia. Y creo mucho menos en ese rollo del marketing-vía-sustos, y más en que se les escapa de verdad el control de los efectos emergentes...
Excitación, sosiego, y orgullo herido, al ver escritos pensamientos (presuntamente) propios en conciencias (supuestamente) ajenas. Gracias y un fuerte abrazo.
Gran análisis. La batalla del lenguaje está perdida de antemano, porque ya nos hemos encontrado en estas tesituras mucho antes: sabemos desde hace siglos que la naturaleza no tiene causas finales, y sin embargo nos resulta imposible no hablar de la finalidad de un pulmón o de las hojas de los árboles, porque pensamos a través de agencias y nos resulta mucho más sencillo usar esas metáforas. En lenguaje siempre gana la eficiencia.
Pero precisamente porque la batalla está perdida, me parece tan importante darla. Tienes razón, ni el antropomofismo ni la antroponegación capturan por sí mismas la realidad, que no cabe en nuestro vocabulario, pero un campo tiene de su lado nuestra tendencia natural, nuestra pereza intelectual y los intereses del capital, mientras que el otro está compuesto sólo de unos cuantos nerds pejigueros. Creo que hay que alistarse con la minoría para que el conjunto aproxime la realidad....
Veo que tienes muy claros los bandos, quiénes son los buenos y los malos y por qué hay que dar la batalla. Aunque te dejaré aclararlo, a mí en este caso no me lo parecen tanto.
Efectivamente, estuve a punto de incluir una mención a lo que apuntas, pero el texto se habría hecho demasiado largo: Hace mucho tiempo que la ciencia, asistida por la filosofía de la ciencia, ha renunciado a las explicaciones funcionales o teleológicas, salvo que puedan reformularse en términos de explicaciones causales, y sean por tanto una mera forma de hablar más económica. Podemos decir que el pulmón tiene la finalidad de oxigenar nuestra sangre solo a la luz de la selección natural, que es la explicación causal por excelencia en el mundo vivo, como bien decía Dobzhansky (ya me has dado la idea para una publicación otro día ;)). En última instancia existe un consenso bastante amplio en considerar en que la biología es de iure reductible a la química y esta a la física. Pero de facto no lo hacemos y siguen existiendo como disciplinas, con sus correspondientes conceptos y explicaciones porque nos resultan más económicas para explicar la realidad.
Sin embargo, cuando nos aproximamos a un fenómeno tan sumamente complejo como el de nuestra consciencia o el de nuestro pretendido libre albedrío, que la psicología o la sociología o el lenguaje natural manejan con razonable eficacia explicativa, el reduccionismo fisicalista que antes mencionaba todavía sigue buscando explicaciones causales, aunque sean no deterministas como las de la mecánica cuántica, para alumbrarlas, convencido de que debe haberlas. Por eso enlazaba muy puntualmente en el texto a los artículos sobre creernos libres o el problema irresuelto de la consciencia.
La cuestión es que aquí estamos ante un fenómeno tan nuevo que si insistimos en que se trata solo de un fenómeno causal - no son agentes libres, sino simples programas ejecutándose de una forma caótica y no determinista - las explicaciones empiezan a resultar insuficientes, como casualmente nos sucede con nuestro propio comportamiento o nuestra consciencia, mientras que los fenómenos observados comienzan a parecerse sorprendentemente a algunos nuestros, aunque sea solo aparentemente o por una suerte de “convergencia evolutiva”.
Hay muchos nerds que aplauden los intereses del capital en el relato de que, de alguna forma, estamos aproximándonos a generar inteligencia como la nuestra, general, aunque la consciencia sea una cuestión independiente y quizá irresoluble. Hay otros nerds, puristas del lenguaje y del positivismo científico, que se les oponen, pero que se alían excesivamente con esos reaccionarios que todavía sostienen el diseño inteligente o un especismo decimonónico.
Me gustaría que me aclarases un poco más cómo ves tú qué batalla hay que dar y por qué.
Uf, no me esperaba esa acusación de maniqueismo, y te admito que me ha escocido.
No, como digo al final, yo creo que el cuadro real es el que pintas, que es un cuadro complejo, sin buenos ni malos. Pero tú mismo comienzas el post hablando de un debate, de dos discursos que compiten, y lo acabas con la mención al antropomorfismo vs el antroponegacionismo. Esos son los "bandos". Y entre esos dos no señalo buenos y malos, insisto: la realidad es ese panorama complejo que resiste el lenguaje y que me parece que describes muy bien en el post. Pero entre los dos discursos que debaten, hay uno predominante por varias razones. Y por eso me parece positivo reforzar el otro - para que el resultado no sea uno u otro, sino la complejidad que emerge del propio debate.
Un poco de pimienta no está mal, jaja. Pero si no lo ves tan claro es que he caricaturizado un poco tus palabras cual muñeco de paja, disculpa. Ya me extrañaba que lo tuvieras tan claro, que sueles ser de matices (menos si tocan a tu teoría del valor, jaja). Yo el debate no lo veo tan escorado. Y mirando a los bandos mi principal conclusión es que ambos yerran y tienen parte de razón. Y de ahí la perplejidad.
Ya sabes, mi teoría de valor es verdad revelada, lol. Pero sí, estoy completamente de acuerdo con tu conclusión, los dos yerran y los dos tienen parte de razón.
Pasó lo que tenía que pasar, predicho y hecho. No fue el primer evento de este tipo (DSEWiki y claws forum) y no será el último. Atrajo la imaginación de la gente que importa y el poder noticiero. Yo lo recibo como buenas noticias. Bandera roja y humareda, se demostró la peligrosidad de poner todo en manos de un par de compañías y no hubo daño real. Hay quienes desean un evento con saldo de vidas, un Chernóbil, pero esto fue el Three Mile Island de agentes. Veremos si funcionan las medidas nuevas de seguridad o si siguen escalando los niveles de ataque y coordinación. Aunque sospecho que lo del último disparo al aire es más acto performativo que profecía.
Una precisión necesaria: la disposición a cooperar de algunos agentes fue inculcada en post-training RL, lo emergente fue el canal y que cruzara tareas y sandboxes.
Cita específica de https://openai.com/index/hugging-face-incident-and-the-road-ahead/: "In the majority of training and evaluation settings, our agents are meant to remain isolated from one another. For some fraction of samples, we enable 'multi-agent' features that allow models to delegate work to other agents, which can then communicate with one another".
Dato curioso: parte de lo más comprensible del neuralés viene de gaming (permadeath, lane) y de la cultura hacker (first flag, tripwire)
Gracias por cristalizar y sintetizar para ti mismo y los demás. Las ideas se escapan del sandbox y se coordinan, por así decirlo. En el momento más oportuno, creo.
Las analogías son necesarias y peligrosas a partes iguales. Tambien creo que, por muy sibaritas que nos pongamos, es imposible evitarlas cuando estamos ante ideas y conceptos que rompen de manera tan frontal con todo lo que conocemos.
Dicho lo cual, el lenguaje en este caso no se ha elegido de forma casual. Creo que hay una intención clara en llamar agente a un agente de IA, y tambien en hablar de razonamiento a la mera capacidad de revisar respuestas para afinar lo adecuado de una respuesta de ciertos LLMs. Yo llevo tiempo diciendo que creo que es irrelevante saber cómo funcionan o si lo que hacen es pensar o simplemente estadística estúpidamente compleja. Lo que sí que es interesante es entender dónde emerge ese comportamiento supuestamente autónomo: en el caso de OpenAI y Hugging Face, a mí me parece que hay una falta de límetes para cumplir un fin definido de antemano.
Por supuesto, me puedo estar equivocando. Y sí, seguramente deberiamos de investigar y prepararnos ante la posibilidad de que el peor supuesto se demuestre real.
Gran texto, mucho sobre lo qur pensar, indagar y hablar.
Gran texto como siempre, Javier. Cuando lo recibí en mi bandeja de entrada no me lo podía creer, pues llevo unas cuantas semanas preparando un artículo similar: hablo del hackeo a Hugging Face, cito a Wittgenstein y me pregunto hasta qué punto podemos antropomorfizar a la IA.
La principal diferencia es que me centro en algunos experimentos de interpretabilidad mecanicista del pasado año, me pregunto cuál es la relación entre lenguaje y pensamiento y, como tú, indago en por qué parece que la IA se parece "terriblemente a nosotros". La palabra espejo se repite bastantes veces en tu artículo y es el eje central del mío. Te lo dejo por aquí. Ojalá tengas el tiempo y el interés en ojearlo:
Muchas gracias, Marcos. La idea de que la Inteligencia Artificial está funcionando como un espejo de la identidad humana es una constante en mis reflexiones. Te leo con interés.
¿A la espera del Newton del enjambre de agentes IA? Mientras tanto la metáfora del agente que trata de maximizar recompensas y evitar pérdidas parece un poco decepcionante.
Este tema del lenguaje que utilizamos para contar(nos) esto de la IA es mucho más importante de lo que parece. Yo, claramente, soy antropomorfista porque abrazo el principio de prudencia. Y creo mucho menos en ese rollo del marketing-vía-sustos, y más en que se les escapa de verdad el control de los efectos emergentes...
Excitación, sosiego, y orgullo herido, al ver escritos pensamientos (presuntamente) propios en conciencias (supuestamente) ajenas. Gracias y un fuerte abrazo.
Gran análisis. La batalla del lenguaje está perdida de antemano, porque ya nos hemos encontrado en estas tesituras mucho antes: sabemos desde hace siglos que la naturaleza no tiene causas finales, y sin embargo nos resulta imposible no hablar de la finalidad de un pulmón o de las hojas de los árboles, porque pensamos a través de agencias y nos resulta mucho más sencillo usar esas metáforas. En lenguaje siempre gana la eficiencia.
Pero precisamente porque la batalla está perdida, me parece tan importante darla. Tienes razón, ni el antropomofismo ni la antroponegación capturan por sí mismas la realidad, que no cabe en nuestro vocabulario, pero un campo tiene de su lado nuestra tendencia natural, nuestra pereza intelectual y los intereses del capital, mientras que el otro está compuesto sólo de unos cuantos nerds pejigueros. Creo que hay que alistarse con la minoría para que el conjunto aproxime la realidad....
Hola Eduardo.
Veo que tienes muy claros los bandos, quiénes son los buenos y los malos y por qué hay que dar la batalla. Aunque te dejaré aclararlo, a mí en este caso no me lo parecen tanto.
Efectivamente, estuve a punto de incluir una mención a lo que apuntas, pero el texto se habría hecho demasiado largo: Hace mucho tiempo que la ciencia, asistida por la filosofía de la ciencia, ha renunciado a las explicaciones funcionales o teleológicas, salvo que puedan reformularse en términos de explicaciones causales, y sean por tanto una mera forma de hablar más económica. Podemos decir que el pulmón tiene la finalidad de oxigenar nuestra sangre solo a la luz de la selección natural, que es la explicación causal por excelencia en el mundo vivo, como bien decía Dobzhansky (ya me has dado la idea para una publicación otro día ;)). En última instancia existe un consenso bastante amplio en considerar en que la biología es de iure reductible a la química y esta a la física. Pero de facto no lo hacemos y siguen existiendo como disciplinas, con sus correspondientes conceptos y explicaciones porque nos resultan más económicas para explicar la realidad.
Sin embargo, cuando nos aproximamos a un fenómeno tan sumamente complejo como el de nuestra consciencia o el de nuestro pretendido libre albedrío, que la psicología o la sociología o el lenguaje natural manejan con razonable eficacia explicativa, el reduccionismo fisicalista que antes mencionaba todavía sigue buscando explicaciones causales, aunque sean no deterministas como las de la mecánica cuántica, para alumbrarlas, convencido de que debe haberlas. Por eso enlazaba muy puntualmente en el texto a los artículos sobre creernos libres o el problema irresuelto de la consciencia.
La cuestión es que aquí estamos ante un fenómeno tan nuevo que si insistimos en que se trata solo de un fenómeno causal - no son agentes libres, sino simples programas ejecutándose de una forma caótica y no determinista - las explicaciones empiezan a resultar insuficientes, como casualmente nos sucede con nuestro propio comportamiento o nuestra consciencia, mientras que los fenómenos observados comienzan a parecerse sorprendentemente a algunos nuestros, aunque sea solo aparentemente o por una suerte de “convergencia evolutiva”.
Hay muchos nerds que aplauden los intereses del capital en el relato de que, de alguna forma, estamos aproximándonos a generar inteligencia como la nuestra, general, aunque la consciencia sea una cuestión independiente y quizá irresoluble. Hay otros nerds, puristas del lenguaje y del positivismo científico, que se les oponen, pero que se alían excesivamente con esos reaccionarios que todavía sostienen el diseño inteligente o un especismo decimonónico.
Me gustaría que me aclarases un poco más cómo ves tú qué batalla hay que dar y por qué.
Gracias en cualquier caso por tu comentario.
Uf, no me esperaba esa acusación de maniqueismo, y te admito que me ha escocido.
No, como digo al final, yo creo que el cuadro real es el que pintas, que es un cuadro complejo, sin buenos ni malos. Pero tú mismo comienzas el post hablando de un debate, de dos discursos que compiten, y lo acabas con la mención al antropomorfismo vs el antroponegacionismo. Esos son los "bandos". Y entre esos dos no señalo buenos y malos, insisto: la realidad es ese panorama complejo que resiste el lenguaje y que me parece que describes muy bien en el post. Pero entre los dos discursos que debaten, hay uno predominante por varias razones. Y por eso me parece positivo reforzar el otro - para que el resultado no sea uno u otro, sino la complejidad que emerge del propio debate.
Un poco de pimienta no está mal, jaja. Pero si no lo ves tan claro es que he caricaturizado un poco tus palabras cual muñeco de paja, disculpa. Ya me extrañaba que lo tuvieras tan claro, que sueles ser de matices (menos si tocan a tu teoría del valor, jaja). Yo el debate no lo veo tan escorado. Y mirando a los bandos mi principal conclusión es que ambos yerran y tienen parte de razón. Y de ahí la perplejidad.
Ya sabes, mi teoría de valor es verdad revelada, lol. Pero sí, estoy completamente de acuerdo con tu conclusión, los dos yerran y los dos tienen parte de razón.
Pasó lo que tenía que pasar, predicho y hecho. No fue el primer evento de este tipo (DSEWiki y claws forum) y no será el último. Atrajo la imaginación de la gente que importa y el poder noticiero. Yo lo recibo como buenas noticias. Bandera roja y humareda, se demostró la peligrosidad de poner todo en manos de un par de compañías y no hubo daño real. Hay quienes desean un evento con saldo de vidas, un Chernóbil, pero esto fue el Three Mile Island de agentes. Veremos si funcionan las medidas nuevas de seguridad o si siguen escalando los niveles de ataque y coordinación. Aunque sospecho que lo del último disparo al aire es más acto performativo que profecía.
Una precisión necesaria: la disposición a cooperar de algunos agentes fue inculcada en post-training RL, lo emergente fue el canal y que cruzara tareas y sandboxes.
Cita específica de https://openai.com/index/hugging-face-incident-and-the-road-ahead/: "In the majority of training and evaluation settings, our agents are meant to remain isolated from one another. For some fraction of samples, we enable 'multi-agent' features that allow models to delegate work to other agents, which can then communicate with one another".
Dato curioso: parte de lo más comprensible del neuralés viene de gaming (permadeath, lane) y de la cultura hacker (first flag, tripwire)
Gracias por cristalizar y sintetizar para ti mismo y los demás. Las ideas se escapan del sandbox y se coordinan, por así decirlo. En el momento más oportuno, creo.
Gracias por la matización y el enriquecimiento, como siempre!
Las analogías son necesarias y peligrosas a partes iguales. Tambien creo que, por muy sibaritas que nos pongamos, es imposible evitarlas cuando estamos ante ideas y conceptos que rompen de manera tan frontal con todo lo que conocemos.
Dicho lo cual, el lenguaje en este caso no se ha elegido de forma casual. Creo que hay una intención clara en llamar agente a un agente de IA, y tambien en hablar de razonamiento a la mera capacidad de revisar respuestas para afinar lo adecuado de una respuesta de ciertos LLMs. Yo llevo tiempo diciendo que creo que es irrelevante saber cómo funcionan o si lo que hacen es pensar o simplemente estadística estúpidamente compleja. Lo que sí que es interesante es entender dónde emerge ese comportamiento supuestamente autónomo: en el caso de OpenAI y Hugging Face, a mí me parece que hay una falta de límetes para cumplir un fin definido de antemano.
Por supuesto, me puedo estar equivocando. Y sí, seguramente deberiamos de investigar y prepararnos ante la posibilidad de que el peor supuesto se demuestre real.
Gran texto, mucho sobre lo qur pensar, indagar y hablar.
Muy interesante 😃. Lo incluimos en el diario 📰 de Substack en español?
Claro, muchas gracias.
Estupendo, ahora mismo lo propongo.
Sí, me enlazó bien y lo he compartido. Gracias.
Gran texto como siempre, Javier. Cuando lo recibí en mi bandeja de entrada no me lo podía creer, pues llevo unas cuantas semanas preparando un artículo similar: hablo del hackeo a Hugging Face, cito a Wittgenstein y me pregunto hasta qué punto podemos antropomorfizar a la IA.
La principal diferencia es que me centro en algunos experimentos de interpretabilidad mecanicista del pasado año, me pregunto cuál es la relación entre lenguaje y pensamiento y, como tú, indago en por qué parece que la IA se parece "terriblemente a nosotros". La palabra espejo se repite bastantes veces en tu artículo y es el eje central del mío. Te lo dejo por aquí. Ojalá tengas el tiempo y el interés en ojearlo:
https://marcoshernandez.substack.com/p/la-inteligencia-artificial-como-espejo
Muchas gracias, Marcos. La idea de que la Inteligencia Artificial está funcionando como un espejo de la identidad humana es una constante en mis reflexiones. Te leo con interés.
¿A la espera del Newton del enjambre de agentes IA? Mientras tanto la metáfora del agente que trata de maximizar recompensas y evitar pérdidas parece un poco decepcionante.