La paradoja del dato

Entre el mandato galileano y la ley de Goodhart

El mandato galileano

Afanado por acertar en sus experimentos con balas de cañón, pendientes, poleas y telescopios, cuentan que Galileo Galilei, a principios del XVII, dejó una exhortación para los anales: “Mide lo que se pueda medir, y lo que no, hazlo medible”.

Aunque al parecer la cita es apócrifa, ciertamente resume bien el espíritu que le permitió alcanzar sus logros y concuerda con ese planteamiento que el pisano sí hizo explícito en algunos de sus escritos. En uno de ellos, se expresó metafóricamente diciendo que el libro de la naturaleza…

“no puede entenderse si no aprendemos primero a comprender la lengua y a conocer los caracteres con que se ha escrito. Está escrito en lenguaje matemático, y los caracteres son triángulos, círculos y otras figuras geométricas sin los cuales es humanamente imposible entender una palabra; sin ellos se deambula en vano por un oscuro laberinto”.

Por tanto, si las matemáticas eran el lenguaje profundo de la naturaleza, era menester medirla de todas las formas posibles para ponerse después a elucubrar proporciones, potencias y relaciones aritméticas que las conectaran. Era algo sabido desde los egipcios y mesopotámicos. Pero el mandato de Galileo se volvió más directo y universal: Había que medirlo todo o hacerlo medible. Con ello, exhortó a la posteridad esta encomienda, sin la que nunca habría podido conectarse la experimentación directa sobre el mundo - y no, como criticaba, a través de los libros de otros, como los de Aristóteles - y el rigor y la coherencia que otorgan las leyes matemáticas. Sin este mandato, no se habría producido la revolución ni el progreso científico que nos han traído hasta nuestros días.

De hecho, ya en el siglo XIX, el famoso Lord Kelvin, que daría nombre a la escala de temperatura, compartía la idea de que sin medida, no hay verdadero conocimiento:

“cuando puedes medir aquello de lo que estás hablando y expresarlo en números, sabes algo sobre ello; pero cuando no puedes expresarlo en números, tu conocimiento es escaso e insatisfactorio”.

Aplicarse en esta disciplina métrica había resultado clave para los éxitos de la ciencia y, en general, de todo el progreso moderno. Y después de Kelvin, siguió siéndolo. Medir la velocidad de la luz. Medir la energía emitida. Ni la relatividad ni la mecánica cuántica, que el bueno de Kelvin no llegó ni a atisbar, existirían sin medida. Es tan crucial que hasta le hemos reconocido un estatuto central en la mecánica cuántica: la medida hace colapsar la función de onda y determina la realidad.

Este mandato fue heredado por las más diversas disciplinas técnicas que florecieron midiendo la realidad. Los días, los años, los metros, la población, la estatura, el sonido, las pulsaciones, el volumen de agua, el peso, la carga, la intensidad, los votos. Demografía, medicina, música, economía, geología, astronomía, física, química y, por supuesto, todas las ingenierías. Estas fueron especiales herederas del mandato galileano. Y de ellas emanó una máxima extendida a toda la gestión (management) atribuida a Peter Drucker: “Si se mide, se gestiona”. Que podríamos parafrasear como “Lo que consigue medirse mejora”. Basta crear un indicador sobre una actividad productiva y comenzar a medirlo para que esta mejore su rendimiento sólo por “sentirse” medida. La experiencia lo corrobora en la ingeniería de procesos. Y en la economía…

O quizá no.

No todo es tan sencillo.

La ley de Goodhart

El economista británico Charles Goodhart, en los años setenta del siglo pasado, cuestionaba la obsesión del gobierno de Margaret Thatcher por optimizar la masa monetaria en circulación para garantizar la estabilidad económica. E ironizaba sobre esta pretensión elevando una reflexión general que se hizo conocida:

"Cualquier relación estadística estable tenderá a desvanecerse tan pronto se intente utilizar como mecanismo de control".

El éxito de esta sencilla idea, que había visto un lado oscuro en el mandato galileano, se generalizó rápidamente: “Cuando una medida se convierte en un objetivo, entonces deja de ser una buena medida”. Esta es en síntesis la que sería llamada la ley de Goodhart.

Sin embargo, este revés suponía una paradoja. Medir y centrarnos en las medidas nos había hecho progresar científica y técnicamente. Goodhart jamás habría podido despuntar en una disciplina como la económica sin medidas. Pero había dado en la diana de muchos procesos, particularmente en los que intervienen agentes racionales que, “matematizando” aunque sea intuitivamente la estructura esencial de un sistema, encuentran un mecanismo para optimizarlo en su favor y degradarlo. O dicho de otro modo, cuando un sistema comprende a agentes que pueden enfocar su comportamiento en maximizar un resultado, el sistema con suma frecuencia se desequilibra incluso hasta el colapso con tal de satisfacer ese incentivo. Y por eso, probablemente, Peter Drucker en realidad nunca dijo eso. De hecho, el columnista Simon Caulkin completó con contundencia la supuesta frase:

“Lo que se mide se gestiona, incluso cuando no tiene sentido medirlo ni gestionarlo, e incluso si hacerlo perjudica el propósito de la organización”.

El ejemplo histórico más paradigmático que suele citarse es el que vivió el gobierno Británico en la India, cuando intentó reducir la población de cobras ofreciendo una recompensa por cada cobra muerta. Inicialmente, esto parecía efectivo, pero pronto los cazadores comenzaron a criar cobras para matarlas y cobrar la recompensa¹. Cuando el gobierno se dio cuenta de este problema, eliminó el programa de recompensas, lo que llevó a que los cazadores liberaran las cobras que habían criado, lo que agravó la situación y aumentó aún más la población de cobras.

A partir de aquí son múltiples los escenarios del comportamiento humano en los que la ley de Goodhart se manifiesta:

• Un ejemplo muy actual y relevante para nuestro progreso lo hallamos en el sistema de citas y revisión por pares de las publicaciones científicas. Inicialmente ideado para mejorar la calidad de la producción científica, sus métricas han ido pervirtiendo el proceso: la creación del índice H se ha revelado para muchos como una de las peores ideas para medir el impacto científico², y ha fomentado la proliferación de revistas depredadoras, el aumento de las tasas de publicación y la pérdida en gran parte de su rigor y prestigio, incluso entre los científicos.

  Julian Estevez
  nos contaba hace poco la historia de este sistema que ha entrado en la dicotomía del “publica o perece” (publish or perish) y que ofrece algunos síntomas de agonía o de incluso próxima implosión como: La “enshittificación” exponencial de la ciencia, la proliferación de artículos generados por ChatGPT, el reemplazo de investigadores por LLMs, la dificultad extrema para encontrar revisores, los mecanismos que afloran para indexar artículos falsos y manipular indicadores bibliométricos, las huelgas en grandes revistas, los escándalos de autores falsamente autocitados hasta la extenuación, etc.

• También encontramos ejemplos en la enseñanza, donde los procesos de gamificación o el foco puesto sólo en los rankings colegiales o las notas medias de los alumnos las deteriora a la larga. La concentración de recursos y la orientación hacia las medidas empleadas para valorar el rendimiento se convierten en un fin en sí mismo que pervierte el sistema: los profesores empiezan a "enseñar para el examen" y no para aprender, presionan a los alumnos a memorizar de acuerdo a la estrategia que optimice el resultado del examen en lugar de comprender los contenidos; los colegios invierten en idiomas, en tecnología o en publicidad de forma desproporcionada con tal de salir bien parados. Al principio, las notas y la apariencia en las métricas de desempeño y rankings mejorarán creando cierta ilusión de éxito, pero a medio plazo la calidad de educativa se resiente.

• Otro ejemplo es el de los algoritmos en las plataformas, orientados siempre a maximizar ciertas métricas: al principio pueden lograr un gran éxito en la captación de usuarios pero acaban degradándose. Por ejemplo, TikTok se basa en la creación y difusión de vídeos cortos, que tienden a la viralidad. Su algoritmo recomienda vídeos a los usuarios en función de su historial de visualización. Como resultado, los creadores de contenido se han centrado en crear vídeos que sean atractivos para el algoritmo, lo que la ha llenado de contenidos que para muchos han degradado la calidad con tal de que los usuarios puedan crecer dentro de la red, como el esperpéntico aumento de los vídeos de baile, retos y otros contenidos que son fáciles de consumir pero que resultan para muchos degradantes y motivo por el que acaban abandonando la red³.

• Cualquier juego o deporte cuenta con sus métricas para determinar el ganador. Pero cuando se van profesionalizando, los indicadores aumentan, tratando de caracterizar al mejor de los ganadores. Todo ello mejora al principio el rendimiento de los jugadores pero fácilmente acaba distorsionando a la larga el sentido y el atractivo original del juego. Desde el deporte de alto rendimiento al ajedrez. Todos pierden el halo romántico y lúdico que los inspiró cuando se comprenden desde la óptica productiva y la optimización de métricas. El juego pierde “su gracia”. No hablemos de cuando se alcanza el extremo en los que las apuestas sobre estas métricas entran en juego, como ha contado

  Iker Prieto Ramírez
  en alguna ocasión sobre la NBA.

Tanto el mandato galileano como la ley de Goodhart forman por tanto un arco paradójico que describe el ascenso y declive de los sistemas de agentes racionales que, en palabras de Kant, convierten un medio (vigilar el comportamiento de cierta métrica) en un fin en sí mismo. La competencia funciona en determinado contexto de sentido. Si se pierde ese contexto que da sentido a la competencia, entonces todo se desvirtúa. Estamos hechos para competir y cooperar, es decir, mantener un consenso elemental (cooperación) sobre el que escenificar un esfuerzo y una lucha por mejorar (competir). La racionalidad tecnocientífica entregada a las simples métricas desnaturaliza la realidad, extrae solo los patrones que exprimir algorítmicamente, y puede perder con facilidad el norte de su propósito.

Para encontrar equilibrios, como en el ejemplar sistema de transplantes en España, es preciso controlar un esquema de incentivos que cuide del factor colaborativo y altruista, aunque sea compensando intereses contrapuestos hasta hacer emerger una suerte de interés colectivo. Bajo ese enfoque es pertinente, por ejemplo, una formación complementaria en ciencias y en humanidades, porque si las primeras ostentan el liderazgo en la precisión, la optimización racional y la innovación, las segundas nos permiten compartir un marco de sentido, como condición de posibilidad para que las primeras florezcan.

Pero, ¿es posible encontrar ese espacio en un mundo emergido de la racionalidad tecnocientífica y capitalista que maximiza el beneficio por encima de casi cualquier otro criterio y cae recurrentemente en el deterioro de Goodhart? En plena era de los datos ¿es posible mirar más allá de ellos? Y, en realidad, ¿no vive mucha gente al margen de ellos? ¿en qué quedamos?

Entre el dataísmo y el emotivismo irracional

Vivimos en la era de la información, dicen muchos. Los datos nos rodean por doquier gracias a la digitalización y a la proliferación de las TIC. Consumimos información a un ritmo desconocido en otras épocas de la historia y nuestra actividad diaria se rodea y alimenta de datos. Medimos los likes, las pulsaciones, los seguidores, las visualizaciones, los clics, los pasos que damos, las calorías que consumimos y gastamos, los movimientos del banco, la batería que nos queda, los contactos que hacemos, los kilos que pesamos, los precios del aceite, las fluctuaciones en la bolsa,…

La obsesión por medir todo ha hecho, sin embargo, que haya emergido lo que algunos como Harari consideren incluso una nueva religión: el dataísmo. La confianza en que descubriremos patrones con los que maximizar la satisfacción de nuestros intereses por nuestra propia cuenta o por medio de la tecnología como Big Data o la IA se ve acompañada de esta nueva ideología emergente. La racionalidad tecnocientífica explotando al máximo conocido hasta la fecha los datos de los que extraer valor se vuelve fe. Como se ha dicho hasta la saciedad, los datos son el nuevo petróleo. A su depredación nos volcamos como en una Cruzada.

Sin embargo, como recuerda el estadístico David Spiegelhalter los datos "son casi siempre una medida imperfecta de lo que nos interesa". Y es que, efectivamente, toda medida encierra una cierta predisposición al resultado, una forma premeditada de comprender la realidad. Y no solo porque se mida una magnitud y no otra, con un instrumento y no otro. Sino porque además se asume que todo lo relevante es medible. Y, como decía Kant, no todo lo que es digno, lo que es valioso, tiene precio. Quizá el mandato galileano, tan poderoso, también tenga que reconocer sus límites.

Ciertamente las medidas nos objetivan. Pero los conceptos a los que hacen referencia también vienen condicionados por una teoría previa y una forma de concebir el mundo. De hecho en filosofía de la ciencia se maneja la idea de la “carga teórica” de los conceptos que, según Hanson, se refiere a que la observación científica no es un proceso neutral sino que está influenciada por el conocimiento y las teorías preexistentes del observador. Hanson argumenta que para interpretar correctamente los datos en un contexto científico, se necesita un trasfondo teórico que permita dar sentido a dichas observaciones. Esto significa que diferentes científicos pueden ver e interpretar los mismos datos de manera distinta según sus conocimientos y teorías previas⁴. Lo mismo sucede en cada una de nuestras medidas.

El problema no es probablemente medir, sino llegar a pensar que solo es real lo que se puede medir. Aunque sin datos no somos nada, no toda la realidad cabe en un Excel. Hamlet midiendo la condición trascendental de su existencia. O como resumía William Bruce Cameron:

“No todo lo que cuenta puede ser contado, ni todo lo que puede ser contado cuenta”.

¿Pero qué es lo que está explotándose esencialmente de estos datos? Lo más valioso es, probablemente, la predicción de nuestro comportamiento. Recibiendo publicidad, desplazándonos de un sitio a otro, consumiendo productos y servicios, emitiendo opiniones o moviendo el dinero en la bolsa. Todo genera datos explotados que se aprovechan de que, por lo general, nuestro comportamiento es todo lo contrario a la precisión matemática y al rigor lógico. El aburguesamiento y hedonismo social contemporáneo que estas mismas tecnologías han favorecido nos conducen amablemente hacia el emotivismo irracional, el que se deja arrastrar por sus pasiones sin reparar en ellas, entregándose a la algarabía de las posturas extremas, las noticias falsas y los contenidos insustanciales que más tiempo - de vida - nos roban en reels infinitos. Este emotivismo irracional alimenta más la participación en redes sociales, genera likes y seguidores, es capaz de captar algo de la escasa atención que todos codiciamos. Y está exprimido métricamente.

Este emotivismo irracional está en buena medida alimentado ideológicamente, porque la racionalidad parece cosa de occidentales, blancos y heterosexuales, las métricas forman parte de la visión imperialista de la modernidad que esclavizó a medio mundo, del proyecto de la Ilustración que, queriendo someter a la naturaleza acabó sometiendo al propio hombre. Por eso, en la era postmoderna, revestidos de respeto por la diversidad, dejamos que los sentimientos irracionales predominen y las razones se aparquen. Los datos, que perfilan nuestro comportamiento en masa y nos hacen predecibles y manipulables, resultan inútiles y se distorsionan al servicio de la ideología.

De hecho, sin caer en sus extremos tecnófobos y luditas, parecen sensatas las reflexiones de algunos autores que pretenden rescatar el sentido narrativo de nuestra convivencia social, que nos persuade de ciertos valores proporcionando cierta credibilidad, y nos facilitan un cierto sentido de pertenencia que ni se deja arrastrar por la tribu ni nos diluye en individuos aislados obsesionados con su hedonismo. A ese sentido narrativo y compartido no le bastan los datos y las métricas. Aunque sus formulaciones sean ilusorias, necesitamos ilusiones para convivir y prosperar.

Medir, sí. Pero siempre en contexto de sentido. Utilizar múltiples medidas, porque la realidad es siempre más compleja que lo que nuestros modelos describen. Las métricas contrapesadas facilitan el equilibrio. Medir, sí. Pero considerando las consecuencias al fijar los incentivos, sospechando de la racionalidad egoísta y de la indiferencia hacia las consecuencias indeseadas. Por ejemplo, al primar la maximización de beneficios sin pensar en su sostenibilidad. Medir, sí. Pero empleando las medidas de forma flexible, manteniendo siempre el espíritu de la ley y no su literalidad, para adaptar la métrica cuando sea necesario y seguir siendo fieles al fin mayor. De lo contrario, “hecha la ley, hecha la trampa”.

Como casi siempre, la verdad y la virtud se hallarán probablemente desfilando por el inestable equilibrio del fiel, entre quienes convierten en religión irracional las virtudes de los datos y quienes viven al margen de ellos, pretendiendo una indiferencia que en realidad los deja a su merced.

1. Los ingleses no habrían entendido el juego de palabras, pero sí, aquí tenemos el caso de alguien que “cobra por cobra”. :)

2. Einstein, por ejemplo, puntuaría muy bajo frente a científicos contemporáneos casi irrelevantes.

3. Baste el ejemplo paradigmático del “reto rompecráneos”, en el que se graba cómo alguien sufre una zancadilla para ver cómo se rompe el cuello y poder ganar muchos seguidores virtuales.

4. Hanson lo ilustra con algunos casos históricos como las observaciones astronómicas interpretadas de forma tan distinta por Kepler y Tycho Brahe.