Transcripción:

Eliezer Budasoff: Antes de empezar, una noticia. Tal vez conocen o se acuerdan de Central, el podcast de series de Radio Ambulante Studios. Es donde contamos historias que creemos que merecen varios episodios. Bueno, ayer estrenamos una nueva serie. Se llama “Superclásico 94”. Nos lleva directo a Buenos Aires en los años 90. Y trata sobre el día en que la pasión de un grupo de personas por el fútbol se convirtió en un crimen que sacudió a todo el país. La verdad, está buenísima, y no lo digo porque yo sea argentino. Se publica un episodio nuevo cada jueves. Y si extrañaban escuchar a Silvia Viñas, tenemos una segunda noticia: ella es la presentadora de esta nueva serie.

Acá les dejamos un pequeño adelanto: 

Silvia Viñas: Buenos Aires, 1994. Dos hinchas son asesinados después de un Boca – River. Detrás, una barra brava con demasiado poder. 

Darío Vesseliza Randi: “Váyanse todos a la mierda, no saben lo que hicieron”.

Gustavo Grabia: Era como si estuvieras adelante del juicio a Don Corleone. 

Silvia Viñas: En la nueva temporada del podcast Central, de Radio Ambulante Studios, la historia del día que cambió el fútbol latinoamericano. Escucha Central, “Superclásico 94”, en la app de iHeartRadio, Apple Podcasts, o donde sea que escuches tus podcasts.

Eliezer: Bienvenidos a El hilo, un podcast de Radio Ambulante Studios. Soy Eliezer Budasoff.

A finales de agosto, Meta hizo un acuerdo con más de 50 fiscales generales de Estados Unidos para frenar un juicio gigantesco en su contra. En nombre de más de 280 millones de personas, esos fiscales demandaron a la empresa por diseñar sus plataformas para hacer adictos a los adolescentes y dañar su salud mental, por usar información privada de menores de 13 años para mandarles publicidad dirigida y recomendarles contenidos que explotan sus inseguridades, sus miedos, sus frustraciones, para mantenerlos enganchados a plataformas como Instagram y Facebook. 

El acuerdo fue, posiblemente, la forma más rápida de evitar algo peor para Meta: que les hicieran pagar un precio más ajustado al daño incalculable que han hecho a nuestras sociedades. Ahora que se enfrentaron, al menos, a la posibilidad de tener que rendir cuentas por sus actos, la pregunta es si no es demasiado tarde para eso. La información privada que las plataformas han recopilado durante décadas no sólo perfecciona algoritmos para mantenernos enganchados a un scroll infinito: hoy alimenta modelos de IA que deciden si nos aprueban un crédito o una visa de turismo, si merecemos una cirugía de corazón, un puesto de trabajo o un ataque con misiles. 

“La maquinaria de la vigilancia existe para estar al servicio de una maquinaria de la predicción”, dice nuestra entrevistada de hoy, Carissa Véliz. Ese es, básicamente, el recorrido que ha seguido su trabajo de investigación en los últimos años: desde que publicó en 2020 su libro Privacidad es poder, sobre la vigilancia, los datos y la libertad en la era digital, hasta su trabajo más reciente, Profecía, donde estudia el uso y abuso de la predicción, desde los oráculos hasta la IA. Carissa es doctora en filosofía y profesora en el Instituto para la Ética en la Inteligencia Artificial en la Universidad de Oxford, y ha sido asesora experta de gobiernos y empresas privadas. En este episodio, analizamos con ella qué significa el acuerdo que hizo Meta para salvarse del juicio, de dónde viene el poder que tienen hoy las empresas que se dedican a vender predicciones y por qué, cuando pretenden adivinar el futuro, lo que están haciendo, en realidad, es sentenciar un futuro para nosotros. 

Es 11 de septiembre de 2026.

Eliezer: Hola, Carissa. ¿Cómo estás?

Carissa Véliz: Hola, gracias por invitarme. 

Eliezer: Queremos empezar con una pregunta puntual sobre esta noticia. A finales de agosto, una semana después de que empezara en Estados Unidos el juicio de más de 30 estados contra Meta, todo terminó cuando la empresa anunció un acuerdo extrajudicial para que no siguiera el juicio.

Archivo de audio, Presentador, NMás: La compañía Meta, que es la dueña de Facebook e Instagram, acordó que pagará hasta unos 18 mil millones de dólares en un plazo de diez años.

Archivo de audio, Presentadora, Noticias Telemundo: Esto, tras ser acusada de utilizar funciones diseñadas para mantener a niños y adolescentes conectados a sus plataformas a pesar de los posibles riesgos.

Archivo de audio, Reportero, Noticias Caracol: Este acuerdo, que es el más grande en la historia de Estados Unidos contra una compañía tecnológica, ahora tendrá que ser avalado por un juez.

Eliezer: O sea, la empresa se apuró a hacer un acuerdo para que no siguiera el juicio, que es como reconocer un poco que estaban hasta las manos. Pero a la vez, nunca tuvieron que asumir responsabilidad legal. Anunciaron el acuerdo antes de que Mark Zuckerberg pudiera testificar, aunque él ha jurado públicamente ante el Senado, por ejemplo, que la seguridad de los menores era su prioridad. Preparando las preguntas para esta entrevista, estuve leyendo un testimonio tuyo, vos declaraste como testigo experto en el Parlamento británico en el 2021, hace cinco años, en una audiencia sobre libertad de expresión en la era digital. Y ya decís exactamente esto de lo que acusan a Meta. Que los algoritmos están diseñados para enganchar a los usuarios, que el contenido que más engancha es el más tóxico y que mientras más tiempo está alguien enganchado a las redes sociales, más información privada le sacan y más preciso se hace el algoritmo. ¿Desde cuándo se sabe esto con un nivel de certeza elevado? O sea, que están bombardeando con estímulos tóxicos a los adolescentes y menores de todo el mundo. ¿Y por qué recién ahora se llegaba a una instancia en la que parecía que iban a tener que enfrentar una rendición de cuentas más o menos estructural?

Carissa: Es una muy buena pregunta y la respuesta es bastante triste, porque llevamos sabiendo estos hechos durante muchos años. No solamente es que ha habido varios whistleblowers que han informado al público de lo que estaba pasando, como por ejemplo Arturo Béjar.

Archivo de audio, Arturo Béjar, NMás: Es un momento increíble, porque todos estos años estas compañías que valen trillones de dólares están diciendo: “Nuestro producto no crea adicción”, mientras que dentro de la compañía, la gente que estudia el tema encontró adicción y la respuesta de la compañía adentro fue: “No puedes estudiar eso, no puedes usar esa palabra” y cerró la puerta.

Eliezer: Arturo Béjar es un ingeniero mexicano que trabajó en Meta en temas de seguridad. Después de dejar la empresa, volvió como consultor de Instagram. Su hija adolescente había sufrido acoso en la plataforma, y eso lo llevó a denunciar lo que estaba pasando dentro de Meta. Fue uno de los testigos clave en el juicio de los estados contra la compañía. 

Carissa mencionó también a otros denunciantes, como Frances Haugen, exgerenta de producto de Facebook, que reveló a la prensa los documentos internos que dieron paso a las investigaciones contra Meta, y uno de los primeros inversionistas de la compañía, que ha dicho que hay gente que explota el diseño de Facebook y otras plataformas para dañar e incluso asesinar gente inocente. 

Carissa: Y lo que sugiere es que los sistemas de justicia son muy lentos, son muy, muy lentos. Tarda años en llegar un caso a juicio.

Eliezer: Ayúdanos a entender en general algunos puntos sobre el acuerdo al que llegó Meta con esta coalición de fiscales generales para zafar del juicio. O sea, sabemos que Meta se comprometió a pagar 18 mil millones de dólares, que parece una suma enorme, pero no es ni el 10% de lo que pedían los fiscales, que era 200 mil millones. Y también prometieron algunos cambios de diseños de las plataformas: limitar el tiempo y los horarios de conexión a los menores, quitar el conteo de likes, no enviar notificaciones en horarios de clase. Pero por un lado está esta primera preocupación: la empresa dice que no puede garantizar la edad de los usuarios sin una identificación y entonces ahora se supone que van a poder acceder a documentos personales de los menores. Justo cuando uno de los principales problemas de Facebook, de Instagram, es la explotación comercial sin autorización de información privada de los usuarios.

Carissa: Primero vamos a ver lo negativo y luego vamos a lo positivo. Lo negativo es, efectivamente, que le estamos dando más datos personales de menores a una empresa que ha mostrado, a todas luces, ser irresponsable con esos datos y que su modelo de negocio se basa en la vigilancia y la explotación de esos datos. Y ahí es un gran problema y es un problema que no tendría que ser, que hay maneras de identificar comportamientos que son de menores, que no tienen que ver con esos datos personales. Y también hay maneras de diseñar el algoritmo para que sea menos nocivo para todos. Porque, ¿por qué va a estar bien exponer a la gente que tiene 18 años a un contenido extremadamente tóxico? Otro problema, como dices, es que a pesar de que 18 mil millones de dólares es una cantidad realmente estratosférica de dinero, la empresa facturó 60 mil millones de dólares solamente en un trimestre y en el año pasado 200 mil millones de dólares. Y además, de esos 18 mil millones de dólares solamente va a tener que pagar, más o menos, casi 13 mil millones a lo largo de 10 años. Entonces, no es que los tenga que pagar inmediatamente. Con lo cual, a pesar de que sí duele, o sea, sí es una cantidad que duela, no duele suficiente para los pecados que cometió esta empresa y estas personas en particular.

Y como dices, lo que estaban pidiendo los fiscales eran 200 mil millones de dólares, que además es una cifra que coincide con otras dos cosas muy simbólicas. La primera es que es justamente lo que ganó Meta el año pasado, y la segunda que esa fue la cifra que tuvieron que pagar las tabacaleras. Que esta es una demanda que intentaba copiar a esa. Que esa demanda contra las tabacaleras fue tan importante y cambió tantas prácticas, porque había muchas cosas en común, el tabaco siendo muy nocivo y las empresas negando aquello que sabían y diseñando un producto nocivo a sabiendas.

Entonces, eso es lo negativo. Pero con lo negativo también hay positivos. Uno es que al final si Meta claudicó fue porque la evidencia en su contra era abrumadora. Y eso quiere decir que los hechos importan, que todavía la evidencia puede tumbar a un gigante y que aunque los sistemas de justicia son demasiado lentos, siguen siendo un mecanismo fundamental para buscar la justicia y para cambiar las cosas. La segunda buena noticia es que, aunque ya lo sabíamos, es evidente que el algoritmo se puede diseñar de maneras muchas menos nocivas. Entonces, entre las prácticas que van a cambiar, van a prohibir los filtros extremos de maquillaje, van a esconder el número de likes para que los niños no se comparen unos con otros. Una serie de medidas que tendrían que haberlas hecho hace diez años, pero que hacen muy evidente que las cosas se pueden diseñar mejor y que estamos empezando a domar este oeste tan salvaje. Y luego, la tercera buena noticia es que al final, el que se coordinaran tantos estados muestra que cuando nos juntamos y cuando nos coordinamos podemos lograr muchas cosas que no podemos solos. Ningún estado a solas habría podido llegar a este acuerdo con Meta, pero juntos sí pudieron. Y eso espero que anime a otros casos a que salgan adelante. Tanto en Estados Unidos como en Europa y en otros sitios del mundo, en América Latina y demás.

Eliezer: Más allá de estas concesiones que se comprometió a hacer Meta en el comportamiento de las plataformas con los menores de edad. Yo leía esto de “se comprometen a no mandar notificaciones en horarios de clase” y me volvía loco, ¿no? Pero una de las principales críticas sobre el acuerdo es que no modifica de fondo el algoritmo de recomendación de contenidos. Y entonces, queríamos saber por qué el algoritmo es tan importante en esta discusión. ¿Qué es lo que realmente queda intacto cuando no se encara esa parte del sistema?

Carissa: Volviendo a tu primer comentario, que te agradezco muchísimo que desenterraras ese consejo que yo di al Parlamento inglés, es que si diseñamos algoritmos para que su función primordial sea que nos enganchen, el algoritmo va a ser nocivo, porque lo que nos engancha no es el contenido más informativo, con más balance, los seres humanos tendemos a sentirnos más atraídos por el contenido que nos hace sentir enojados, que nos hace sentir miedo. Y eso es lo fundamental, que seguimos dejando, en esencia, que estas compañías produzcan algo análogo a la cocaína, ¿no? O sea, una sustancia tremendamente adictiva que no nos hace bien. Y eso es impresionante y es un desafío al que tenemos que sobreponernos. Y otra cuestión es que sigue siendo sorprendente que Meta sea tan prominente. O sea, esta es una empresa que ha tenido el escándalo de Cambridge Analytica, o sea, nada menos que tratar de socavar la democracia.

Archivo de audio, Denisse Maerker, NMás: La empresa británica de marketing Cambridge Analytica robó millones de datos de usuarios de esa red social para influir en procesos electorales.

Carissa: Ha tenido el escándalo de Myanmar, que ha estado involucrada en un genocidio.

Archivo de audio, Presentador, France 24 Español: Una nueva demanda colectiva acusa a la plataforma de redes sociales de desempeñar un papel directo en una campaña de limpieza étnica contra los rohinyá.

Carissa: Ha tenido escándalos de Instagram, de cómo las adolescentes estaban expuestas a contenido que tenía que ver con hacerlas sentir mal sobre su propio cuerpo y cuántos suicidios sucedieron después de esto, incluyendo el de Molly Russell.

Archivo de audio, Presentadora, Uno Noticias: Hace casi 10 años, Molly Russell, de 14 años, se quitó la vida tras exponerse durante meses a contenidos que promovían la depresión, la autolesión y el suicidio.

Carissa: Y es un caso muy importante porque su padre, Ian Russell, que es alguien que me ha impresionado mucho cuando lo conocí en persona, llevó el caso a juicio y fue el primer juicio en el mundo que culpó, en parte, a Instagram por la muerte de esta adolescente. Y después de todo esto, Meta sigue siendo prominente y siguen, por ejemplo, sacando un producto tan horrorosamente nocivo como los lentes. Las gafas estas de Meta nuevas, que las están empujando con todo. Veo publicidad en todas partes y es la herramienta perfecta de control social.

Archivo de audio, Publicidad, Meta: Hey, Meta, pon una rola que vaya con mi vibe. Hey, Meta, toma una foto.

Eliezer: Cuando yo doy ética a mis estudiantes, intento que piensen, claro que como empresarios. Yo quiero buenos empresarios y quiero buenos productos y buenas empresas, pero una buena empresa lo que hace es producir algo que la sociedad necesita y que le viene bien a la sociedad y que es un soporte para la democracia. Qué tristeza que tengamos a tantas mentes brillantes que lo que hacen es tratar de secuestrar el sistema de dopamina de la gente para hacerlas esclavas de un algoritmo que no les proporciona mucho y les quita tiempo, nos quita sueño, nos quita tiempo lejos de nuestras familias, de nuestros amigos, de los libros. Es realmente muy triste.

Ahora que recién decías que te había impresionado conocer al padre de esta adolescente que se suicidó después de ver tantas publicaciones en Instagram, es difícil evitar esta idea de que todavía no digerimos ni siquiera lo que han significado las redes sociales para la vida colectiva. Y ahora tenemos encima la irrupción de la inteligencia artificial, que es como ponerle un reactor nuclear a estos problemas, ¿no? Y antes de meternos en eso, tengo una pregunta más personal que no sé si puedes responder, ni siquiera si es posible generalizar, ¿no? Pero has participado como experta en varios espacios institucionales democráticos, como en esa audiencia del Parlamento británico que mencionábamos, pero también como asesora en la elaboración de regulaciones públicas y declaraciones de derechos digitales de algunos gobiernos. Y me preguntaba: ¿cuál crees que es el principal obstáculo de la gente que ocupa esos espacios? O sea, legisladores, funcionarios, magistrados, para entender la dimensión y los efectos que tiene el poder de estas empresas. Porque, claro, es fácil pensar que hay fortunas gastadas en lobby, manejo de influencias y presión de estas empresas para impedir regulaciones, que por supuesto hay. Pero también es evidente que hay gente que entiende la necesidad de hacer algo, solo que siempre parece a millones de años luz del núcleo del problema.

Carissa: Evidentemente, esta es mi perspectiva muy personal y es una interpretación de lo que veo en la superficie, porque claro, cada persona es un mundo, ¿no? Y creo que hay una combinación de elementos. Una es falta de perspectiva histórica y falta de perspectiva en general. Por ejemplo, cuando te pones a hablar con la gente de Silicon Valley, que hay de todo, ¿no? Y hay gente que creo que es bien intencionada, pero están tan en su burbuja que han perdido piso con la realidad. Por ejemplo, la persona encargada de ética en Anthropic ha escrito un post diciendo que ella se dedica a intentar que Claude sea feliz. Y dices: “Bueno” . O sea, a ver, si no piensa esto, es increíblemente preocupante, pero es que si lo piensa casi, casi es más preocupante, ¿no? Entonces, hay un elemento de eso, de gente que ha perdido piso, tanto en Silicon Valley como en los gobiernos, es difícil mantener perspectiva y para ello tienes que leer mucho y tienes que tener perspectiva histórica y es muy fácil perderla. Otro elemento importante es un poco menos benevolente, ¿no? Y que hay intereses económicos que son innegables, que hay veces que cuando ves a los políticos hablar con la gente de Silicon Valley, parece que les están pidiendo trabajo, ¿no? Y les están pidiendo trabajo, porque muchas veces, cuando dejan de ser políticos, van a Silicon Valley y hay una puerta entre estas grandes empresas y la política, que es muy incómoda y que se turnan. Otro elemento es que hay poca valentía en general. Me parece que estamos viviendo tiempos de mucha mediocridad, tanto en cómo estamos diseñando esos productos, como en cómo los están implementando las empresas y cómo nos estamos enfrentando a las cosas. Estamos muy timoratos, muy siguiendo a líderes que son malos líderes y hay muy poca gente que está dispuesta a decir que no, que aunque me estén diciendo que la línea es larga, no, la línea es corta, yo lo estoy viendo y es corta. Y pongo este ejemplo porque es un ejemplo de un experimento muy famoso de los años 80, de que cuando invitas a alguien a un experimento y toda la gente a su alrededor dice que en frente de ellos hay una línea larga, aunque sea una línea super corta, la persona suele acabar diciendo que es larga, ¿no? Simplemente por la presión social. Y estamos en ese momento en el que incluso cuando es evidente que, por ejemplo, la inteligencia artificial no funciona bien, que no es de fiar, hay tanto marketing que todas las empresas están comprándola como si fuera de fiar. La capacidad de autoengaño, tanto individual como colectiva, es alucinante.

Eliezer: Hacemos una pausa y volvemos.

Eliezer: Estamos de vuelta en El hilo.

Eliezer: Ayer estaba repasando los subrayados que vengo haciendo de tu último libro, Profecía, que acaba de salir hace algunas semanas en español y me reí de nuevo con un punto que me parece elocuente que haces bien al comienzo del libro. Es una parte en la que estás contando cómo los profetas en la antigüedad eran herramientas del poder y podían ganar mucho dinero e influencia con sus predicciones, pero arriesgaban su vida también, justamente por todo lo que puede provocar que alguien sentencie el futuro. Y ahí dices que hay una diferencia muy importante entre la historia y la actualidad. Es que hacer predicciones ha dejado de ser, peligroso para los profetas y que eso es un problema. Hablamos de predicciones, que pueden hacer daño, como la herramienta que diseñó Instagram para predecir qué videos se volverían virales a expensas de la salud mental de los chicos. O tú mencionas la predicción que puede hacer un algoritmo en base a la información que tiene de uno, de las posibilidades de pagar un crédito o no, y depende de eso que te lo den o que te rechacen un seguro médico porque un algoritmo dice que tienes, no sé, mayor posibilidad de sufrir un ataque al corazón, ¿no? Y tú escribes esto, textual: “Aunque desaconsejo asesinar a los adivinos, las predicciones que provocan algún tipo de daño no deberían quedar sin consecuencias para los profetas”. Me encanta por el humor negro, pero también siento que hay, en este libro un sentido de urgencia, que es como si estuvieras embargada por la necesidad de que veamos claro. ¿Esto es así? ¿Sientes que fue así haciendo el libro?

Carissa: Sí, totalmente. Creo que llevo demasiado tiempo viviendo en Inglaterra. Se me está contagiando el humor negro. Pero sí, porque uno de los patrones que me llamó la atención cuando empecé a estudiar la historia de las profecías y los profetas es cuántos profetas acababan lanzados por una montaña o similar. Y ahora me preocupa que no hay ningún coste de hacer profecías. Todo el tiempo estamos tanta gente haciendo tantas predicciones que todo se olvida. Y si millones de personas hacen predicciones todos los días, alguno le va a atinar, pero no es porque vea el futuro. Y luego el que le atina ya se convierte en un dios, como si realmente fuera porque… no, es un hecho estadístico que alguien por coincidencia le va a atinar. Y al contrario, todos los que no le atinaron y tuvieron predicciones incorrectas no sufren ninguna consecuencia. Y lo peor, la persona que hace una predicción que al final termina siendo correcta, no porque haya visto un futuro que ya estaba escrito, sino porque ha creado la realidad que fingía predecir y que esa predicción puede dañar a la gente, que puede acabar en una muerte, no sufre ninguna consecuencia. No hay nada que haga que tome responsabilidad por ese acto, porque uno de los peligros de las predicciones es que cuando se convierten en profecías autocumplidas, borran las marcas que dejan. Es decir, no crean señales de error. Entonces, por ejemplo, imagínate que yo tengo dos personas enfrente de mí y las dos están necesitadas de recursos médicos y yo hago una predicción que una de ellas es más probable que viva y le doy los recursos médicos a esa persona y la otra se muere. Nunca vamos a saber si la otra persona habría podido vivir de haber recibido los recursos médicos, precisamente porque no los recibió. Esos datos nunca se recolectan y con la muerte de esa persona se mueren esas señales que nos habrían podido decir que tomamos una decisión inadecuada. Y como ese ejemplo, hay miles de cómo estamos decidiendo si alguien obtiene un préstamo, un trabajo, un apartamento o una oportunidad de otro tipo.

Eliezer: Los modelos de inteligencia artificial, como describes en tu libro, son como máquinas de predicción. Sistemas alimentados con enormes cantidades de información, con la promesa de anticipar un futuro que por definición es incierto. Pero esta ilusión y esta promesa lo atraviesan todo en esta época, no solo que los modelos de lenguaje son máquinas de predecir palabras y narrativas e historias, y los algoritmos son máquinas de predecir conductas, sino que los tecno billonarios se han convertido en máquinas de predecir el futuro, ¿no? Como viajes a Marte, el fin del trabajo. Y tenemos problemas de ludopatía adolescente por los mercados de predicción. ¿En qué momento cristalizó en tu cabeza esta idea de que la profecía, o sea, la idea de que el futuro puede ser anticipado y transformado, era el núcleo que tejía todas estas dimensiones de la realidad? O sea, ¿por qué consideras que la predicción es el problema ético más importante de esta época?

Carissa: Porque estamos justamente viviendo en una cultura de la predicción. Como tú dices, no solamente es la inteligencia artificial, que no es nada más que una máquina de predicción. Son cómo se expresan los ejecutivos de la tecnología, cómo se expresan los políticos, los mercados de la predicción, pero también cómo se expresan los expertos. Y en parte viene por los expertos, pero también en parte viene por la cultura en sí, expresada también por los periodistas, ¿no? Entonces, este libro me surgió la idea desde muchos puntos de vista, como que fue una confluencia de elementos. Pero uno de ellos fue que cuando publiqué Privacidad es poder y empecé a hacer entrevistas, casi todas las entrevistas terminaban con una pregunta sobre el futuro de la privacidad. Como si por el hecho de que yo supiera algo sobre el presente de la privacidad, tuviera algo de conocimiento sobre el futuro. Y eso al principio me molestó y ya después de la centésima entrevista, ya me subía por las paredes y dije: “Voy a escribir un libro al respecto”. Porque es una actitud de mucha deferencia, de decir: “Yo no tengo nada que ver con el futuro, tú eres el experto, dime cuál es el futuro de esto para yo adaptarme”. En vez de decir: “No, el futuro no está escrito, depende de lo que yo quiera y haga, y tú no tienes nada que decir sobre el futuro de la privacidad. Tú me puedes decir, si eres un experto, algo sobre el presente, pero el futuro es mío”.

Eliezer: Está buenísimo esto que me digas de que empezaste a escribirlo en tu cabeza, dando las entrevistas de tu anterior libro, de Privacidad es poder, porque siento que no conseguimos dimensionar ─y cada vez que pienso en esto me da vértigo─ lo peligrosa que es la capacidad de procesamiento de información que supone la inteligencia artificial, para la enorme cantidad de datos personales que recopilan las empresas con o sin nuestro consentimiento. Y ahora justo estabas hablando, se suman las gafas de Meta que graban, las cámaras públicas, los drones, cada movimiento nuestro. Justo en tu trabajo planteas que la privacidad no es simplemente una cuestión de tener algo que esconder, sino una cuestión de poder. ¿Qué perdemos realmente cuando unas pocas empresas saben tanto sobre nosotros y nosotros sabemos tan poco de cómo ocupan esa información?

Carissa: Perdemos la capacidad de controlar nuestra vida, de ser los dueños de nuestra vida. Entonces, otra razón por la que escribí Profecía es porque cuando escribí Privacidad es poder, me concentré en la maquinaria de la vigilancia, que ya en sí misma es suficientemente preocupante y suficientemente importante para la democracia no tenerla. Justo las maquinarias de la vigilancia en el pasado han sido aquellas producidas por regímenes totalitarios. Esta es la primera vez que conviven de manera incómoda la democracia y un nivel de vigilancia tan alto. Y creo que no es coincidencia que la democracia esté pasando por sus peores momentos en décadas al mismo tiempo que la vigilancia ha incrementado. Y creo que esta convivencia es incompatible y tenemos que escoger un poco. ¿Vamos a irnos por el lado de la vigilancia totalitaria o vamos a empezar a defender la democracia? Y Profecía lo escribí porque la maquinaria de la vigilancia existe para estar al servicio de una maquinaria de la predicción. Es decir, no vigilaríamos si no es para usar esa vigilancia para predecir e influir en el comportamiento humano. Y cuando empiezas a ver esa función más claramente, hay muchas lecciones de la historia que son muy importantes. Otra cosa que me ha molestado mucho y que me hizo escribir el libro, creo que es, a veces uno escribe un poco como buscando un antídoto a los tiempos que corren. Es esta idea de que vivimos tiempos que no tienen ningún precedente, que la inteligencia artificial es tan nueva que no hay nada, que se le parezca. Y en algunos sentidos eso es medio verdad, pero en muchos otros no lo es. Y cuando ves a la inteligencia artificial como una tecnología de la predicción, dices: “Ah, mira, no es tan nuevo”. Hemos usado la predicción durante siglos, desde el Oráculo de Delfos y antes, y a pesar de que la tecnología sea diferente, el rol político que juega es el mismo.

Eliezer: Uno de los argumentos más potentes e inquietantes de tu libro es que una predicción sobre una persona, como estábamos hablando, puede terminar condicionando su futuro, ¿no? ¿Cómo funciona este ciclo vicioso de profecías autocumplidas? ¿Y qué ocurre cuando una plataforma empieza a predecir quiénes somos y qué merecemos sin nuestro consentimiento?

Carissa: Siempre me han interesado las matemáticas, siempre me ha parecido interesante el cálculo del riesgo y todos estos temas. Y un día me di cuenta que es alucinante que a pesar de que hemos utilizado la predicción durante siglos y que hay miles de libros, artículos, revistas científicas sobre cómo predecir, no había un libro sobre la ética de la predicción, sobre en qué casos quizás no deberíamos hacer una predicción aunque pudiéramos. Y uno de esos casos es cuando la predicción contiene un riesgo muy alto de convertirse en una profecía autocumplida que va a ser negativa. Entonces, por ejemplo, si mi estudiante me pide una carta de recomendación y yo en la carta hago una predicción de que esa persona no va a tener una carrera académica, me acabo de cargar su carrera académica, en ese acto. Y eso me hizo pensar que las predicciones, a pesar de que suenan como descripciones del mundo, que aparentan describir el mundo como va a ser en el futuro, cuando las analizas desde el punto de vista de filosofía del lenguaje, te das cuenta de que son actos del habla, que esto es un término del filósofo J. L. Austin y que básicamente quiere decir que hay oraciones que no describen el mundo, sino que hacen algo en el mundo, son una acción. Y este es el caso, sobre todo cuando hay predicciones sobre seres humanos y sobre todo cuando es un individuo, porque el individuo carga con todo el peso de la predicción. Entonces, cuando tú le dices a un estudiante que va a reprobar, incrementas muchísimo la posibilidad de que repruebe, porque no solamente influyes en cómo se ve él a él mismo, sino que también influyes en las expectativas de otros y cómo lo tratan. Entonces, un estudio muy interesante que me encontré fue uno en el que a estudiantes de ciencia se les daban ratones y a algunos se les decía que les habían dado un ratón listo y a otros les decían que les habían dado un ratón tonto y luego tenían que hacer algunos exámenes de inteligencia. Y resulta que los ratones tontos salían peor que los listos, ¿no? ¿Y cómo era posible cuando en realidad los ratones eran todos iguales? Porque claro, los estudiantes que habían recibido el ratón “inteligente” los trataban como ratones inteligentes, los trataban mejor y al final tenían mejores resultados. Y ese es el peligro de utilizar algoritmos predictivos para todo, que estamos juzgando a las personas no en base a quiénes son o qué han hecho, que es lo que demanda la justicia, sino en base a lo que el algoritmo cree que van a hacer. Y eso es inaceptable.

Eliezer: Me encanta a mí que uses este libro de Austin, que es Cómo hacer cosas con las palabras, porque es un gran argumento, en contra de: “Ah, bueno, la violencia digital, tú puedes simplemente apagar tu teléfono y alejarte de la pantalla”. Bueno, en algunos casos no. Porque cuando alguien está diciendo que otra persona es culpable, cuando lo dice un juez, efectivamente está haciendo un acto de habla y está convirtiendo a una persona en culpable, ¿no? Por eso no puede equivocarse en su sentencia. Pero eso también es una gran forma de leer la desinformación y las campañas de linchamiento virtual, por ejemplo, con determinados personajes. Porque más allá de que después se demuestre que es desinformación o se demuestre que una persona era inocente, ya está definiendo su destino.

Carissa: Sí, y precisamente porque las consecuencias pueden ser tan graves, tendemos a construir la sociedad para que haya procesos de responsabilidad. Entonces, si un juez determina que alguien es culpable basado en una evidencia incorrecta, hay procesos para desafiar esa decisión, para mostrar que la evidencia era incorrecta, para mostrar cuál es la evidencia correcta y cambiar esa decisión. Pero cuando una decisión se toma en base a una predicción, no hay manera de desafiarla, porque una predicción nunca puede ser un hecho. Esto es muy importante. Una predicción nunca puede ser un hecho. Por definición, los hechos pertenecen al presente y al pasado. Una predicción, en el mejor de los casos, es una hipótesis bien fundamentada a ser confirmada. Pero cuando ves de hecho cómo se utilizan las predicciones en la esfera pública, te das cuenta de que muchas veces son deseos, son marketing o peor, son juegos de poder.

Eliezer: Una última pausa y volvemos. 

Eliezer: Estamos de vuelta en El hilo.

Eliezer: Una de las cosas que más rabia e impotencia da justamente cuando nosotros vemos cómo estos tecnobillonarios, haciendo determinado tipo de predicciones sobre lo que puede o no puede, sobre lo que va a ser o no va a ser la inteligencia artificial, es que hacen marketing diciendo: en un año el 20% de las fuentes de trabajo van a ser reemplazadas por la inteligencia artificial. Y además de que están haciendo una serie de predicciones que son, perjudiciales, obviamente, para la humanidad, me parece loquísimo o muy violento que ellos disfrazan o presentan esto que están haciendo como realmente salvar a la humanidad. Como que nos están haciendo un beneficio a todos nosotros. Y tú te metes con esto, que por ahí no conocen mucho los oyentes, pero es el altruismo efectivo, ¿no? Y que básicamente ellos hacen esto porque ayudar a determinada tecnología de desarrollo en el futuro va a salvar mucho más a la humanidad que ayudar a los problemas del presente, ¿no? ¿Puedes explicar un poquito cómo es esto?

Carissa: Sí, esta ideología del altruismo efectivo ha sido muy influyente en Silicon Valley, entre otras razones porque justifica todo lo que hace Silicon Valley. Y tengo todo un capítulo sobre ello, porque es como el guión que está tras bambalinas, a pesar de que no siempre lo escuchemos. Y viene de una tradición muy larga de utilitaristas que han tenido muchísima influencia en cómo todos los Estados del mundo justifican proyectos. Por ejemplo, la idea de un análisis de coste-beneficio viene de ahí. Y aunque tiene muchos elementos que son valiosos, cuando se lleva a sus últimas consecuencias, puede ser increíblemente nocivo. Y una de las ideas más dañinas y más populares del altruismo efectivo es el largoplacismo. Y por una parte tiene sentido, porque sabemos con la experiencia, por ejemplo, de la política, que cuando solamente nos centramos en el corto plazo, las cosas no salen muy bien. Pero lo que estas personas quieren decir con el largoplacismo, quieren decir miles de años. Entonces, la idea es: en la historia futura de la humanidad van a vivir trillones de personas, y eso quiere decir que sus intereses son más importantes que los nuestros, porque nosotros, los que vivimos hoy, solamente somos billones. Lo cual quiere decir que toda la ideología está basada en la predicción. Y si tú tienes una visión más crítica y más ilustrada de la predicción y los límites de la predicción, te das cuenta que el castillo de naipes se viene abajo. Porque esta ideología en el pasado ha tratado de predecir en los siguientes 10 años qué es lo que va a ser más, por ejemplo, efectivo para ayudar a la gente más pobre, y han sido increíblemente poco exitosos. Entonces, por ejemplo, recomendaron el desparasitar a los niños como una de las medidas más eficientes de salud y 10 años después se dieron cuenta que no ayuda para nada. Y que además habían sido tan autoritarios en cómo implementaron la medida, que no se le preguntaba a los papás de los niños, se les daba la medicina a los niños en la escuela sin preguntarles, que tuvo un efecto increíblemente dañino para la sociedad.

Eliezer: Hace poco más de una década, una organización benéfica y el Ministerio de Salud de Tanzania llevaron a cabo una campaña de desparasitación a niños en escuelas que en una ciudad terminó con una protesta de padres y tutores, que fueron a la escuela a impedir físicamente que les dieran las medicinas. No les habían avisado ni pedido autorización antes de darles los fármacos a los menores, y el caso desató miedos y teorías de la conspiración que se convirtieron en disturbios. Durante años, la organización responsable de ese programa recibió millones de dólares de fondos asociados al altruismo efectivo, y al final un análisis de las evidencias demostró que no estaban causando una mejora en la vida de las personas.  

Carissa: Entonces, si esta gente falló prediciendo cómo iba a ser el mundo en 10 años, ¿ahora están prediciendo cómo va a ser el mundo en mil años? Y claro, lo que hacen es que justifican que como va a haber trillones de personas, el reducir, aunque sea en una billonésima parte, el riesgo de algo malo que suceda con la inteligencia artificial tiene mucho más impacto que salvar a los billones de personas que puedan estar teniendo dificultades hoy. Y eso me parece atroz, me parece sacrificar a la persona enfrente de ti por una persona hipotética en el futuro, en un mundo muy hipotético que va a funcionar según tus predicciones, que además te has equivocado en todas las demás predicciones que has hecho.

Eliezer: Carissa, a pesar de los escándalos de privacidad y de casos como el de Cambridge Analytica, de poner en riesgo la democracia, de estimular la violencia, de la evidencia cada vez mayor sobre los daños de estas plataformas, seguimos dependiendo de unas muy pocas empresas para comunicarnos, informarnos y relacionarnos, ¿no? Cuando vemos cosas como las acusaciones contra Meta por afectar deliberadamente la salud mental de los niños, ¿no? Es difícil no pensar cómo permitimos a unas pocas personas que se venden como los profetas de nuestro tiempo estar en la posición de arruinar las posibilidades de futuro de tanta gente. ¿Por qué nuestras sociedades parecen incapaces o poco dispuestas quizá a quitarles poder a estas empresas?

Carissa: La vida es lucha y la democracia siempre es un equilibrio frágil que tenemos que recuperar y tenemos que proteger día a día. Es una batalla que nunca se gana del todo. Entonces, es un poco como un péndulo, ¿no? Estamos en un momento en donde la cultura de la predicción ha ganado mucha fuerza, pero la batalla no está perdida y con más razón tenemos que afrontar ese desafío que nos toca hoy en día. Interesantemente, nuestros tiempos se parecen bastante a los tiempos de la antigua Grecia y la antigua Roma y su énfasis en la adivinación y los oráculos y todo esto. Y parte del antídoto entonces fue la filosofía. La filosofía no académica, sino la filosofía como pensamiento crítico. Los Sócrates y los Platones y los Aristóteles, que no por casualidad fueron acusados de impiedad, de no creer en los dioses griegos. Y eran la voz de la razón en medio de toda esta cultura del mito y creo que hay que volver a eso. Es un momento de volver a lo básico, de hacer preguntas, de tomar responsabilidad por nuestro futuro, de no asustarnos de la incertidumbre. La incertidumbre es la mejor noticia que vas a tener toda la semana, porque si supieras exactamente dónde vas a estar en una semana, probablemente estarías en la cárcel. Es una maravilla no saber cómo va a ser el mundo en un año, porque quiere decir que podemos influir en el mundo, que, en parte, el futuro va a ser aquel que construyamos. Y sí, dependemos de estas empresas, pero no tenemos que depender tanto. Entonces, por ejemplo, si estás utilizando WhatsApp, utiliza Signal. Es gratis, funciona igual de bien y una vez que se lo bajan tus amigos y tu familia, realmente no necesitas WhatsApp para mucho más. Y entonces hay muchas alternativas. El mundo nunca deja de sorprender. Y lo que hay que hacer es afrontar estos desafíos con ganas, con ilusión, con creatividad. Precisamente parte de lo que a mí me da esperanza es que estos modelos funcionan muy mal. Es una basura de producto y eso quiere decir que hay una gran oportunidad ahí.

Entonces, a pesar de que, claro que el desafío es titánico, creo que hay muchas más razones para ser optimistas. Y es raro, porque cuando escribí Privacidad es poder, yo era el poli malo, ¿no? Todo el mundo estaba muy ilusionado con la tecnología y yo estaba como: bueno, eh, pero a ver, esto está bastante totalitario. Y ahora que todo el mundo está muy desilusionado y viendo todo negro, yo digo: pero a ver, hay muchas razones para ser optimistas. Y una de ellas son los libros. A pesar de la inteligencia artificial y que nos venden que es la tecnología más puntera, a mí me parece que funciona fatal. Y el libro es una tecnología que hemos pulido durante miles y miles de años y sigue siendo la tecnología que, con diferencia, es la mejor para transmitir el conocimiento profundo, los argumentos complejos y la experiencia humana.

Eliezer: Ahora, una cosa que tú también hablas en tu libro, que me parece fundamental, es que gran parte de esta necesidad de la predicción, de la anticipación, tienen que ver con el miedo. Con que la incertidumbre nos genera miedo, nos genera inseguridad. Y entonces, tú dices: “Bueno, para mí la mejor noticia es que la incertidumbre es posible”. ¿Cómo haces para que la incertidumbre no siempre vaya abrazada con el miedo?

Carissa: Mi mamá siempre me dice que la vida es una aventura y creo que, en parte, el cultivar la valentía tiene que ver también con cultivar la curiosidad, de de tener curiosidad por el mundo y de tener confianza en que nuestros antepasados vivieron momentos mucho más oscuros. Ayer hablaba de alguien como Karl Popper, que fue un filósofo de la ciencia, que vivió la Segunda Guerra Mundial y que él era muy consciente de que el futuro no es predecible. Y sin embargo, como producto del trauma que vivió, decide no tener hijos porque el mundo estaba en un momento muy oscuro. Y lo que me parece increíble es que justo los niños que nacieron en los años 1949, 1945, por ahí, han sido la generación más afortunada de toda la historia de la humanidad. Y entonces, para afrontar el miedo también ayuda mucho el bailar, la música, la comida, el afecto, el contacto físico, el arroparnos unos a otros, el cuidarnos, el ser alegres. Y también leer. La lectura es fundamental, porque si no leemos perdemos perspectiva histórica. Te olvidas de que tus abuelos lograron sobrevivir cosas inauditas y si ellos pudieron, tú también puedes. Y también se nos olvida cuestiones de conocimiento, de cómo llevar la sociedad. Ha pasado antes en la historia que por dejar de leer perdemos conocimiento vital durante siglos que tenemos que volver a reinventar. Por ejemplo, el conocimiento de cómo hacer baños. Se nos olvidó durante siglos y las miles, cientos de miles o millones de muertes por perder ese conocimiento. Entonces, hay que anclarnos en las culturas y la cultura latinoamericana es maravillosa para recordarnos que somos seres analógicos, que por más que la tecnología avance, el agua digital nunca te va a quitar la sed, porque no es agua.

Eliezer: Carissa Véliz, muchísimas gracias por hacerte unos minutos para hablar con nosotros

Carissa: Gracias por invitarme. Un placer.

Jesús Delgadillo: Este episodio fue producido por mí, Jesús Delgadillo. Lo editaron Eliezer y Daniela Cruzat. Bruno Scelza hizo la verificación de datos. El diseño de sonido y la música son de Elías González.

El equipo de producción de El hilo está formado también por Samantha Proaño y Franklin Villavicencio, con el arte y diseño de Diego Corzo. El resto del equipo incluye a Natalia Ramírez, Paola Alean, Camilo Jiménez Santofimio, Elsa Liliana Ulloa, Silvia Viñas y Daniel Alarcón. Carolina Guerrero es la CEO de Radio Ambulante Studios. Nuestro tema musical lo compuso Pauchi Sasaki.

El hilo es un podcast de Radio Ambulante Studios. Si valoras el periodismo independiente y riguroso, te pedimos que te unas a nuestras membresías. América Latina es una región compleja y nuestro periodismo necesita de oyentes como tú. Visita elhilo.audio/donar y ayúdanos con una donación. 

Si quieres profundizar sobre el episodio de hoy, suscríbete a nuestro boletín de correo entrando a elhilo.audio/boletin. Lo enviamos cada viernes. 

También puedes seguirnos en nuestras redes sociales. Estamos en Instagram, X, BlueSky, Facebook y Threads. Nos encuentras como @elhilopodcast. Déjanos allí tus comentarios y etiquétanos cuando compartas los episodios. 

Gracias por escuchar.

Transcript:

The following English translation was generated with the assistance of artificial intelligence and has been reviewed and edited by our team for accuracy and clarity.

Eliezer Budasoff: Before we start, some news. You may know, or remember, Central, Radio Ambulante Studios’ series podcast. It’s where we tell stories we believe deserve several episodes. Well, yesterday we premiered a new series. It’s called “Superclásico 94.” It takes us straight to Buenos Aires in the 1990s, and it’s about the day a group of people’s passion for soccer turned into a crime that shook the whole country. Honestly, it’s really good, and I’m not just saying that because I’m Argentine. A new episode comes out every Thursday. And if you’ve missed hearing Silvia Viñas, we have a second piece of news: she’s the host of this new series.

Here’s a little preview:

Silvia Viñas: Buenos Aires, 1994. Two fans are murdered after a Boca–River match. Behind it, a barra brava with too much power.

Darío Vesseliza Randi: “Go to hell, all of you—you don’t know what you’ve done.”

Gustavo Grabia: It was like being at the trial of Don Corleone.

Silvia Viñas: In the new season of Central, from Radio Ambulante Studios, the story of the day that changed Latin American soccer. Listen to Central, “Superclásico 94,” on iHeartRadio, Apple Podcasts, or wherever you listen to podcasts.

Eliezer: Welcome to El hilo, a Radio Ambulante Studios podcast. I’m Eliezer Budasoff.

In late August, Meta reached a settlement with more than 50 U.S. state attorneys general to head off a massive lawsuit against it. On behalf of more than 280 million people, those attorneys general sued the company for designing its platforms to make teenagers addicted and harm their mental health, for using the private information of children under 13 to send them targeted ads and recommend content that exploits their insecurities, their fears, and their frustrations, to keep them hooked on platforms like Instagram and Facebook.

The settlement was possibly the fastest way for Meta to avoid something worse: being forced to pay a price closer to the incalculable damage it has done to our societies. Now that it has at least faced the possibility of having to answer for its actions, the question is whether it isn’t already too late for that. The private information platforms have been collecting for decades doesn’t just refine algorithms to keep us hooked on an infinite scroll—today it feeds AI models that decide whether we’re approved for a loan or a tourist visa, whether we deserve heart surgery, a job, or a missile strike.

“The machinery of surveillance exists to serve a machinery of prediction,” says our guest today, Carissa Véliz. That’s basically the arc her research has followed in recent years: from her 2020 book Privacy Is Power, about surveillance, data, and freedom in the digital age, to her most recent work, Prophecy, which examines the use and abuse of prediction, from oracles to AI. Carissa holds a doctorate in philosophy and is a professor at the Institute for Ethics in AI at the University of Oxford, and has served as an expert advisor to governments and private companies. In this episode, we talk with her about what Meta’s settlement means, where the power that today’s prediction-selling companies wield comes from, and why, when they claim to be guessing the future, what they’re actually doing is sentencing us to one.

It’s September 11, 2026.

Eliezer: Hi, Carissa. How are you?

Carissa Véliz: Hi, thanks for having me.

Eliezer: We want to start with a specific question about this news. In late August, a week after the trial brought by more than 30 U.S. states against Meta began, it all ended when the company announced an out-of-court settlement to stop the trial from proceeding.

Audio clip, anchor, NMás: The company Meta, which owns Facebook and Instagram, agreed to pay up to about $18 billion over a ten-year period.

Audio clip, anchor, Noticias Telemundo: This, after being accused of using features designed to keep children and teens connected to its platforms despite the potential risks.

Audio clip, reporter, Noticias Caracol: This settlement, the largest in U.S. history against a tech company, will now have to be approved by a judge.

Eliezer: In other words, the company rushed into a settlement to avoid the trial continuing, which is sort of an admission that they were caught red-handed. But at the same time, they never had to accept legal responsibility. They announced the settlement before Mark Zuckerberg could testify, even though he has publicly sworn before the Senate, for example, that the safety of minors was his priority. While preparing questions for this interview, I was reading some of your testimony—you appeared as an expert witness before the British Parliament back in 2021, five years ago, at a hearing on freedom of expression in the digital age. And you were already saying exactly what Meta is being accused of now: that algorithms are designed to hook users, that the content that hooks people most is the most toxic, and that the longer someone stays hooked on social media, the more private information is extracted from them and the more precise the algorithm becomes. Since when has this been known with such a high degree of certainty—that they’re bombarding teenagers and minors around the world with toxic stimuli? And why is it only now that we’re reaching a point where they seem to be facing anything close to structural accountability?

Carissa: That’s a very good question, and the answer is pretty sad, because we’ve known these facts for many years. It’s not just that there have been several whistleblowers who’ve told the public what was happening, like Arturo Béjar, for example.

Audio clip, Arturo Béjar, NMás: It’s an incredible moment, because for all these years these companies, worth trillions of dollars, have been saying, “Our product doesn’t create addiction,” while inside the company, the people studying the issue found addiction, and the company’s internal response was, “You can’t study that, you can’t use that word,” and they shut the door.

Eliezer: Arturo Béjar is a Mexican engineer who worked at Meta on safety issues. After leaving the company, he came back as a consultant for Instagram. His teenage daughter had been harassed on the platform, which led him to speak out about what was happening inside Meta. He was one of the key witnesses in the states’ case against the company.

Carissa also mentioned other whistleblowers, like Frances Haugen, a former Facebook product manager who leaked internal documents to the press that led to the investigations against Meta, and one of the company’s earliest investors, who has said there are people who exploit the design of Facebook and other platforms to harm and even kill innocent people.

Carissa: And what that suggests is that justice systems are very slow—very, very slow. It takes years for a case to go to trial.

Eliezer: Help us understand, broadly, some points about the settlement Meta reached with this coalition of attorneys general to get out of the trial. We know Meta committed to paying $18 billion, which sounds like an enormous sum, but it’s not even 10% of the $200 billion the attorneys general were asking for. They also promised some changes to platform design: limiting connection time and hours for minors, removing like counts, not sending notifications during school hours. But there’s a first concern here: the company says it can’t guarantee users’ ages without identification, which means it’s now supposed to be able to access minors’ personal documents—right when one of Facebook’s and Instagram’s main problems is the unauthorized commercial exploitation of users’ private information.

Carissa: Let’s look at the negative first, then the positive. The negative is, indeed, that we’re handing over more personal data about minors to a company that has clearly shown itself to be irresponsible with that data, and whose business model is based on surveillance and the exploitation of that data. That’s a big problem, and it’s a problem that doesn’t have to exist—there are ways to identify behaviors typical of minors that don’t involve that personal data. There are also ways to design the algorithm to make it less harmful for everyone. Because why should it be okay to expose people who are 18 to extremely toxic content? Another problem, as you say, is that even though $18 billion is a truly astronomical amount of money, the company brought in $60 billion in a single quarter, and $200 billion last year. And on top of that, of those $18 billion, it will only have to pay roughly $13 billion over ten years. So it’s not as if they have to pay it all immediately. Which means that even though it does hurt—yes, it’s an amount that stings—it doesn’t hurt enough for the sins this company, and these particular people, committed.

And as you say, what the attorneys general were asking for was $200 billion, a figure that, notably, matches two other very symbolic things. First, it’s roughly what Meta earned last year. Second, it’s the figure tobacco companies had to pay. This lawsuit was modeled on that one. That lawsuit against the tobacco companies mattered so much and changed so many practices because there was a lot in common: tobacco being extremely harmful, and companies denying what they knew while knowingly designing a harmful product.

So that’s the negative. But alongside the negative, there’s also positive. One is that if Meta ultimately backed down, it’s because the evidence against it was overwhelming. That means facts still matter, that evidence can still take down a giant, and that even though justice systems are too slow, they remain a fundamental mechanism for seeking justice and changing things. The second good piece of news is that, even though we already knew it, it’s now obvious the algorithm can be designed in far less harmful ways. So among the practices that are going to change: they’re going to ban extreme beautifying filters, they’re going to hide like counts so kids don’t compare themselves to one another—a series of measures that should have been implemented ten years ago, but that make it very clear things can be designed better, and that we’re beginning to tame this wild west. And then the third good piece of news is that, ultimately, the fact that so many states coordinated shows that when we come together and coordinate, we can accomplish things we can’t accomplish alone. No single state could have reached this settlement with Meta on its own, but together they could. And I hope that encourages other cases to move forward—both in the United States and in Europe and elsewhere in the world, in Latin America and beyond.

Eliezer: Beyond these concessions Meta committed to making regarding how its platforms treat minors—I read this thing about “committing to not send notifications during school hours” and it drove me crazy. But one of the main criticisms of the settlement is that it doesn’t fundamentally change the content recommendation algorithm. So we wanted to know why the algorithm is so central to this discussion. What actually stays untouched when that part of the system isn’t addressed?

Carissa: Going back to your first comment, which I really appreciate you digging up—that advice I gave to the British Parliament—the thing is, if we design algorithms whose primary function is to hook us, the algorithm is going to be harmful, because what hooks us isn’t the most informative, most balanced content. Human beings tend to be more drawn to content that makes us feel angry, that makes us feel afraid. And that’s the fundamental issue: we’re still, essentially, letting these companies produce something akin to cocaine—a tremendously addictive substance that isn’t good for us. That’s staggering, and it’s a challenge we have to overcome. And another issue is that it’s still surprising Meta remains so prominent. This is a company that had the Cambridge Analytica scandal—nothing less than an attempt to undermine democracy.

Audio clip, Denisse Maerker, NMás: The British marketing firm Cambridge Analytica stole millions of users’ data from that social network to influence electoral processes.

Carissa: It’s had the Myanmar scandal, where it was involved in a genocide.

Audio clip, anchor, France 24 Español: A new class-action lawsuit accuses the social media platform of playing a direct role in an ethnic cleansing campaign against the Rohingya.

Carissa: It’s had Instagram scandals, about how teenage girls were exposed to content that made them feel bad about their own bodies, and how many suicides followed, including Molly Russell’s.

Audio clip, anchor, Uno Noticias: Nearly ten years ago, 14-year-old Molly Russell took her own life after being exposed for months to content that promoted depression, self-harm, and suicide.

Carissa: And it’s a very important case, because her father, Ian Russell—someone who impressed me a great deal when I met him in person—took the case to trial, and it was the first trial in the world to hold Instagram partly responsible for a teenager’s death. And after all this, Meta is still prominent, and it keeps, for instance, rolling out products as horrifyingly harmful as the glasses. These new Meta glasses—they’re pushing them hard. I see ads for them everywhere, and they’re the perfect tool for social control.

Audio clip, Meta ad: Hey, Meta, play a song that fits my vibe. Hey, Meta, take a photo.

Eliezer: When I teach ethics to my students, I try to get them to think—of course—like business people. I want good entrepreneurs, I want good products and good companies. But what a good company does is produce something society needs, something that’s good for society and that supports democracy. It’s such a shame that we have so many brilliant minds working to hijack people’s dopamine systems, to enslave them to an algorithm that gives them very little in return while taking their time—it takes our sleep, it takes time away from our families, our friends, our books. It’s really very sad.

Now, you just said it impressed you to meet the father of this teenager who took her own life after seeing so many Instagram posts—it’s hard to avoid the sense that we still haven’t fully digested what social media has meant for our collective life. And now, on top of that, we have the rise of artificial intelligence, which is like strapping a nuclear reactor onto these problems. Before we get into that, I have a more personal question, and I’m not sure you can answer it, or even whether it’s possible to generalize. You’ve taken part as an expert in several democratic institutional settings, like that British Parliament hearing we mentioned, but also as an advisor on public regulations and digital rights declarations for some governments. And I wondered: what do you think is the main obstacle for the people who occupy those spaces—lawmakers, officials, judges—when it comes to understanding the scale and the effects of the power these companies hold? Because, sure, it’s easy to assume there are fortunes spent on lobbying, influence-peddling, and pressure from these companies to block regulation, and of course there are. But it’s also clear that there are people who understand the need to do something, only it always seems light-years away from the core of the problem.

Carissa: Obviously, this is my very personal perspective, an interpretation of what I see on the surface, because, of course, every person is their own world. I think it’s a combination of factors. One is a lack of historical perspective, and a lack of perspective in general. For example, when you start talking to people in Silicon Valley—there’s a whole range, right? There are people I think are well-intentioned, but they’re so deep in their bubble that they’ve lost touch with reality. For example, the person in charge of ethics at Anthropic wrote a post saying she spends her time trying to make Claude happy. And you think, “Okay…” I mean, if she doesn’t actually believe that, it’s incredibly worrying—but if she does believe it, that’s almost more worrying. So there’s an element of that: people who’ve lost their footing, both in Silicon Valley and in governments. It’s hard to keep perspective, and to do that you have to read a lot and have historical perspective, and it’s very easy to lose. Another important factor is a bit less benevolent: there are undeniable economic interests. Sometimes when you see politicians talking with people from Silicon Valley, it looks like they’re asking for a job—and they are, because often, once they stop being politicians, they go to Silicon Valley. There’s a revolving door between these big companies and politics that’s very uncomfortable, and people cycle through it. Another factor is that there’s little courage in general. I think we’re living in times of a lot of mediocrity, both in how we’re designing these products and in how companies implement them and how we’re confronting things. We’re very timid, very much following leaders who are bad leaders, and there are very few people willing to say no—to say, “Even if you’re telling me the line is long, no, the line is short, I can see it, and it’s short.” I bring up this example because it’s based on a very famous experiment from the 1980s: when you bring someone into an experiment and everyone around them says the line in front of them is long, even if it’s actually very short, the person usually ends up saying it’s long too—simply because of social pressure. And we’re at a moment where, even though it’s obvious that, for example, artificial intelligence doesn’t work well, that it isn’t reliable, there’s so much marketing that every company is buying into it as though it were reliable. The capacity for self-deception, both individual and collective, is stunning.

Eliezer: We’ll take a quick break and be right back.

Eliezer: We’re back on El hilo.

Eliezer: Yesterday I was going back over the passages I’ve been underlining in your latest book, Prophecy, which just came out a few weeks ago in Spanish, and I laughed again at a point you make early in the book that I find really striking. It’s the part where you describe how prophets in antiquity were tools of power—they could gain a lot of money and influence through their predictions, but they also risked their lives, precisely because of everything that can come from someone sentencing the future. And there you point out a key difference between then and now: making predictions has stopped being dangerous for prophets, and that’s a problem. We’ve talked about predictions that can cause harm, like the tool Instagram designed to predict which videos would go viral, at the expense of kids’ mental health. Or you mention the prediction an algorithm can make based on someone’s information—about the odds they’ll repay a loan—and depending on that, they either get approved or get denied health insurance because an algorithm says they have, I don’t know, a higher chance of having a heart attack. And you write this, word for word: “Although I don’t recommend killing the fortune-tellers, predictions that cause some kind of harm shouldn’t go without consequences for the prophets.” I love that dark humor, but I also sense there’s a real urgency running through this book—like you were driven by the need for us to see clearly. Is that right? Did it feel that way while you were writing it?

Carissa: Yes, totally. I think I’ve been living in England too long—the dark humor is rubbing off on me. But yes, because one of the patterns that caught my attention when I started studying the history of prophecies and prophets is how many prophets ended up thrown off a mountain, or something similar. And now what worries me is that there’s no cost at all to making prophecies. There are so many people making so many predictions all the time that everything gets forgotten. And if millions of people make predictions every day, someone’s going to get it right—but not because they can see the future. And then whoever gets it right becomes a kind of god, as if it were really because… no, it’s a statistical fact that, by coincidence, someone is going to get it right. And conversely, everyone who got it wrong and made incorrect predictions faces no consequences at all. And worst of all, the person who makes a prediction that ends up being correct—not because they saw a future that was already written, but because they created the reality they claimed to be predicting—and that prediction can harm people, can even end in death, and still faces no consequences. There’s nothing that makes them take responsibility for that act, because one of the dangers of predictions is that when they become self-fulfilling prophecies, they erase the traces they leave. In other words, they don’t create error signals. So, for example, imagine I have two people in front of me, both in need of medical resources, and I make a prediction that one of them is more likely to survive, so I give the medical resources to that person, and the other one dies. We’re never going to know whether the other person could have lived if they’d received those resources, precisely because they didn’t receive them. That data is never collected, and with that person’s death, the signals that might have told us we made the wrong decision die too. And there are thousands of examples just like that in how we decide whether someone gets a loan, a job, an apartment, or some other kind of opportunity.

Eliezer: AI models, as you describe in your book, are like prediction machines—systems fed with enormous amounts of information, promising to anticipate a future that, by definition, is uncertain. But this illusion, this promise, runs through everything in this era. It’s not just that language models are machines for predicting words, narratives, and stories, and algorithms are machines for predicting behavior—it’s that tech billionaires themselves have become machines for predicting the future: trips to Mars, the end of work. And we have problems with teen gambling addiction driven by prediction markets. At what point did it crystallize in your mind, this idea that prophecy—the idea that the future can be anticipated and reshaped—was the thread running through all these dimensions of reality? Why do you consider prediction to be the most important ethical problem of our time?

Carissa: Because we’re living, precisely, in a culture of prediction. As you say, it’s not just artificial intelligence, which is nothing more than a prediction machine. It’s how tech executives express themselves, how politicians express themselves, prediction markets, but also how experts express themselves. Part of it comes from experts, but part of it also comes from the culture itself, expressed by journalists too. So this book came to me from many different angles—it was really a convergence of elements. But one of them was that when I published Privacy Is Power and started doing interviews, almost every interview ended with a question about the future of privacy. As if the fact that I knew something about the present of privacy meant I had some knowledge of the future. That bothered me at first, and by around the hundredth interview, I was climbing the walls, and I said, “I’m going to write a book about this.” Because it’s an attitude of a lot of deference—saying, “I have nothing to do with the future, you’re the expert, tell me what the future of this is so I can adapt.” Instead of saying, “No, the future isn’t written, it depends on what I want and what I do, and you have nothing to say about the future of privacy. If you’re an expert, you can tell me something about the present, but the future is mine.”

Eliezer: I love that you say you started writing it in your head while doing interviews for your previous book, Privacy Is Power, because I feel like we haven’t grasped—and every time I think about this it makes me dizzy—how dangerous the information-processing power of artificial intelligence is, given the enormous amount of personal data companies collect with or without our consent. And you were just talking about it—now add Meta’s recording glasses, public cameras, drones, tracking our every move. In your work, you argue that privacy isn’t simply about having something to hide, but about power. What do we actually lose when a handful of companies know so much about us, and we know so little about how they use that information?

Carissa: We lose the ability to control our own lives, to be the owners of our own lives. So, another reason I wrote Prophecy is that when I wrote Privacy Is Power, I focused on the machinery of surveillance, which is worrying enough, and important enough for democracy, on its own. Historically, surveillance machinery has been something built by totalitarian regimes. This is the first time democracy and this level of surveillance have coexisted so uncomfortably. And I don’t think it’s a coincidence that democracy is going through its worst moments in decades at the same time that surveillance has increased. I think this coexistence is unsustainable, and we have to choose, to some extent: are we going to head toward totalitarian surveillance, or are we going to start defending democracy? And I wrote Prophecy because the machinery of surveillance exists to serve a machinery of prediction. In other words, we wouldn’t surveil if it weren’t to use that surveillance to predict and influence human behavior. And once you start to see that function more clearly, there are a lot of important lessons from history. Another thing that bothered me a lot, and that made me write the book, is—sometimes you write, in a way, looking for an antidote to the times we’re living in. There’s this idea that we’re living in unprecedented times, that AI is so new there’s nothing like it. In some ways that’s half true, but in a lot of other ways it isn’t. And when you look at AI as a prediction technology, you think, “Ah, look, it’s not so new.” We’ve used prediction for centuries, since the Oracle of Delphi and before, and even though the technology is different, the political role it plays is the same.

Eliezer: One of the most powerful and unsettling arguments in your book is that a prediction about a person, as we were saying, can end up shaping their future. How does this vicious cycle of self-fulfilling prophecies work? And what happens when a platform starts predicting who we are and what we deserve, without our consent?

Carissa: I’ve always been interested in mathematics, always found risk calculation and topics like that interesting. And one day I realized it’s astonishing that, even though we’ve used prediction for centuries, and there are thousands of books, articles, and scientific journals about how to predict, there wasn’t a book about the ethics of prediction—about the cases where maybe we shouldn’t make a prediction, even if we could. And one of those cases is when a prediction carries a very high risk of becoming a self-fulfilling prophecy that will be negative. So, for example, if my student asks me for a letter of recommendation, and in that letter I predict that this person isn’t going to have an academic career, I’ve just ruined their academic career, right there in that act. And that made me realize that predictions, even though they sound like descriptions of the world—like they’re describing what the world will be like in the future—when you analyze them from the perspective of philosophy of language, you realize they’re speech acts. This is a term from the philosopher J. L. Austin, and it basically means there are sentences that don’t describe the world but do something in the world—they’re an action. And this is especially true when the predictions are about human beings, and especially about an individual, because the individual bears the full weight of the prediction. So when you tell a student they’re going to fail, you dramatically increase the chances they will fail, because you’re not just influencing how they see themselves, you’re also influencing others’ expectations of them and how they treat them. There was a really interesting study I came across, where science students were given mice, and some were told they’d been given a smart mouse and others were told they’d been given a dumb mouse, and then they had to run some intelligence tests. And it turned out the “dumb” mice performed worse than the “smart” ones. How was that possible, when the mice were actually all the same? Because, of course, the students who’d been given the “smart” mouse treated it like a smart mouse—treated it better—and ended up getting better results. And that’s the danger of using predictive algorithms for everything: we end up judging people not based on who they are or what they’ve done, which is what justice demands, but based on what the algorithm thinks they’re going to do. And that’s unacceptable.

Eliezer: I love that you use this book by Austin, How to Do Things with Words, because it’s a great argument against the idea that “digital violence—well, you can just turn off your phone and step away from the screen.” Well, in some cases, no. Because when someone says another person is guilty—when a judge says it—they’re effectively performing a speech act, and they’re turning that person into someone guilty. That’s why a judge can’t get their sentence wrong. But that’s also a great way to read disinformation and virtual pile-on campaigns, for example, against certain public figures. Because even if it’s later shown to be disinformation, or the person is shown to have been innocent, it’s already defined their fate.

Carissa: Yes, and precisely because the consequences can be so serious, we tend to build accountability processes into society. So if a judge determines someone is guilty based on incorrect evidence, there are processes to challenge that decision, to show the evidence was wrong, to show what the correct evidence is, and to change that decision. But when a decision is based on a prediction, there’s no way to challenge it, because a prediction can never be a fact. This is very important: a prediction can never be a fact. By definition, facts belong to the present and the past. A prediction, at best, is a well-founded hypothesis waiting to be confirmed. But when you actually look at how predictions are used in the public sphere, you realize they’re often wishes, or marketing, or worse—power plays.

Eliezer: One last break, and we’ll be right back.

Eliezer: We’re back on El hilo.

Eliezer: One of the things that makes us angriest and feels most maddening is watching these tech billionaires make certain kinds of predictions about what AI can or can’t do, what it will or won’t be, and using it for marketing—saying things like, in a year, 20% of jobs will be replaced by artificial intelligence. And beyond making a series of predictions that are obviously harmful to humanity, what strikes me as crazy, or even violent, is that they disguise or present what they’re doing as actually saving humanity—as if they’re doing all of us a favor. And you get into this in your book—something listeners might not know much about—effective altruism. Basically, they do this because helping fund a certain technology’s development in the future will supposedly save humanity far more than addressing today’s problems. Can you explain a bit how that works?

Carissa: Yes, this ideology of effective altruism has been very influential in Silicon Valley, among other reasons because it justifies everything Silicon Valley does. I have a whole chapter on it, because it’s like the script running behind the scenes, even if we don’t always hear it spelled out. It comes from a very long tradition of utilitarians who have had enormous influence on how every state in the world justifies projects. The idea of cost-benefit analysis, for instance, comes from there. And although it has many valuable elements, when taken to its logical extreme, it can be incredibly harmful. And one of the most damaging and most popular ideas within effective altruism is longtermism. In one sense it makes sense, because we know from experience—politics, for example—that when we only focus on the short term, things don’t turn out well. But what these people mean by longtermism is thousands of years. So the idea is: in humanity’s future history, trillions of people will live, which means their interests matter more than ours, because those of us alive today are only billions. Which means the entire ideology is built on prediction. And if you take a more critical, more informed view of prediction and its limits, you see the whole house of cards collapse. Because this ideology has, in the past, tried to predict what would be most effective, over the following ten years, for helping the world’s poorest people—and it’s been remarkably unsuccessful. For example, they recommended deworming children as one of the most efficient health measures, and ten years later they realized it doesn’t help at all. And on top of that, they’d been so authoritarian in how they implemented the measure—not asking the children’s parents, giving kids the medicine at school without asking—that it had an incredibly damaging effect on society.

Eliezer: A little over a decade ago, a charity and Tanzania’s Ministry of Health carried out a school deworming campaign that, in one city, ended in a protest by parents and guardians, who went to the school to physically stop the medication from being given. No one had informed them or asked for authorization before giving the children the drugs, and the case sparked fears and conspiracy theories that turned into riots. For years, the organization responsible for that program received millions of dollars in effective-altruism-linked funding, and in the end, an analysis of the evidence showed it wasn’t improving people’s lives.

Carissa: So if these people got it wrong predicting what the world would look like in ten years, are they now predicting what the world will look like in a thousand years? And of course, what they do is argue that, since there are going to be trillions of people, reducing—even by a billionth of a fraction—the risk of something bad happening with artificial intelligence has far more impact than saving the billions of people who might be struggling today. And I find that appalling. It seems to me like sacrificing the person in front of you for a hypothetical person in the future, in a very hypothetical world that’s supposed to unfold according to your predictions—predictions you’ve gotten wrong every other time you’ve made them.

Eliezer: Carissa, despite privacy scandals, cases like Cambridge Analytica, threats to democracy, the fueling of violence, and ever-growing evidence of the harm these platforms cause, we’re still dependent on a very small number of companies to communicate, to stay informed, to connect with one another. When we see things like the accusations against Meta for deliberately harming children’s mental health, it’s hard not to think about how we’ve allowed a handful of people who market themselves as the prophets of our time to be in a position to wreck so many people’s chances at a future. Why do our societies seem unable, or maybe unwilling, to take power away from these companies?

Carissa: Life is a struggle, and democracy is always a fragile balance we have to win back and protect, day after day. It’s a battle that’s never fully won. So it’s a bit like a pendulum, right? We’re at a moment when the culture of prediction has gained a lot of ground, but the battle isn’t lost, and that’s all the more reason we have to face the challenge in front of us today. Interestingly, our times look a lot like ancient Greece and ancient Rome, and their emphasis on divination and oracles and all of that. And part of the antidote back then was philosophy—not academic philosophy, but philosophy as critical thinking. The Socrateses, the Platos, the Aristotles, who—not by coincidence—were accused of impiety, of not believing in the Greek gods. They were the voice of reason in the middle of this whole culture of myth, and I think we need to go back to that. It’s a moment to go back to basics, to ask questions, to take responsibility for our future, to not be afraid of uncertainty. Uncertainty is the best news you’ll get all week, because if you knew exactly where you’d be in a week, you’d probably be in jail. It’s wonderful not knowing what the world will look like in a year, because it means we can influence the world—that, in part, the future will be whatever we build. And yes, we depend on these companies, but we don’t have to depend on them so much. So, for example, if you’re using WhatsApp, use Signal instead. It’s free, it works just as well, and once your friends and family download it, you really don’t need WhatsApp for much else. There are plenty of alternatives out there. The world never stops surprising us. And what we need to do is face these challenges with enthusiasm, with hope, with creativity. Part of what actually gives me hope is that these models work really badly. It’s a garbage product, and that means there’s a huge opportunity there.

So even though the challenge is, of course, titanic, I think there are far more reasons to be optimistic. And it’s strange, because when I wrote Privacy Is Power, I was the bad cop, right? Everyone was really excited about technology, and I was like, well, hold on, this is pretty totalitarian. And now that everyone is really disillusioned and seeing everything as bleak, I say, wait, there are a lot of reasons to be optimistic. And one of them is books. Despite artificial intelligence, and despite being sold as the cutting edge of technology, I think it works terribly. And the book is a technology we’ve refined over thousands and thousands of years, and it remains, by far, the best technology for transmitting deep knowledge, complex arguments, and human experience.

Eliezer: Now, something you also talk about in your book, which I think is fundamental, is that a lot of this need for prediction, for anticipation, has to do with fear—that uncertainty generates fear in us, generates insecurity. And so you say, “Well, for me, the best news is that uncertainty is possible.” How do you keep uncertainty from always coming bundled with fear?

Carissa: My mom always tells me life is an adventure, and I think, in part, cultivating courage also has to do with cultivating curiosity—being curious about the world, and trusting that our ancestors lived through far darker times. Yesterday I was talking about someone like Karl Popper, a philosopher of science who lived through World War II and who was very aware that the future isn’t predictable. And yet, as a result of that trauma, he decided not to have children because the world was in such a dark moment. And what I find incredible is that the children born around 1945, 1949 or so, turned out to be the luckiest generation in all of human history. So, to face fear, it also helps a lot to dance, to have music, food, affection, physical touch, to look after and take care of each other, to be joyful. And also to read. Reading is essential, because if we stop reading, we lose historical perspective. You forget that your grandparents managed to survive unimaginable things, and if they could, you can too. And we also forget things about knowledge—about how to run a society. It’s happened before in history that by no longer reading, we lose vital knowledge for centuries, knowledge we then have to reinvent. For example, knowledge of how to build sanitation systems—we lost it for centuries, and thousands, hundreds of thousands, even millions of deaths resulted from losing that knowledge. So we need to anchor ourselves in our cultures, and Latin American culture is wonderful at reminding us that we are analog beings—that no matter how far technology advances, digital water will never quench your thirst, because it isn’t water.

Eliezer: Carissa Véliz, thank you so much for taking a few minutes to talk with us.

Carissa: Thank you for having me. It’s been a pleasure.

Jesús Delgadillo: This episode was produced by me, Jesús Delgadillo. It was edited by Eliezer and Daniela Cruzat. Bruno Scelza did the fact-checking. Sound design and music are by Elías González.

El hilo’s production team also includes Samantha Proaño and Franklin Villavicencio, with art and design by Diego Corzo. The rest of the team includes Natalia Ramírez, Paola Alean, Camilo Jiménez Santofimio, Elsa Liliana Ulloa, Silvia Viñas, and Daniel Alarcón. Carolina Guerrero is the CEO of Radio Ambulante Studios. Our theme music was composed by Pauchi Sasaki.

El hilo is a podcast from Radio Ambulante Studios. If you value independent, rigorous journalism, we invite you to join our membership program. Latin America is a complex region, and our journalism needs listeners like you. Visit elhilo.audio/donar to make a donation.

If you’d like to dig deeper into today’s episode, subscribe to our newsletter at elhilo.audio/boletin. We send it out every Friday.

You can also follow us on social media. We’re on Instagram, X, BlueSky, Facebook, and Threads. Find us as @elhilopodcast. Leave us your comments there, and tag us when you share the episodes.

Thanks for listening,