Problema 2850

Unos días después de que Google y Microsoft anunciaran que entregarían resultados de búsqueda generados por chatbots (software artificialmente inteligente capaz de producir prosa increíblemente humana), me preocupaba que nuestros nuevos ayudantes de IA [no son de fiar](https:// www.businessinsider.com/ai-chatbots-chatgpt-google-bard-microsoft-bing-break-internet-search-2023-2). Después de todo, los propios investigadores de inteligencia artificial de Google habían advertido a la compañía que los chatbots serían "[loros estocásticos] (https://dl.acm.org/doi/10.1145/3442188.3445922)" (probablemente graznarán cosas que son incorrectas, estúpidas o ofensivo) y "propenso a alucinar" (susceptible de inventar cosas). Los bots, basados en lo que se conoce como grandes modelos de lenguaje, "están entrenados para predecir la probabilidad de las expresiones", escribió el año pasado un equipo de DeepMind, la compañía de inteligencia artificial propiedad de Alphabet, en una presentación sobre los riesgos de los LLM. "Sin embargo, si una oración es probable o no, no indica de manera confiable si la oración también es correcta".

Estos chatbots, en otras palabras, no son realmente inteligentes. Son unos tontos mentirosos.

No pasó mucho tiempo para que los propios chatbots probaran el punto. Un anuncio de la semana pasada para el bot de Google, Bard, mostró que obtuvo una [respuesta incorrecta a una pregunta](https://markets.businessinsider.com/news/stocks/google-alphabet-stock-ai-bard-chatgpt-report- ad-respuesta-inexacta-2023-2); la valoración de las acciones de la empresa recibió un golpe multimillonario. Mientras tanto, las respuestas que el bot de Bing, Sydney, dio en su demostración abierta [no han podido resistir ni siquiera las verificaciones de hechos rudimentarias] (https://dkb.blog/p/bing-ai-cant-be-trusted).

¡Eso parece malo! La búsqueda en línea ya era una batalla incesante contra el spam, el galimatías optimizado para motores de búsqueda, y las necesidades de los anunciantes. Sin embargo, los motores de búsqueda eran una mitzvá social. Trajeron orden al caótico espacio de datos de Internet y se ubicaron en algún lugar entre la información y el conocimiento, ayudándonos a transducir uno en el otro. Hemos aprendido a confiar en ellos.

Y así fue como nos atraparon. Los chatbots son motores de mierda creados para decir cosas con una certeza incontrovertible y una falta total de experiencia. No es de extrañar que la élite tecnológica los llame en broma "mansplaining as a service". Y ahora van a estar impulsando la forma principal en que los humanos adquieren conocimiento día a día.

Entonces, ¿por qué compramos su mierda? Aunque sabemos desde el principio que nuestros nuevos bibliotecarios robóticos tienen fallas profundas, los usaremos millones y millones de veces por hora y tomaremos medidas en función de las respuestas que nos den. ¿Qué es lo que hace que los seres humanos confíen en una máquina que sabemos que no es confiable?

Para ser honesto, nadie sabe realmente por qué alguien cree cualquier cosa. Después de milenios de debate, los principales filósofos, psicólogos y neurocientíficos del mundo ni siquiera se han puesto de acuerdo sobre un mecanismo de por qué las personas llegan a creer cosas, o qué son las creencias. Así que es difícil saber cómo funcionan o por qué una cosa es más creíble que otra. Pero tengo algunas especulaciones sobre por qué vamos a caer en la trampa de ChatGPT. A los humanos nos encanta un estafador astuto con credenciales que suenan impresionantes. Y los bots solo se volverán más sofisticados para engañarnos.

Figuras de autoridad

En las últimas dos décadas se ha investigado mucho [por qué la gente cree en la información errónea] (https://spssi.onlinelibrary.wiley.com/doi/abs/10.1111/sipr.12077). La mayor parte de ese trabajo asumió que nos encontraríamos principalmente con ficción que se presenta como un hecho en forma de propaganda o redes sociales. Pero eso está a punto de cambiar. La información errónea ahora estará incrustada en los motores de búsqueda que usamos. Y una publicación de Facebook tiene mucha menos credibilidad que una respuesta a una pregunta que buscaste en Google.

Ahora bien, no todas las creencias se sostienen firmemente, ni siquiera se basan en pruebas. Entonces, tal vez la gente trate las respuestas de los chatbots de la misma manera que tratamos cualquier información nueva. Joe Vitriol, un politólogo de la Universidad de Lehigh que estudia la desinformación, dice que espera que las personas "acepten su producción de una manera sesgada o interesada, como lo hacen con cualquier otra fuente de información". En otras palabras, las personas creerán en un chatbot si les dice cosas que concuerdan con sus creencias y opiniones existentes, tal como lo hacen con los resultados tradicionales de Google. No importará si el chatbot está diciendo la verdad o alucinando.

El empaque de esas respuestas, en párrafos no muy diferentes del que está leyendo, pero con el visto bueno de Google, podría inclinar la balanza aún más hacia la credulidad. Queremos que los resultados de Google sean ciertos, porque consideramos a Google como un árbitro de confianza, si no como una autoridad. "Los usuarios ingenuos pueden asumir que el bot tiene una credibilidad que los actores humanos no tienen", dice Vitriol. "Me pregunto si la gente será particularmente probable que descuide o descarte la posibilidad de que el bot, especialmente en su forma actual, sufra los mismos sesgos y errores de razonamiento que los humanos".

Aquí es donde sospecho que la capacidad de un chatbot para generar prosa, a diferencia de una lista de enlaces útiles, se vuelve peligrosa. Las personas transmiten creencias socialmente, a través del lenguaje. Y cuando muchos de nosotros compartimos un sistema de creencias, formamos un grupo más cohesionado y armonioso. Pero ese es un sistema hackeable. Porque las ideas que se comunican bien (utilizando las palabras, la redacción y el tono correctos) pueden parecer más convincentes. Los bots usan el "yo" en primera persona, aunque no haya ninguna persona. Para un lector casual, las respuestas de Bard y Sydney parecerán lo suficientemente humanas, y eso significa que se sentirán mucho más ciertas.

El poder de la historia

Otra posible explicación de por qué somos fanáticos de los chatbots es que somos fanáticos de la explicación. En algún nivel humano básico, es muy, muy satisfactorio cambiar el desconcierto por la certeza. Nos hace sentir inteligentes y en control de cosas sobre las que no tenemos control.

El problema es que realmente no sabemos qué hace que la gente se deje engañar por una explicación u otra. Algunas investigaciones sugieren que las explicaciones con más poder son aquellas que son [más simples y de mayor aplicación] (http://dx.doi.org/10.1016/j.tics.2016.08.001). Otra investigación ha indicado que si se les da a elegir, es más probable que las personas crean historias que contienen más detalles. (Kieran Healy, sociólogo de la Universidad de Duke, escribió un artículo denunciando nuestra tendencia a complicar demasiado las cosas; lo tituló "Fuck Nuance"). Y un metaanálisis de 61 artículos a lo largo de cinco décadas de investigación encontró que el contexto es lo que más importa. En áreas emocionales, una dosis de narración hace que una explicación sea más creíble. En asuntos menos personales, como las políticas públicas, la gente prefiere tener hechos sin adornos narrativos.

Los chatbots son motores de mierda creados para decir cosas con certeza incontrovertible y una falta total de experiencia.

"No creo que haya ningún consenso sobre lo que hace que una explicación sea atractiva", dice Duncan Watts, sociólogo que imparte un curso en la Universidad de Pensilvania. Y eso, ten en cuenta, es de un tipo que enseña un curso llamado Explicación de explicaciones.

Pero sea lo que sea ese cierto je ne sais quoi, los chatbots de IA parecen tenerlo. Solo unos días antes de que Google y Microsoft anunciaran su botificación inminente, un equipo de científicos sociales de Stanford [publicó una preimpresión fascinante] (https://osf.io/stakv/). Mostraron a miles de personas artículos breves y persuasivos sobre temas candentes como la prohibición de armas de asalto y los impuestos al carbono. Algunas versiones fueron escritas por un chatbot GPT-3; otros por un humano. Luego, los científicos midieron cuánto cambiaba la gente de opinión basándose en los artículos.

Resulta que los mensajes generados por IA fueron tan convincentes como los humanos. Pero la parte salvaje es por qué. Cuando los investigadores interrogaron a sus sujetos humanos, aquellos que preferían los artículos de chatbot dijeron que los mensajes artesanales creados por humanos se basaban demasiado en anécdotas e imágenes. GPT-3 estaba más basado en evidencia y bien razonado. La misma cualidad que hizo que el robot fuera menos humano hizo que los humanos fueran más propensos a creerlo. Al igual que sus antepasados de "Terminator", los chatbots no sintieron lástima, remordimiento o miedo. Y absolutamente no se detuvieron, nunca, hasta que los sujetos humanos estuvieron convencidos.

Bastardo perezoso

Entonces los chatbots mentirán y se equivocarán. Mi mayor preocupación es que los usuarios de Google y Bing lo sepan y simplemente no les importe. Una teoría de por qué se propaga la desinformación y las noticias falsas es que las personas son [totalmente perezosas] (https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(21)00051-6). Compran cualquier cosa que venda una fuente confiable. Si los chatbots lo hacen bien la mayor parte del tiempo, eso es suficiente. Hasta que, digamos, su vuelo en realidad no sale a esa hora de ese aeropuerto. O tu casa se incendia porque instalaste mal un interruptor de luz.

Hace unas semanas, le pedí ayuda a Watts, el sociólogo, con una historia sobre por qué la gente cree [teorías de conspiración excéntricas] (https://www.businessinsider.com/why-people-believe-conspiracy-theory-overconfidence-2023 -1). Me sugirió que leyera un artículo de hace 25 años de Alison Gopnik, psicóloga de la Universidad de California en Berkeley, llamado "[Explicación como orgasmo] (https://link.springer.com/article/10.1023/A:1008290415597 )."

Gopnik es mejor conocida por su trabajo sobre la psicología del desarrollo de los niños. Ella dice que los niños pequeños crean modelos mentales del mundo utilizando observaciones para probar hipótesis, el método científico, esencialmente. Pero en su artículo sobre explicaciones, Gopnik sugiere que los humanos tienen dos sistemas para descubrir cómo funciona el mundo. Una es para preguntarse por qué las cosas son como son: un "sistema hmm", por así decirlo. El otro es para desarrollar explicaciones, un "sistema ajá". Al igual que nuestros sistemas biológicos para la reproducción y el orgasmo, dice Gopnik, los dos sistemas cognitivos están relacionados pero separados. Podemos hacer uno sin hacer el otro. El segundo se siente bien, y es una recompensa por hacer el primero.

Pero el sistema aha es engañoso. Las experiencias psicodélicas pueden inducir una sensación de que "todo tiene sentido", incluso si no producen una explicación articulable de cómo. Los sueños también pueden hacerlo. Es por eso que cuando te despiertas a las 3 a. m. y te escribes una nota para recordar alguna idea brillante que se te ocurrió mientras dormías, tus garabatos no tienen sentido a la mañana siguiente.

En otras palabras, la sensación de tener algo que parece una explicación puede sentirse tan bien que puede abrumar la parte de nuestra mente que tenía la pregunta en primer lugar. Confundimos una respuesta con la respuesta.

No se supone que sea así. En 1877, un filósofo llamado William Clifford escribió un artículo llamado "La ética de la creencia" en el que argumenta que la creencia debe provenir de una investigación paciente, no solo de la supresión de la duda. Nuestras ideas son propiedad común, insiste, una "reliquia familiar" que se transmite a las generaciones posteriores. Es "un privilegio espantoso y una responsabilidad espantosa que podamos ayudar a crear el mundo en el que vivirá la posteridad".

La tentación de eludir esa responsabilidad es poderosa. Clifford, como Gopnik, entendió que las explicaciones se sienten bien incluso cuando están equivocadas. "Es el sentido de poder unido a un sentido de conocimiento lo que hace que los hombres deseen creer y teman dudar", argumenta Clifford. Sea testigo de la carrera para explicar todos los objetos no identificados que están siendo derribados sobre Saskatchewan. Es mejor creer en extraterrestres que vivir con miedo a lo desconocido.

Clifford ofrece un antídoto para esta tentación. Su respuesta es básicamente: Hoy no, Satanás. “La sagrada tradición de la humanidad”, dice, “no consiste en proposiciones o afirmaciones que deban ser aceptadas y creídas sobre la autoridad de la tradición, sino en preguntas formuladas correctamente, en concepciones que nos permiten hacer más preguntas y en los métodos de respuesta a las preguntas".

Los bots nos ofrecerán respuestas fáciles. Solo tenemos que recordar que eso no es lo que deberíamos estar pidiendo.