Incidentes Asociados
No existe una manera fácil de explicar la suma del conocimiento de Google. Está en constante expansión. Sin fin. Una red en crecimiento de cientos de miles de millones de sitios web, más datos de los que podrían almacenar incluso 100.000 de los iPhones más caros combinados. Pero ahora mismo puedo decir esto: Google está confundido acerca de si hay un país africano que comienza con la letra k.
Le pedí al motor de búsqueda que le pusiera un nombre. “¿Qué es un país africano que comienza con K?” En respuesta, el sitio ha producido un “fragmento destacado”, uno de esos fragmentos de texto que puedes leer directamente en la página de resultados, sin tener que navegar a otro sitio web. Comienza así: "Si bien hay 54 países reconocidos en África, ninguno de ellos comienza con la letra 'K'".
Esto está mal. El texto continúa: “El más parecido es Kenia, que comienza con el sonido 'K', pero en realidad se escribe con el sonido 'K'. Siempre es interesante aprender nuevos datos triviales como este”.
Dado lo absurda que es esta respuesta, es posible que no le sorprenda saber que el fragmento fue escrito originalmente por ChatGPT. Pero puede que le sorprenda cómo se convirtió en una respuesta destacada en la principal base de conocimientos de Internet. El motor de búsqueda está extrayendo esta propaganda de una publicación de un usuario en Hacker News, un foro de mensajes en línea sobre tecnología, que a su vez cita un sitio web llamado [Emergent Mind](https://www.emergentmind.com/posts/did-you -saber-que-no-hay-ningún-país-en-áfrica-eso), que existe para enseñar a la gente sobre la IA, incluidos sus defectos. En algún momento, los rastreadores de Google eliminaron el texto y ahora su algoritmo automáticamente presenta la respuesta sin sentido del chatbot como un hecho, con un enlace a la discusión de Hacker News. . El error de Kenia, por improbable que sea que un usuario lo encuentre, no es un caso aislado: encontré la respuesta por primera vez en un twitt viral de el periodista Christopher Ingraham el mes pasado, y Futurism informó sobre esto ya en agosto. (Cuando Ingraham y Futurism lo vieron, Google estaba citando esa publicación inicial de Emergent Mind, en lugar de Hacker News).
En pocas palabras, este es el desafío existencial actual de Google: la compañía ha entrado en la era de la IA generativa con un motor de búsqueda que parece más complejo que nunca. Y, sin embargo, todavía puede ser requisado por basura que no es cierta o incluso simplemente sin sentido. Las funciones más antiguas, como los fragmentos, pueden absorber una escritura de IA defectuosa. Nuevas características como la propia herramienta de IA generativa de Google, algo así como un chatbot, pueden producir una escritura de IA defectuosa. Google nunca ha sido perfecto. Pero esto puede ser lo menos confiable que jamás haya sido para hechos claros y accesibles.
En una declaración en respuesta a numerosas preguntas, un portavoz de la empresa dijo, en parte: "Construimos la búsqueda para mostrar información de alta calidad de fuentes confiables, especialmente en temas donde la calidad de la información es de vital importancia". Agregaron que “cuando surgen problemas (por ejemplo, resultados que reflejan inexactitudes que existen en la web en general), trabajamos en mejoras para una amplia gama de consultas, dada la escala de la web abierta y la cantidad de búsquedas que vemos todos los días. .”
La gente ha confiado en el motor de búsqueda como una especie de omnisciente, constantemente enciclopedia actualizada. ¿Estás viendo La amenaza fantasma y tratando de descubrir quién le da voz a Jar Jar Binks? Ahmed Mejor. ¿No recuerdas cuándo fue la última vez que los New York Jets ganaron el Super Bowl? 1969. Una vez tenías que hacer clic en sitios independientes y leer para obtener respuestas. Pero desde hace muchos años, Google ha presentado "fragmentos" de información directamente en sus búsquedas. página, con un enlace a su fuente, como en el ejemplo de Kenia. Su función de IA generativa va aún más lejos, mostrando una respuesta original personalizada justo debajo de la barra de búsqueda, antes de que se le ofrezca ningún enlace. En algún momento en el futuro cercano, usted puede preguntarle a Google por qué la inflación en Estados Unidos es tan alta, y el robot responderá esa pregunta por usted, vinculando el lugar donde obtuvo esa información. (Puede probar las aguas ahora si opta por las [funciones experimentales de “Labs”] de la empresa (https://labs.google/sge/).)
La desinformación o incluso la desinformación en los resultados de búsqueda ya era un problema antes de la IA generativa. En 2017, The Outline señaló que una vez un fragmento afirmaba con confianza [que Barack Obama era el rey de Estados Unidos](https://theoutline.com/post/1192/google-s-featured-snippets-are-worse-than- noticias falsas). Como muestra el ejemplo de Kenia, las tonterías de la IA pueden engañar a los algoritmos de fragmentos antes mencionados. Cuando lo hace, la basura se eleva sobre un pedestal y obtiene una ubicación VIP por encima del resto de los resultados de búsqueda. Esto es lo que ha preocupado a los expertos desde el lanzamiento de ChatGPT: información falsa presentada con seguridad como un hecho, sin ningún indicio de que pueda ser totalmente errónea. El problema es “la forma en que se presentan las cosas al usuario, que es aquí está la respuesta”, me dijo Chirag Shah, profesor de información e informática en la Universidad de Washington. “_No es necesario que sigas las fuentes. Sólo le daremos el fragmento que respondería a su pregunta. ¿Pero qué pasa si ese fragmento se saca de contexto?
Google, por su parte, no está de acuerdo con que la gente se deje engañar tan fácilmente. Pandu Nayak, vicepresidente de búsqueda que dirige los equipos de calidad de búsqueda de la empresa, me dijo que los fragmentos están diseñados para ser útiles para el usuario y mostrar resultados relevantes y de alto calibre. Sostuvo que “normalmente son una invitación a aprender más” sobre un tema. Respondiendo a la idea de que Google tiene incentivos para evitar que los usuarios abandonen la navegación, añadió que “no tenemos ningún deseo de mantener a la gente en Google. Eso no es un valor para nosotros”. Es una “falacia”, dijo, pensar que la gente sólo quiere encontrar un solo hecho sobre un tema más amplio y marcharse.
El resultado de Kenia todavía aparece en Google, a pesar de las publicaciones virales al respecto. Ésta es una elección estratégica, no un error. Si un fragmento viola la política de Google (por ejemplo, si incluye discurso de odio), la empresa interviene manualmente y lo suprime, dijo Nayak. Sin embargo, si el fragmento es falso pero no viola ninguna política ni causa daño, la empresa no intervendrá. En cambio, Nayak dijo que el equipo se centra en el problema subyacente más grande y en si su algoritmo puede entrenarse para abordarlo.
La optimización de motores de búsqueda, o SEO, es un gran negocio. La ubicación privilegiada en la página de resultados de Google puede significar una gran cantidad de tráfico web y muchos ingresos por publicidad. Si Nayak tiene razón, y la gente sigue siguiendo enlaces incluso cuando se les presenta un fragmento, cualquiera que quiera ganar clics o dinero a través de la búsqueda tiene un incentivo para capitalizar eso, tal vez incluso [inundando la zona](https://www. .theatlantic.com/technology/archive/2023/03/ai-chatgpt-writing-language-models/673318/) con contenido escrito por IA. Nayak me dijo que Google planea combatir el spam generado por IA tan agresivamente como lucha contra el spam normal, y afirmó que la compañía mantiene alrededor del 99 por ciento del spam fuera de los resultados de búsqueda.
Mientras Google lucha contra las tonterías de la IA generativa, también corre el riesgo de producir la suya propia. He estado haciendo una demostración de la “experiencia generada por búsqueda” impulsada por la IA generativa de Google, o lo que llama SGE, en mi navegador Chrome. Al igual que los fragmentos, proporciona una respuesta intercalada entre la barra de búsqueda y los enlaces que siguen, excepto que esta vez la respuesta la escribe el robot de Google, en lugar de citarla de una fuente externa.
Recientemente le pregunté a la herramienta sobre una historia de bajo riesgo que he estado siguiendo de cerca: el divorcio del cantante Joe Jonas y la actriz Sophie Turner. Cuando pregunté por qué se separaron, la IA comenzó con firmeza, citando la declaración oficial de la pareja. Pero luego transmitió un rumor de fuente anónima en Us Weekly como un hecho: "Turner dijo que Jonas era demasiado controlador", me dijo. Turner no ha comentado públicamente eso. La función de IA generativa también produjo una versión de la respuesta confusa sobre Kenia: "No hay países africanos que comiencen con la letra 'K'", escribió. "Sin embargo, Kenia es uno de los 54 países de África y comienza con el sonido 'K'".
El resultado es un mundo que se siente más confuso, no menos, como resultado de la nueva tecnología. "Es un mundo extraño donde estas grandes empresas piensan que simplemente van a colocar esta basura generativa en la parte superior de los resultados de búsqueda y esperan mantener la calidad de la experiencia", dijo Nicholas Diakopoulos, profesor de estudios de comunicación y informática en la Universidad Northwestern, me dijo. “Me sorprendí empezando a leer los resultados generativos y luego me detengo a mitad de camino. Yo digo: "Espera, Nick". No puedes confiar en esto_ ”.
Google, por su parte, señala que la herramienta aún se está probando. Nayak reconoció que algunas personas pueden simplemente mirar un resultado de búsqueda de SGE "superficialmente", pero argumentó que otros buscarán más. Actualmente, la compañía no permite que los usuarios activen la herramienta en ciertas áreas temáticas que potencialmente están cargadas de información errónea, dijo Nayak. Le pregunté al robot si las personas deberían usar máscaras faciales, por ejemplo, y no generó una respuesta.
Los expertos con los que hablé tenían varias ideas sobre cómo las empresas de tecnología podrían mitigar los posibles daños de depender de la IA en las búsquedas. Para empezar, las empresas de tecnología podrían volverse más transparentes en cuanto a la IA generativa. Diakopoulos sugirió que podrían publicar información sobre la calidad de los hechos proporcionados cuando las personas hacen preguntas sobre temas importantes. Pueden utilizar una técnica de codificación conocida como “generación de recuperación aumentada” o RAG, que le indica al robot que coteje su respuesta con lo que se publica en otros lugares, lo que esencialmente le ayuda a autoverificar los hechos. (Un portavoz de Google dijo que la compañía utiliza técnicas similares para mejorar su producción). Podrían abrir sus herramientas a los investigadores para realizar pruebas de estrés. O podrían agregar más supervisión humana a sus productos, tal vez invirtiendo en esfuerzos de verificación de hechos.
Sin embargo, la verificación de hechos es una propuesta complicada. En enero, la empresa matriz de Google, Alphabet, despidió aproximadamente al 6 por ciento de sus trabajadores, y el mes pasado, la empresa recortó al menos 40 puestos de trabajo en su división Google News. Este es el equipo que, en el pasado, trabajó con [organizaciones de verificación de datos profesionales para agregar verificaciones de datos a los resultados de búsqueda](https://www.bloomberg.com/news/articles/2017-04-07/google -trae-verificación-de-hechos-de-noticias-falsas-a-los-resultados-de-búsqueda). No está claro exactamente quién fue despedido y cuáles eran sus responsabilidades laborales: Alex Heath, en The Verge, informó que [los principales líderes estaban entre los despedidos] (https://www.theverge.com/2023/10/20/23925712 /google-reckoning-layoffs-command-line), y Google se negó a darme más información. Ciertamente sugiere que Google no está invirtiendo más en sus asociaciones de verificación de datos mientras construye su herramienta de inteligencia artificial generativa.
Un portavoz me dijo en un comunicado que la empresa está "profundamente comprometida con un ecosistema de información vibrante, y las noticias son parte de esa inversión a largo plazo... Estos cambios no tienen ningún impacto en nuestro trabajo de desinformación y calidad de la información". En un mensaje de seguimiento, otro portavoz también señaló actualizaciones como una herramienta de verificación de imágenes que ofrece más contexto sobre los resultados de búsqueda. Aun así, Nayak reconoció lo desalentadora que es la tarea de verificación de datos basada en humanos para una plataforma de la extraordinaria escala de Google. El quince por ciento de las búsquedas diarias son aquellas que el motor de búsqueda no ha visto antes, me dijo Nayak. "Con este tipo de escala y este tipo de novedad, no tiene sentido que podamos seleccionar los resultados manualmente". Crear una enciclopedia infinita, en gran medida automatizada y aún precisa parece imposible. Y, sin embargo, esa parece ser la dirección estratégica que está tomando Google.
Quizás algún día estas herramientas se vuelvan más inteligentes y puedan verificarse por sí mismas. Hasta entonces, las cosas probablemente se pondrán más raras. Esta semana, por diversión, decidí pedirle a la herramienta de búsqueda generativa de Google que me dijera quién es mi marido. (No estoy casado, pero cuando empiezas a escribir mi nombre en Google, normalmente sugiere buscar "marido de Caroline Mimbs Nyce"). El robot me dijo que estoy casado con mi propio tío y me vinculó al obituario de mi abuelo como evidencia—que, para que conste, no establece que esté casada con mi tío.
Un representante de Google me dijo que este era un ejemplo de búsqueda de “premisa falsa”, [un tipo que se sabe que hace tropezar el algoritmo](https://www.theverge.com/2022/8/11/23300668/ google-search-featured-snippets-update-false-premises-consensus-resultados). Si estuviera tratando de salir conmigo, argumentó, no se limitaría a la respuesta generada por IA dada por el motor de búsqueda, sino que haría clic en el enlace para verificarlo. Esperemos que otros sean igualmente escépticos ante lo que ven.