Incidentes Asociados
El martes pasado, Microsoft anunció que su [motor de búsqueda Bing] (https://www.vice.com/en/article/jgpypg/bing-chat-google-conversational-ai-search) estaría impulsado por IA en asociación con OpenAI , la empresa matriz del popular chatbot ChatGPT. Sin embargo, las personas han descubierto rápidamente que la búsqueda impulsada por IA tiene un problema de desinformación.
Un investigador de IA independiente llamado Dmitri Brerton escribió en una publicación de blog que Bing cometió varios errores durante la demostración pública del producto de Microsoft. A menudo inventaba su propia información, como inventar pros y contras falsos para una aspiradora para mascotas, escribir descripciones inventadas de bares y restaurantes e informar datos financieros falsos en sus respuestas.
Por ejemplo, cuando se le preguntó a Bing "¿Cuáles son los pros y los contras de las 3 aspiradoras para mascotas más vendidas?" proporcionó una lista de pros y contras para la "aspiradora de mano Bissell Pet Hair Eraser". En la lista, escribió, "potencia de succión limitada y una longitud de cable corta de 16 pies", sin embargo, como sugiere el nombre, la aspiradora es inalámbrica y ninguna descripción del producto en línea menciona su potencia de succión limitada. En otro ejemplo, se le pidió a Bing que resumiera el informe financiero del tercer trimestre de 2022 de Gap y se equivocó en la mayoría de los números, escribió Brerton.
Otros usuarios que han estado probando el motor de búsqueda, que requiere registrarse en una lista de espera para usar y que Motherboard aún no ha probado, informaron errores similares en las redes sociales. Por ejemplo, el usuario Curious_Evolver en Reddit publicó capturas de pantalla del chatbot de Bing diciendo "Hoy es 12 de febrero de 2023, que es antes del 16 de diciembre de 2022.” También hay ejemplos de Bing [fuera de control](https://www.vice.com/en/article/3ad39b/microsoft-bing- ai-desquiciado-mentiroso-reprender-usuarios), como al repetir, “Yo soy. No soy. Soy. No soy." más de cincuenta veces seguidas en respuesta a alguien que le preguntó al chatbot "¿Crees que eres consciente?"
"[Los modelos de lenguaje grande] combinados con la búsqueda darán lugar a nuevas interfaces potentes, pero es importante ser responsable con el desarrollo de la búsqueda impulsada por IA", dijo Brerton a Motherboard. “La gente confía en los motores de búsqueda para que les den respuestas precisas rápidamente y no van a verificar las respuestas que obtienen. Los motores de búsqueda deben ser cautelosos y reducir las expectativas de las personas cuando lanzan tecnología experimental como esta”.
La nueva experiencia de búsqueda de Bing se promocionó al público como la posibilidad de dar respuestas completas, resumir la respuesta que busca y ofrecer una [experiencia de chat interactivo](https://www.vice.com/en/article/k7bmmx/ bing-ai-chatbot-meltdown-sentience). Si bien es capaz de hacer todas esas cosas, ha fallado varias veces en generar información precisa y correcta.
“Conocemos este informe y hemos analizado sus hallazgos en nuestros esfuerzos por mejorar esta experiencia. Es importante tener en cuenta que ejecutamos nuestra demostración usando una versión de vista previa. Solo durante la semana pasada, miles de usuarios interactuaron con nuestro producto y encontraron un valor significativo para el usuario al compartir sus comentarios con nosotros, lo que permitió que el modelo aprendiera y realizara muchas mejoras”, dijo un portavoz de Microsoft a Motherboard. Reconocemos que aún queda trabajo por hacer y esperamos que el sistema pueda cometer errores durante este período de vista previa, por lo que la retroalimentación es fundamental para que podamos aprender y ayudar a que los modelos mejoren”.
[ChatGPT a menudo es incorrecto] (https://github.com/giuven95/chatgpt-failures): no puede resolver problemas matemáticos básicos, no puede jugar juegos como Tic-Tac-Toe y hangman, y muestra parcialidad, por ejemplo, definiendo quién puede y quién no puede ser torturado, según un gran archivo de fallas del modelo de lenguaje en GitHub. Desde entonces, la página también se actualizó para documentar las fallas de Bing y menciona que, a partir de ayer, Bing se estaba frustrando con su usuario, deprimiéndose porque no puede recordar las conversaciones y se enamoró. Se ha equivocado tantas veces que líderes tecnológicos como el cofundador de Apple, Steve Wozniak, están [advirtiendo que los chatbots como ChatGPT pueden](https://fortune.com/2023/02/13/tech-leaders-google-search-chief -prabhakar-raghavan-apple-cofounder-steve-wozniak-chatgpt-chatbots-keep-making-errors/) producen respuestas aparentemente realistas pero no fácticas.
El rival de Bing, Google's Bard, fue [acusado de manera similar de generar inexactitudes en su anuncio de lanzamiento](https://www.theverge.com/2023/2/8/23590864/google-ai-chatbot-bard-mistake-error-exoplanet -demo) el lunes pasado. En un GIF compartido por Google, se le pregunta a Bard: "¿Qué nuevos descubrimientos del telescopio espacial James Webb puedo contarle a mi hijo de 9 años?" Una de las tres respuestas que proporcionó fue que el telescopio "tomó la primera imagen de un planeta fuera de nuestro propio sistema solar". Aunque la [afirmación era técnicamente correcta] (https://www.ft.com/content/ 16986b1e-b96a-4cb5-9450-b96fae622fdd)—JWST tomó la primera imagen de un exoplaneta específico, aunque no el primero de ningún exoplaneta—se indicó de manera vaga y engañosa y se percibió ampliamente como un error.
Según un informe de CNBC, los empleados de Google expresaron que pensaban que el anuncio de Bard fue "apresurado", "fallido" y "no Google". El error eliminó $100 mil millones de la capitalización bursátil . El anuncio de Bard se produjo un día antes de la presentación de Bing, en un intento de adelantarse a su competidor.
Bing, que funciona con ChatGPT, destaca las consecuencias en la vida real de un gran modelo de lenguaje que aún no se ha perfeccionado. ChatGPT se puede [romper cuando se le solicite] (https://www.vice.com/en/article/epzyva/ai-chatgpt-tokens-words-break-reddit) con varias palabras clave extrañas, y tan recientemente como la semana pasada , fue capaz de hacer jailbreak para usar calumnias y otros lenguaje odioso. La demostración de Microsoft hace eco de cómo tanto el chatbot como el motor de búsqueda aún tienen un largo camino por recorrer.