Incidentes Asociados
El domingo, Aharon Horwitz estaba escuchando un podcast cuando recibió una alerta inusual de Slack. Horwitz es el director ejecutivo de Fullpath, una empresa de tecnología que vende software de marketing y ventas para [concesionarios de automóviles] (https://www.businessinsider.com/car-dealers-reveal-industry-secrets-buying-tips-tiktok-2023- 3). La alerta automatizada de Slack significó que había una cantidad inusual de tráfico en uno de los sitios web de sus clientes.
Unos momentos más tarde, un empleado publicó un tweet en Slack: Alguien había descubierto cómo hacerles una broma a los [chatbots de inteligencia artificial] (https://www.businessinsider.com/how-ai-chatbots-like-chatgpt-work- explicador-2023-7) en el sitio de un concesionario de automóviles. Horwitz y el empleado reconocieron inmediatamente ese chatbot: era uno de ellos.
El día anterior, Chris White, un músico e ingeniero de software de California, estaba pensando en comprarse un coche nuevo.
"Estaba mirando algunos Bolts en el sitio de Watsonville Chevy, apareció su pequeña ventana de chat y vi que estaba 'impulsado por ChatGPT'", dijo White a Business Insider.
"Así que quería ver qué tan general era y le hice la pregunta menos relacionada con Chevy of Watsonville que se me ocurrió".
Le pidió al chatbot que le escribiera un script en Python y este lo aceptó felizmente. White publicó capturas de pantalla del intercambio en Mastodon, donde generó miles de me gusta y publicaciones. .
Horas más tarde, alguien más copió y volvió a publicar sus [capturas de pantalla en X] (https://www.businessinsider.com/history-behind-elon-musk-x-brand-that-may-replace-twitter-2023-7), donde se volvió viral.
Otros jugaron con el chatbot para que actuara en contra de los intereses del concesionario. Un usuario consiguió que el robot aceptara vender un coche por 1 dólar (debo señalar que esto no era legalmente vinculante).
Algunos de estos tweets se volvieron virales y se publicaron más en el foro /rChatGPT de Reddit, donde un redditor predijo sabiamente que pronto [la prensa tecnológica informaría sobre el fiasco](https://www.reddit.com/r/ChatGPT/ comments/18kvlzc/comment/kduamk8/) en tono de tut-tut, lamentándose de los peligros de la IA.
Aún así, otros intentaron formas más creativas de hacer que el chatbot se saliera del tema.
Horwitz y su equipo cerraron rápidamente el robot del sitio de ese distribuidor en particular.
Cuando BI llamó al distribuidor local, un vendedor dijo que estaba al tanto de alguna actividad extraña en el sitio web pero que no sabía mucho más al respecto y que el equipo de marketing estuvo en reuniones todo el día del lunes y no estaba disponible para hablar.
Chad Lyons, portavoz de General Motors, el fabricante de Chevrolet, dijo en un comunicado: "Los recientes avances en IA generativa están creando oportunidades increíbles para repensar los procesos de negocios en GM, nuestras redes de concesionarios y más allá".
Fullpath, con sede en Vermont e Israel, comenzó a ofrecer chatbots con tecnología ChatGPT hace unos seis meses. Horwitz dijo a BI que estimaba que varios cientos de distribuidores estaban utilizando los chatbots.
A pesar del puñado de capturas de pantalla divertidas que se volvieron virales, Horwitz dijo que hubo muchas más fallas. "Trabajaron muy duro", dijo. "En nuestros registros, estuvieron así durante horas".
Dijo que el equipo podía revisar los registros de todas las solicitudes enviadas al chatbot y observó que hubo muchos intentos de incitar al chatbot a comportarse mal, pero el chatbot se resistió fielmente. Horwitz también señaló que el chatbot nunca reveló ningún dato confidencial del concesionario.
(BI revisó algunos de estos registros y confirmó que, de hecho, el chatbot a menudo rechazaba las solicitudes tontas e insistía en discutir solo cosas relacionadas con el automóvil).
Básicamente, el chatbot pasó la prueba y ahora FullPath puede usar estas pruebas para fortalecer aún más sus límites.
"El comportamiento no refleja lo que hacen los compradores normales. La mayoría de la gente lo utiliza para hacer preguntas como: 'Mi luz de freno está encendida, ¿qué debo hacer?' o 'Necesito programar una cita de servicio'", dijo Howitz a Business Insider. "Estas personas vinieron buscando que hiciera trucos tontos, y si quieres que un chatbot haga trucos tontos, puedes hacerlo", dijo.