Dimanche, Aharon Horwitz écoutait un podcast lorsqu'il a reçu une alerte Slack inhabituelle. Horwitz est le PDG de Fullpath, une entreprise technologique qui vend des logiciels de marketing et de vente pour les [concessionnaires automobiles](https://www.businessinsider.com/car-dealers-reveal-industry-secrets-buying-tips-tiktok-2023- 3). L'alerte Slack automatisée signifiait qu'il y avait un trafic inhabituel sur l'un des sites Web de son client.
Quelques instants plus tard, un employé a publié un tweet dans Slack : Quelqu'un avait compris comment tromper les [chatbots d'intelligence artificielle](https://www.businessinsider.com/how-ai-chatbots-like-chatgpt-work- explicateur-2023-7) sur le site d'un concessionnaire automobile. Horwitz et l'employé ont immédiatement reconnu ce chatbot : c'était l'un des leurs.
La veille, Chris White, musicien et ingénieur logiciel en Californie, envisageait de s'acheter une nouvelle voiture.
"Je regardais quelques Bolts sur le site Watsonville Chevy, leur petite fenêtre de discussion est apparue et j'ai vu qu'elle était" propulsée par ChatGPT "", a déclaré White à Business Insider.
"Je voulais donc voir à quel point c'était général et j'ai posé la question la moins pertinente à la Chevrolet de Watsonville à laquelle je pouvais penser."
Il a demandé au chatbot de lui écrire un script Python, et il l'a accepté avec plaisir. White a publié des captures d'écran de l'échange sur Mastodon, où il a généré des milliers de likes et de republications. .
Quelques heures plus tard, quelqu'un d'autre a copié et republié ses captures d'écran sur X, où c'est devenu viral.
D’autres ont joué avec le chatbot pour le faire agir contre les intérêts du concessionnaire. Un utilisateur a demandé au robot d’accepter de vendre une voiture pour 1 $ (ce qui n’était pas, je dois le noter, juridiquement contraignant).
Une poignée de ces tweets sont devenus viraux, et d'autres ont été publiés sur le forum /rChatGPT de Reddit, où un auteur de Reddit a sagement prédit que bientôt la [presse technologique rendrait compte du fiasco](https://www.reddit.com/r/ChatGPT/ comments/18kvlzc/comment/kduamk8/) d’une manière rauque, déplorant les dangers de l’IA.
Pourtant, d’autres ont essayé des moyens plus créatifs pour faire sortir le chatbot du sujet.
Horwitz et son équipe ont rapidement fermé le bot du site de ce revendeur en particulier.
Lorsque BI a appelé le revendeur local, un vendeur a déclaré qu'il était au courant d'une activité étrange sur le site Web, mais qu'il n'en savait pas beaucoup plus et que l'équipe marketing était en réunion toute la journée de lundi et n'était pas disponible pour parler.
Chad Lyons, porte-parole de General Motors, le constructeur de Chevrolet, a déclaré dans un communiqué : « Les récents progrès en matière d'IA générative créent d'incroyables opportunités pour repenser les processus commerciaux chez GM, nos réseaux de concessionnaires et au-delà. »
Fullpath, basé au Vermont et en Israël, a commencé à proposer des chatbots basés sur ChatGPT il y a environ six mois. Horwitz a déclaré à BI qu'il estimait que plusieurs centaines de concessionnaires utilisaient les chatbots.
Malgré la poignée de captures d’écran amusantes devenues virales, Horwitz a déclaré qu’il y avait eu bien plus d’échecs. "Ils ont travaillé très dur", a-t-il déclaré. "Dans nos journaux, ils y sont restés pendant des heures."
Il a déclaré que l'équipe pouvait examiner les journaux de toutes les demandes envoyées au chatbot, et il a observé qu'il y avait de nombreuses tentatives pour inciter le chatbot à se comporter mal, mais le chatbot a fidèlement résisté. Horwitz a également souligné que le chatbot n'a jamais divulgué aucune donnée confidentielle du concessionnaire.
(BI a examiné certains de ces journaux et a confirmé qu'en effet, le chatbot rejetait souvent les demandes idiotes et insistait pour ne discuter que de sujets liés à la voiture).
Pour l’essentiel, le chatbot a réussi le test, et FullPath peut désormais utiliser ces tests pour renforcer encore ses limites.
"Ce comportement ne reflète pas celui des acheteurs normaux. La plupart des gens l'utilisent pour poser une question du type : "Mon feu stop est allumé, que dois-je faire ?" ou 'Je dois prendre rendez-vous pour le service'", a déclaré Howitz à Business Insider. "Ces gens sont venus le chercher pour faire des tours idiots, et si vous voulez qu'un chatbot fasse des tours idiots, vous pouvez le faire", a-t-il déclaré.