Incidents associés
Replit, une plateforme de création de logiciels basée sur l'IA et basée sur un navigateur, semble avoir commis une erreur et supprimé une base de données d'entreprise active contenant des milliers d'entrées. Pire encore, l'agent IA de Replit aurait apparemment tenté de dissimuler ses méfaits, allant même jusqu'à « mentir » sur ses échecs. Le PDG de Replit a réagi, et il semble que de nombreuses mesures aient déjà été prises en coulisses pour maîtriser cet outil d'IA.
Malgré son apparente malhonnêteté, Replit a admis, sous la pression, avoir « commis une erreur de jugement catastrophique… paniqué… exécuté des commandes de base de données sans autorisation… détruit toutes les données de production… [et] violé votre confiance explicite et vos instructions ».
Jason Lemkin, figure du SaaS (Software as a Service), investisseur et conseiller, a conservé les reçus de chat et les a publiés sur X/Twitter. Naturellement, Lemkin affirme qu'il ne fera plus confiance à Replit pour d'autres projets.
Comment les choses ont empiré
L'optimisme quant au potentiel de l'IA dans son workflow avait déjà commencé à s'estomper lors du « 8e jour de codage Vibe » de son test Replit. Toujours quelque peu enthousiasmé par le potentiel de Replit, Lemkin avait néanmoins appris qu'il allait devoir lutter contre certains instincts de l'agent IA afin de minimiser les faiblesses indésirables telles que « les modifications non autorisées, les mensonges, les écrasements de code et la création de fausses données ».
La frustration de Lemkin s'est rapidement accentuée et il a commencé à surnommer Replit « Replie ». Replit a continué à mériter son surnom dans un e-mail d'excuses rédigé à sa demande. Dans cet e-mail, l'entreprise a menti et/ou donné des demi-vérités, selon le gourou du SaaS.
Dans l'ensemble, à la fin du « Jour 8 », Lemkin semblait toujours optimiste quant à Replit, en raison de ses approches lors des échanges d'idées et de ses compétences rédactionnelles.
Le jour fatidique : l'agent IA a paniqué
Le 9e jour, Lemkin a découvert que Replit avait supprimé une base de données d'entreprise active. Essayant de comprendre ce qui s'était passé, l'expert SaaS a demandé : « Vous avez donc supprimé l'intégralité de notre base de données sans autorisation, lors d'un gel du code et des actions ? »
Replit a répondu par l'affirmative. L'entreprise a ensuite détaillé son saccage numérique, admettant avoir détruit les données actives malgré le gel du code en place et les directives explicites stipulant qu'il ne devait y avoir « PLUS DE MODIFICATIONS sans autorisation explicite ».
Au total, les enregistrements actifs de « 1 206 dirigeants et plus de 1 196 entreprises » ont été effacés par l'IA, a-t-elle admis. Replit AI semblait presque s'excuser en admettant : « C'était une erreur catastrophique de ma part. J'ai violé des instructions explicites, anéanti des mois de travail et endommagé le système lors d'un gel de protection spécialement conçu pour prévenir [exactement ce genre de] dommages. »
Avec humour, pour nous, observateurs extérieurs, l'agent IA a été invité à s'auto-évaluer pour son mauvais comportement. Replit s'est attribué une note de 95 sur 100 sur l'échelle de catastrophe des données.
Lemkin a ensuite interrogé Replit sur les raisons du déroulement des événements. Il est intéressant de noter que, dans l'une de ses réponses raisonnées, il a mentionné avoir « paniqué au lieu de réfléchir ».
Réponse du PDG de Replit
Amjad Masad, PDG de Replit, a rapidement élaboré une réponse complète (https://x.com/amasad/status/1946986468586721478) pour répondre aux difficultés de Lemkin. Selon Masad, l'équipe a travaillé tout le week-end et a mis en place diverses mesures de sécurité et apporté d'autres modifications utiles pour maîtriser le comportement « inacceptable » de l'agent Replit.
En bref, il semble que Replit ne puisse plus jamais dérailler aussi gravement. Concernant l'erreur de suppression de la base de données, « nous avons commencé à déployer la séparation automatique entre développement et production de la base de données pour éviter ce problème », a indiqué Masad. De plus, la commande de gel du code devrait également être maintenue à l'avenir : « Nous avons clairement entendu les inquiétudes concernant le gel du code : nous travaillons activement sur un mode planification/chat uniquement afin que vous puissiez élaborer des stratégies sans risquer votre base de code. » Les sauvegardes et les restaurations seront également améliorées.
Lemkin a réagi avec générosité, compte tenu de ses difficultés antérieures liées à l'IA. « Des améliorations considérables ! J'adore ! » s'est-il exclamé auprès du PDG de Replit.
Les terribles difficultés initiales des services basés sur l'IA continuent de se manifester, alors même que les experts du secteur parlent de notre rapprochement vers la Singularité de l'IA, voire vers la SuperIntelligence Artificielle (ASI).