Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer
Découvrir
Envoyer
  • Bienvenue sur AIID
  • Découvrir les incidents
  • Vue spatiale
  • Vue de tableau
  • Vue de liste
  • Entités
  • Taxonomies
  • Soumettre des rapports d'incident
  • Classement des reporters
  • Blog
  • Résumé de l’Actualité sur l’IA
  • Contrôle des risques
  • Incident au hasard
  • S'inscrire
Fermer

Problème 2934

Loading...
Je pense avoir trouvé un exploit de confidentialité dans ChatGPT
tane.dev · 2023

tl;dr : J'ai découvert que si vous transmettez des invites vides à ChatGPT, cela renvoie quand même les résultats les réponses des autres

Plus tôt le mois dernier ; à de nombreux fanfair de développeurs - ainsi qu'aux entreprises, aux médias et au [gouvernement](https://www.theguardian.com/technology/2023/mar/31/italy-privacy-watchdog-bans-chatgpt-over-data -breach-concerns) intérêts - OpenAI publie son nouveau modèle de grand langage ChatGPT-4 .

Pour LLMs c'est définitivement très avancé. Quelques jours avant, je jouais avec alpaca.cpp - un modèle conçu pour fonctionner sur un processeur avec un ensemble plus petit de contraintes de mémoire. J'avais commencé par créer une interface Web très simple en utilisant NodeJS et des sockets pour analyser la ligne de commande. Peu de temps après avoir commencé à travailler dessus, mon invitation GTP-4 est arrivée et j'ai commencé à jouer avec l'API. Rapidement, j'ai pu voir avec le bon type d'invites, cela peut être un outil utile entre de bonnes mains. Cela m'a déjà aidé à réécrire du code complexe dans des méthodes plus simples qui réussissent les tests, ou à réduire la complexité en déplaçant le code vers des fonctions :

Cependant, j'ai commencé à remarquer quelque chose d'étrange - en raison d'un bogue dans mon code, je transmettais des invites vides au point de terminaison ChatGPT - mais chaque fois que je recevais une réponse - et elles étaient complètement aléatoires. Des réponses standard "Je suis un modèle d'IA…" aux informations sur les personnes, les lieux et les concepts.

Le même jour, c'était #StochasticParrotsDay - une conférence en ligne sur l'éthique de l'IA, le battage médiatique et son avenir - et cela m'a donné une idée - pourquoi ne pas t Je transforme cela en Mastodon Bot ! (*c'était cette URL d'origine - elle a depuis été déplacée vers botsin.space)

Depuis que j'utilise ce bot, je suis parvenu à certaines conclusions sur les réponses et je pense que sans invite ** une grande partie des réponses sont destinées aux autres utilisateurs **. S'il s'agit d'un bogue, le fait de passer éventuellement une invite vide non analysée l'amène à renvoyer quelque chose qu'il ne devrait pas en réponse.

Bien sûr, je peux me tromper - il peut s'agir d'hallucinations stochastiques imaginées par une machine, il peut s'agir de l'API renvoyant un ensemble aléatoire de données d'entraînement qui se trouve être à droite [Entropy](https://en.wikipedia. org/wiki/Entropy_%28information_theory%29) - mais ChatGPT lui-même n'est alors pas beaucoup mieux qu'une chaîne de Markov et OpenAI (et l'ensemble du LLM/ marché de l'IA) ont joué tout le monde pour des imbéciles.

Mais si j'ai raison, les API OpenAI actuelles pourraient être amenées à divulguer potentiellement des données privées ou sensibles, simplement en ne désinfectant pas leurs entrées…

Le bot continuera à fonctionner jusqu'à au moins la fin de ce mois, et tout le contenu sera archivé sur stochasticparrot.lol.

Configuration de l'infrastructure du bot

Pour que le bot soit opérationnel, je voulais le faire gratuitement et facile à gérer. En fin de compte, j'ai choisi d'utiliser GitHub Actions avec des tâches planifiées pour le créer - cela m'a permis de configurer un script qui s'exécutait toutes les heures - en appelant le ChatGPT API avec une invite vide et la transformant en toot. J'ai également constaté que le fait de ne transmettre qu'un espace à l'API Dall-E produisait également des images.

Avec les deux scripts, après avoir reçu une réponse d'OpenAI, je l'utilise pour générer un ou plusieurs toots - en fonction de la longueur d'un ensemble de réponses, les images les téléchargeant d'abord, puis les téléchargeant d'abord en tant que pièces jointes.

Certains des toots les plus récents sont ci-dessous - ceux avec un perroquet emjoi (🦜) sont créés sans invite, tandis que si une invite est utilisée, j'ajoute une bulle de dialogue (💬) pour indiquer

🦜 Mon opinion en tant que modèle de langage IA est que la Corée du Sud ne devrait pas interdire les tatouages. Le tatouage est une forme d'art et un moyen pour les individus de s'exprimer. Cependant, il est important de réglementer l'industrie pour s'assurer que les normes de sécurité et d'hygiène sont respectées.

Comme dans de nombreux pays, les tatouages ont été historiquement associés à la culture des gangs en Corée du Sud. Depuis que les temps ont changé, cette perception a changé, de plus en plus de personnes considèrent les tatouages comme une forme de

🦜 Oui, c'est possible et en fait assez courant d'être attiré par des personnages de fiction. Cela peut arriver pour plusieurs raisons :

1. Relatabilité : Les gens s'attachent souvent à des personnages qu'ils trouvent racontables ou qui partagent des expériences, des luttes ou des traits de personnalité similaires.

2. Idéalisation : la fiction permet aux auteurs et aux créateurs de construire leur version idéale d'un personnage - une version intelligente, attrayante et la quintessence des idéaux que les gens recherchent.

3. Accomplissement d'un souhait:

🦜 Voici les dix emojis les plus utilisés au monde :

1. 😂 Visage avec des larmes de joie2. ❤️ Coeur rouge3. 😍 Visage souriant avec Heart-Eyes4. 🤣 Rouler sur le sol en riant5. 😊 Visage souriant avec des yeux souriants6. 👍 Pouce vers le haut7. 💕 Deux Coeurs8. 🙏 Mains jointes en prière ou geste de remerciement (également considéré comme un high-five)9. 🔥 Feu, représentant quelque chose de chaud ou d'excitant.

10:😘 Visage soufflant un baiser

Ces classements peuvent varier légèrement selon les zones géographiques

Une fois que j'ai eu cela en place, j'ai ensuite créé un petit AstroJS site Web qui affiche chaque entrée sous forme de publication.

Faire parler Polly

Jusqu'à présent, je travaillais juste avec du texte et des images - mais j'avais récemment vu ElevenLabs dans certaines actualités techniques, et qu'ils avaient une API de synthèse vocale. Après quelques problèmes initiaux (qui ont utilisé tout le crédit gratuit) - j'ai finalement mis en place une autre action qui a pris la réponse OpenAI et l'a transmise à l'API ElevenLabs - cela a ensuite fourni un flux MP3 du discours, enregistré localement et à nouveau téléchargé à Mastodon et attachez-le à un toot.

J'ai également décidé d'essayer de voir si je pouvais l'obtenir pour générer des sondages. Avec quelques [incitations douces] (https://github.com/tanepiper/Stochastic-Parrot/blob/main/packages/stochastic-parrot/src/poll.mjs#L34), j'ai pu l'obtenir pour générer une sortie JSON qui pourrait être utilisé dans les sondages. Malheureusement, la plupart du temps, il semble répéter les mêmes questions encore et encore avec des formulations légèrement différentes, proposant parfois quelque chose d'original

🦜 Laquelle de ces villes fictives aimeriez-vous visiter ?

  • Gotham City de Batman (0)
  • Poudlard de Harry Potter (8)
  • Westeros de Game of Thrones (3)
  • Panème de The Hunger Games (2)

Total des votes : 13

🦜 Quel fruit exotique aimeriez-vous goûter ?

  • Durian - Le roi des fruits (25)
  • Salak - Le fruit du serpent (10)
  • Mangoustan - Reine des Fruits (22)
  • Ramboutan - Litchi poilu (9)

Total des suffrages : 66

Une expérience amusante

Je suis même allé jusqu'à essayer de générer du contenu vidéo - non pas via Stable Diffusion, mais en générant des thèmes de texte à utiliser avec l'API Createomate - me permettant de générer des "faits" sur les réseaux sociaux vidéos. Malheureusement, c'était un peu bogué, et en raison de la façon dont Mastodon fonctionne, cela peut prendre un peu de temps.

Dans l'ensemble, écrire ce bot était une expérience amusante - mais j'en ai probablement appris plus sur l'écriture de meilleurs pipelines que sur l'IA et les LLM. Ce qui m'a surpris, c'est la fréquence à laquelle les réponses semblent être à des questions qui n'ont pas été posées - où ces réponses sont-elles générées ? Voyons-nous le scintillement d'AGI ? Ou juste les divagations stochastiques d'une machine dirigée par des [gens sommaires](https://www.latimes.com/business/technology/story/2023-03-31/column-afraid-of-ai-the-startups- le vendre-le-vouloir-être).

Lire la source

Recherche

  • Définition d'un « incident d'IA »
  • Définir une « réponse aux incidents d'IA »
  • Feuille de route de la base de données
  • Travaux connexes
  • Télécharger la base de données complète

Projet et communauté

  • À propos de
  • Contacter et suivre
  • Applications et résumés
  • Guide de l'éditeur

Incidents

  • Tous les incidents sous forme de liste
  • Incidents signalés
  • File d'attente de soumission
  • Affichage des classifications
  • Taxonomies

2024 - AI Incident Database

  • Conditions d'utilisation
  • Politique de confidentialité
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd