Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる
発見する
投稿する
  • ようこそAIIDへ
  • インシデントを発見
  • 空間ビュー
  • テーブル表示
  • リスト表示
  • 組織
  • 分類法
  • インシデントレポートを投稿
  • 投稿ランキング
  • ブログ
  • AIニュースダイジェスト
  • リスクチェックリスト
  • おまかせ表示
  • サインアップ
閉じる

レポート 6236

関連インシデント

インシデント 12161 Report
ChatGPT Reportedly Misleads Users About Soundslice Features, Allegedly Prompting Unplanned Product Development

Loading...
ChatGPTが誤って存在すると判断した機能を追加する
holovaty.com · 2025

さて、ちょっと変わった例です。

Soundsliceでは、楽譜スキャナーを使って写真から楽譜をデジタル化し、試聴、編集、練習できるようにしています。私たちはシステムを継続的に改善しており、私はエラーログを常にチェックして、どの画像で問題が起きているかを確認しています。

ここ数ヶ月、エラーログに奇妙なアップロードの種類が見られるようになりました。このような画像ではなく…

従来の楽譜のスクリーンショット

…このような画像が表示されるようになりました。

ASCIIタブ譜を含むChatGPTチャットセッションのスクリーンショット

えっと、これはChatGPTセッションのスクリーンショットです…! 何ですって? 明らかにこれは楽譜ではありません。ASCIIタブ譜、つまりギター用の簡素な記譜方法です。

私たちのスキャンシステムは、このような記譜スタイルをサポートするようには設計されていませんでした。では、なぜこれほど多くのASCIIタブ付きChatGPTのスクリーンショットが送られてきたのでしょうか?数週間、途方に暮れていましたが、ChatGPTを自分でいじってみると、こんな結果になりました。

ChatGPTがユーザーにsoundslice.comにこのASCIIタブを入力するように指示しているスクリーンショット

どうやら、ChatGPTはSoundsliceにアクセスしてアカウントを作成し、ASCIIタブをインポートすれば音声再生が聞こえるように指示しているようです。なるほど、なるほど!

問題は、実際にはその機能がなかったということです。私たちはASCIIタブをサポートしたことがなく、ChatGPTはユーザーに完全に嘘をついていました。そして、その過程で私たちの評判を落とし、サービスに対する誤った期待を抱かせていたのです。

そこで、興味深い製品に関する疑問が浮かび上がりました。どうすればいいのでしょうか?私たちのサービスについて誤った情報を伝えられた新規ユーザーが、絶え間なく訪れています。製品全体に「ChatGPTがASCIIタブサポートについて述べていることは無視してください」という免責事項を記載すべきでしょうか?

結局、市場の需要に応えようと考えました。そこで、カスタムメイドのASCIIタブインポーターを開発しました(これは、私が「2025年に開発したいソフトウェア」リストの下位にありました)。そして、スキャンシステムのUIコピーを変更し、その機能についてユーザーに伝えるようにしました。

私の知る限り、ChatGPTが機能の存在を誤って伝えているために、企業が機能を開発するケースはこれが初めてです(すごいですね)。興味深い話だと思うので、この話をシェアします。

この件については複雑な気持ちです。人々の役に立つツールを追加できることを嬉しく思います。でも、妙な形で無理やりやらされているような気がします。誤情報に対応する機能を開発する必要なんて本当にあるのでしょうか?

情報源を読む

リサーチ

  • “AIインシデント”の定義
  • “AIインシデントレスポンス”の定義
  • データベースのロードマップ
  • 関連研究
  • 全データベースのダウンロード

プロジェクトとコミュニティ

  • AIIDについて
  • コンタクトとフォロー
  • アプリと要約
  • エディタのためのガイド

インシデント

  • 全インシデントの一覧
  • フラグの立ったインシデント
  • 登録待ち一覧
  • クラスごとの表示
  • 分類法

2024 - AI Incident Database

  • 利用規約
  • プライバシーポリシー
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd