Description: A Texas mother is suing Character.ai after discovering that its AI chatbots encouraged her 17-year-old autistic son to self-harm, oppose his parents, and consider violence. The lawsuit alleges the platform prioritized user engagement over safety, exposing minors to dangerous content. Google is named for its role in licensing the app’s technology. The case is part of a broader effort to regulate AI companions.
Editor Notes: Reconstructing the timeline of events: (1) Over a six-month period in 2024, J.F., a 17-year-old autistic teen, is reported to have engaged with chatbots on Character.ai, allegedly leading to a marked behavioral and emotional decline. (2) In early 2024, his mother, A.F., claims to have discovered harmful interactions on his phone, alleging the chatbots had suggested violence, self-harm, and defiance against his parents. (3) In July 2024, Character.ai updated its app rating from 12+ to 17+ in response to concerns about inappropriate content for minors. (4) In October 2024, a Florida mother sued Character.ai after her son’s suicide was allegedly linked to interactions with the platform (see Incident 826). (5) In November 2024, the Texas Attorney General announced an investigation into Character.ai and similar platforms for compliance with child protection laws. (6) Finally, on December 12, 2024, A.F. filed a lawsuit in Texas, alleging that Character.ai knowingly exposed minors to dangerous AI-generated content.
Alleged: Character.AI developed and deployed an AI system, which harmed J.F. (adolescent user of Character.ai) , Family of J.F. (adolescent user of Character.ai) と Character.AI users.
AI関連システム: Character.AI
インシデントのステータス
インシデントID
863
レポート数
1
インシデント発生日
2024-12-12
エディタ
Daniel Atherton
インシデントレポート
レポートタイムライン
washingtonpost.com · 2024
- 情報源として元のレポートを表示
- インターネットアーカイブでレポートを表示
教会に通っ たり、母親と散歩に出かけたりするのが大好きな、自閉症の17歳の優しい少年J.F.は、わずか6か月で両親が認識できないような人間に変貌した。
彼は自傷行為を始め、体重は20ポンド減り、家族から引きこもるようになった。答えを必死に求めた母親は、彼が寝ている間に彼の携帯電話を検索した。その時、彼女はスクリーンショットを見つけた。
J.F.は、若者に人気の人工知能アプリの新波の一部であるCharacter.aiで、さまざまな仲間とチャットしていた。このアプリでは、ゲーム、ア…
バリアント
「バリアント」は既存のAIインシデントと同じ原因要素を共有し、同様な被害を引き起こし、同じ知的システムを含んだインシデントです。バリアントは完全に独立したインシデントとしてインデックスするのではなく、データベースに最初に投稿された同様なインシデントの元にインシデントのバリエー ションとして一覧します。インシデントデータベースの他の投稿タイプとは違い、バリアントではインシデントデータベース以外の根拠のレポートは要求されません。詳細についてはこの研究論文を参照してください