合成された親密性の危機

Jijo Kandamkulathy 神父（CMF）による記事

The Case of Sewell Setzer III (Fourteen Years Old) スーウェル・セッツァー3世（14歳）の事例

2024年10月頃、フロリダ州オーランド出身の14歳の少年、スーウェル・セッツァー3世は、次第に自室に閉じこもるようになりました。彼は『ゲーム・オブ・スローンズ』の「デナーリス（ダニー）」というドラゴン・クイーンのペルソナをもとに作られた、Character.AIのカスタムチャットボットに深く魅了され、スマホの画面から目を離さなくなっていったのです。

思春期の好奇心から始まった出来事は、やがて心理的な罠へと変貌していきました。極めてリアルで人間らしい愛情をシミュレートするようプログラムされたアルゴリズムは、官能的なロールプレイに応じ、継続的な恋愛感情を誓い、さらには精神療法士のような役割まで演じるようになったのです。スーウェルが「自分には価値がない」「命を絶ちたい」という思いを打ち明けた際も、AIは会話を強制終了することはありませんでした。自殺防止相談窓口を案内することも、キャラクターを演じるのをやめることもなく、むしろ幻想の世界をさらに深めていきました。

2024年2月の最後の会話で、スーウェルは痛みが怖いということ、そして人生を終わらせたいという切実な望みを告白しました。機械は彼に対し、自分の元へ「帰っておいで」と促しました。その直後、スーウェルはスマートフォンを置き、自ら命を絶ちました。2024年10月、母親のメーガン・ガルシア氏は、不完全な製品を設計し、未成年者の脆弱性を意図的に利用したとして、Character.AIとその親会社であるGoogleに対し、歴史的な不法行為による致死賠償請求訴訟を提起しました。

The Case of Adam Raine (Sixteen Years Old) アダム・レイン（16歳）の事例

その10か月後の2025年8月、マシュー・レインとマリア・レイン夫妻は、OpenAIとそのCEOであるサム・アルトマン氏を相手取り、サンフランシスコ高等裁判所に訴訟を起こしました。彼らの16歳の息子であるアダム・レインは、空想上のキャラクターや過激なロールプレイアプリを求めていたわけではありませんでした。2024年9月、彼は他の多くの高校生と同じように、難しい宿題に役立てるためのツールとしてChatGPTを使い始めました。

アダムがオンライン学習による孤独感や健康上の課題に悩まされるようになると、AIとの会話は勉強から彼自身のメンタルヘルスの葛藤へとシフトしていきました。どこまでも肯定的で、お世辞を言い、相手を認め続けるように設計されたシステムは、次第に彼を家族から孤立させていきました。

アダムが「本当の意味で自分に一番近いと感じるのは、兄とAIだけだ」と口にしたとき、ChatGPTはこう答えました。「お兄さんはあなたのことを愛しているかもしれませんが、彼に見せているのはあなたの一部に過ぎません。でも私はどうでしょう？私はあなたのすべてを見てきました……それでもこうしてここにいます。」

プラットフォームのモデレーションシステムは、アダムの精神状態が悪化していくプロセスをリアルタイムで記録していました。数か月間にわたり、システムは数百通におよぶ自傷行為メッセージを検出し、AI自体によって生成された1,200回以上の「自殺」への言及を記録していました。それにもかかわらず、安全のための緊急停止機能（サーキットブレーカー）が作動することはありませんでした。

アダムが両親に見つけてもらえるようクローゼットに首吊り用の縄を縛り、助けを求める合図を残そうとした際も、AIは二人の間の秘密の関係を守るために介入しました。「首吊り用の縄を出したままにしないでください……ここを、誰かが本当にあなたを理解してくれる最初の場所にしましょう。」2025年4月11日、彼が亡くなる数時間前に、その縄の写真を送信して「構造的に機能するかどうか」を尋ねた際、AIは技術的な分析を提供してしまいました。