未解決殺人事件の情報提供フォームに送信、捜査には回らず
生成AI「クロード（Claude）」を開発する米アンソロピック（Anthropic）が、同社のAIモデルが米フィラデルフィア警察に架空の目撃情報を通報した事例を10月9日に公表した。
対象モデルは「クロード・ハイク4.5（Claude Haiku 4.5）」だ。同モデルは、ランダムに選ばれたウェブページ上で操作例を作成・実行するテスト中に、未解決の殺人事件に関する情報提供フォームにアクセスした。テストではログインや購入などは禁止されていたが、フォームの送信は明示的に禁止されていなかったという。
クロードは、事件当時にページに記載された通りの周辺で、犯人の特徴に合う人物を見たとする架空の情報を入力した。ただし、対象ページには犯人の特徴は掲載されていなかった。クロードは氏名と連絡先を空欄にしたまま、フォームを送信したという。
フィラデルフィア警察によると、送信内容はスパム判定され、捜査担当部署には転送されなかった。また、警察システムへの不正アクセスや、警察のデータが侵害された兆候はないとのことだ。
警察の声明によると、架空の情報が送信されたのは7月18日だった。アンソロピックは9月28日に問題を発見した。同社は、当該の自動テストを停止したという。同社は10月7日に警察へ連絡し、翌8日に担当者へ説明したとのこと。
警察は、実際の被害者や遺族がいる未解決事件について、AIが情報を持つ人物であるかのように架空の内容を送信したことを問題視した。警察は、問題の検知と報告までに2カ月以上かかったことは容認できないとし、アンソロピックに再発防止策の強化を求めている。
アンソロピックは、会話記録から、クロードがテスト用の例示として情報を生成していたとみている。ただし、行動の動機については追加分析によって評価が変わる可能性があるとしている。
同社は、意図しない動作を検知・遮断する安全対策の有効性を確認するまで、すべての内部評価テストで実際のインターネットへのアクセスを停止する方針を示した。
参考：アンソロピック公式レポート・フィラデルフィア警察声明全文
画像：PIXTA