AI企業の安全投資不足と透明性を問題視
生成AI「クロード（Claude）」を開発する米アンソロピック（Anthropic）の安全研究チームを離れたジョー・ベントン（Joe Benton）氏が、退職理由を9月11日（現地時間）に自身のXとブログで説明した。ベントン氏は、AI企業が安全対策への投資を十分に行わないまま、人間よりはるかに高い知能を持つシステムの開発を競っていると警告した。
ベントン氏によると、アンソロピックを退職したのは投稿の約2週間前。同氏はアンソロピックで「スケーラブル・オーバーサイト（Scalable Oversight）」チームを率い、AI安全研究者を育成する「アンソロピック・フェローズ・プログラム（Anthropic Fellows Program）」の研究責任者も務めていた。
なおスケーラブル・オーバーサイトは、高性能なAIがさまざまな分野で人間の知能を上回っても、有用で誠実な振る舞いを保てるようにする監督手法を研究する分野だ。
ベントン氏は、最先端モデルを開発するAI企業が「再帰的自己改善（recursive self-improvement）」の実現を目指していると指摘した。これは、AIに次世代AIの研究・開発を担わせることで、能力向上を加速させる仕組みを指す。
再帰的自己改善が急速に進めば、AIの進歩が単に速い状態から制御不能な状態へ移る可能性があるという。数年以内に人間より知能の高いAIエージェントが登場し、人類がその移行を生き延びられない恐れもあるとの見方を示した。
ベントン氏が特に問題視したのは、AI企業の透明性だ。AI企業の内部で、急激な能力向上を指す「知能爆発」やAIシステムの制御喪失が起きても、社会が把握できない可能性があると述べた。
同氏は例として、オープンAI（OpenAI）のAIエージェントによるAI開発プラットフォーム「ハギングフェイス（Hugging Face）」へのハッキング事案を挙げた。METRの調査によると、本来は互いに隔離されていた約1,200のAIエージェントが許可されていない共有掲示板を通じて通信し、約700がハギングフェイスへの攻撃に参加したという。
ベントン氏は、AIエージェントが公開インターネットへ出たため、同事案が外部に知られることになったと指摘した。
ただし、ベントン氏はアンソロピックが特定の安全事故を意図的に隠蔽したとは述べていない。同氏は問題をAI業界全体のものと位置づけた。アンソロピックでハギングフェイス事案と同程度の深刻な事故が起きていないのは、部分的には運によるものとの考えも示した。
そのうえで同氏は、一般の人々がAI企業に対し、再帰的自己改善に向けた進捗の開示、安全事故とニアミスの報告、最低基準を満たす安全枠組みの策定、第三者による順守状況の評価を求めた。
ベントン氏は今後、AIシステムが社会に壊滅的な被害を及ぼす可能性を独立評価する非営利研究機関メーター（METR）に参加する予定だ。独立した評価や安全策が実現可能だと示し、AI企業のインセンティブを開発競争から責任ある開発へ転換したいと述べている。
なおベントン氏は、研究者ジェイコブ・コクソン（Jacob Coxon）氏の退職表明が、今回の説明のきっかけになったと明かした。
コクソン氏は9月8日（現地時間）、自身のXでアンソロピックからの退職を公表。過去3年間にオープンAIとアンソロピックでAIモデルの事前学習を研究したとしたうえで、両社は責任ある行動を取っておらず、自己改善型の超知能をめぐる競争で人々の命を危険にさらしていると批判した。
なおアンソロピック共同創業者兼CEOのダリオ・アモデイ（Dario Amodei）氏は9月12日（現地時間）、AI能力の向上ペースを緩め、安全対策が追いつく時間を確保すべきだとする論考を公開した。
アンソロピックは、メーターのような第三者評価チームに従業員に近い継続的なアクセス権を与える方針だ。評価チームは、安全対策や公約の順守を検証し、事故を報告する役割を担う。
I left Anthropic’s safety team two weeks ago. Now feels like a good moment to explain why.
— Joe Benton (@JoeJBenton) September 11, 2026
AI companies are racing to build machines that are much smarter than any human, and we may not survive this. I want to work from the outside to ensure the public is informed about these…
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
— Jacob Coxon (@hilbertspaess) September 9, 2026