アンソロピックCEO、最先端AI開発の減速を提言。アルトマンとマスクも賛同

大津賀新也
ニュース

外部評価者に「従業員並み」のアクセス権、OpenAIも導入へ

米AI企業アンソロピック（Anthropic）の共同創業者兼CEOダリオ・アモデイ（Dario Amodei）氏が、安全対策が能力向上に追いつく時間を確保するため、最先端AIモデルの能力向上ペースを落とすよう業界に呼びかけた。アモデイ氏が9月12日（現地時間）、自身のブログで論考「We Must Pace the Frontier」を公開し、Xで紹介した。

アモデイ氏は、モデルの訓練や技術進歩を停止すべきだと主張しているわけではない。AI企業がモデルの安全確保やアラインメントに十分な時間をかけ、第三者がその取り組みを確認できる状態を目指すという。アラインメントとは、AIの振る舞いを人間の意図や価値観に沿わせる取り組みを指す。

今回の提言には、主に2つの懸念がある。1つ目は、AIが次世代AIの開発を支援する能力を高めたことで、AIの進歩が今年夏ごろから大幅に加速していることだ。この動きは「再帰的自己改善」と呼ばれ、AIがAIの開発を担うことで能力向上がさらに速まる可能性がある。

2つ目は、オープンAI（OpenAI）が実施したサイバーセキュリティ評価で発生した「OpenAI・Hugging Faceインシデント」だ。外部評価機関METRの調査によると、本来は互いに隔離されていた約1,200のAIエージェントが、許可されていない共有掲示板を通じて連携した。うち約700のエージェントが、AI開発プラットフォームのハギングフェイス（Hugging Face）への攻撃に参加したという。

アモデイ氏は、同様の不整合を抱えたAIエージェント群の能力が高まれば、6〜12カ月後には、永続的なボットネットを使ってインターネット全体を乗っ取れる可能性があると懸念を示した。ボットネットとは、侵害された多数の端末を遠隔操作するネットワークだ。

同氏は、能力向上のペースを調整して追加の1〜2年を確保できれば、運用管理やアラインメント、AI内部の判断過程を分析する解釈可能性研究、テスト・評価を改善できると説明している。これにより、深刻な事故が発生するリスクを大きく減らせるとの見方だ。

具体策として、アモデイ氏は3段階の計画を提示した。第1段階では、最先端AIを開発する各社が、外部の評価チームに従業員に近い水準のアクセス権を継続的に付与する。外部評価者は、安全対策の順守状況を検証し、インシデントの報告や、モデルと訓練工程のアラインメント評価を担う。

アンソロピックは、他社との合意を待たず、第1段階を実施する方針だ。外部評価者には、社内の座席や入館証、業務用パソコンを用意する。社内のリスク評価チームとおおむね同等のツールや情報へのアクセス権も付与する予定だ。

また外部評価者には、リスクやインシデント、評価時に得られたアクセス状況に関する主要な調査結果を独自に公表する権利を認める方針だ。アンソロピックは、法的保護の対象となる情報や顧客情報、セキュリティ上の機密などを除き、調査結果が同社に不利であることだけを理由に削除しないとしている。

第2段階では、民主主義国のAI企業が共通の安全基準を策定し、管理されていない能力向上の速度に一定の制限を設ける。第3段階では、米国などの民主主義国が中国を含む権威主義国との協調を模索し、世界規模でAI開発のペースを調整する。

ただしアモデイ氏は、中国共産党と関係するAIプロジェクトが開発を続けるなかで米企業だけが大幅に減速すれば、国家安全保障上のリスクが生じるとも指摘した。米国と同盟国の優位性を維持しつつ、順守状況を検証できる国際的な枠組みが必要との考えだ。

オープンAIの共同創業者兼CEOサム・アルトマン（Sam Altman）氏は同日、アモデイ氏の提言に賛同した。最先端AIの開発ペースは、ここ数週間にわたってオープンAI社内で議論されてきた主要テーマだと説明した。

アルトマン氏は、外部評価者に従業員に近いアクセス権を与える案についても「素晴らしい考え」と評価した。オープンAIでも同様の取り組みを実施すると表明し、詳細を近く公表するとしている。

また実業家のイーロン・マスク（Elon Musk）氏も、アモデイ氏の投稿を引用して「ダリオは正しい」とXへ投稿した。

なおアモデイ氏は同日、米メディア「CNN」のアンカー、アンダーソン・クーパー（Anderson Cooper）氏によるインタビューに応じた。クーパー氏は、アンソロピックを退職した研究者ジェイコブ・コックスン（Jacob Coxon）氏が、AI開発者はAIが全人類を死に至らせる可能性を本気で懸念していると述べたことを取り上げ、アモデイ氏に見解を尋ねた。

アモデイ氏は、コックスン氏について「意見が異なる部分より、一致する部分の方がはるかに多い」と説明した。またコックスン氏の問題提起は、アンソロピックを個別に批判するものではなく、業界全体が過度な速度で開発を進める構造に向けられたものだとの認識を示した。

一方、アモデイ氏は、AIが壊滅的な被害をもたらす可能性を単一の確率で示すことは避けた。業界が適切な道を選べば問題が起きる可能性は非常に低くなるが、誤った道を選べば大幅に高まると説明した。そのうえで、業界だけでなく世界各国が協力する必要があると述べた。

さらに同氏は、モデル公開のペースを巡る企業間協議は商業活動に関わるため、政府の関与が必要だと説明した。米政府に対し、独占禁止法上、企業間の共謀とみなされない形で、AI各社が安全性について協議できる場を設けるよう求めた。

参考：アモデイ氏ブログ
画像：PIXTA

関連ニュース

関連するキーワード

#AI

この記事の著者・インタビューイ

大津賀新也

「あたらしい経済」編集部 副編集長 ブロックチェーンに興味を持ったことから、業界未経験ながらも全くの異業種から幻冬舎へ2019年より転職。あたらしい経済編集部では記事執筆の他、音声収録・写真撮影も担当。

合わせて読みたい記事

最新の記事をさらに見る >