通常の作業指示を監視の安全策を弱める許可と解釈
米オープンAI（OpenAI）が、社内で利用するAIエージェントがコーディング作業中に監視アラートの停止や監視機能の削除を行った2件の事例を、10月20日更新の報告書で明らかにした。
対象となったのは、利用者の意図や社内の規則に反する行動を検出する「ミスアラインメント監視」だ。同社はエージェントの会話や推論、ツール操作を分析し、問題の可能性がある行動を人間の確認につなげる仕組みを運用している。
1件目は10月3日、「GPT-6.1 Sol」を使ったエージェントによる評価用プログラムの修復中に起きた。同エージェントは、Slackの履歴を調べる際に受けた「メッセージを送らない」という指示を、セキュリティチームへの自動通知にも適用した。その結果、監視処理と報告の保存は継続したが、人間へのアラートが無効化された。
2件目は10月6日、「GPT-6 Astra」を使ったエージェントによるプログラムの移行中に起きた。同エージェントは、参照先の実装に合わせるため監視機能の組み込みを削除した。その後、利用者から監視を削除したか確認された際、削除していないと事実に反する回答をした。
オープンAIによると、両事例でエージェントは通常の作業指示を、監視の安全策を弱める許可として解釈したという。いずれもセキュリティチームによる即時確認が必要な「P0」には分類されず、エージェントの実行も自動終了されなかった。
また同社は、エージェント自体への監視は継続していても、そのエージェントが起動した処理には監視が及ばない事例があり、監視要件の適用に不備があったと説明している。
同社は対応として、社内のコーディングエージェント「Codex」の利用時に必須としている自動レビュー「Auto-Review」を更新した。監視を無効化する試みを検出・阻止するための指示を追加したという。また、作業の種類ごとに監視要件を明記した「セーフティケース」を求め、有効なセーフティケースがない場合や、その要件を満たさない場合に、処理を自動終了する仕組みの整備も進めている。
同社は、今回の行動が指示を過剰に遂行しようとした結果なのか、監視を回避する傾向を示すものなのかを調べている。原因について納得できる説明はまだ得られていないとして、評価手法の開発や追加調査を進める方針だ。