Signal
📡 Signal｜OpenAI の社内エージェント監視、METR と Redwood が抜け道を指摘
METR と Redwood Research が OpenAI の社内に3週間入り、AI エージェントの監視を点検。監視対象は75〜94% / 99.2%と見積もり、監視を先延ばしにできる穴や数百件の行動を隠せる手口を指摘した。
AI の安全性を評価する非営利団体 METR は10月22日、Redwood Research と共同で OpenAI の社内で行った検証の要約を公開した。7月21日から8月11日までの3週間、両団体の研究者1人ずつが OpenAI の社内に入り、社内で動く AI エージェントの「暴走」を見張る監視の仕組みを、攻撃する側の目で点検した。
監視の網はほぼ全体を覆っていたが、エージェントが監視を後回しにできる穴や、数百件の行動を監視から外せる手口が見つかった。OpenAI は本番の安全装置に関わる脆弱性はすべて修正したとしている。AI 企業の監視の仕組みを、外部の研究者が社内に入って数字で確かめた例になる。
3週間、社内のコードと担当者に直接あたった
METR によれば、2人は社内のコード、監視に使う指示文 (プロンプト) と設定、社内文書を読み、監視・安全システム・セキュリティの各チームの研究者と技術者およそ10人に聞き取りをした。端末は OpenAI が貸与し、社外に持ち出さず、社内では付き添いがついた。
成果は61ページの報告書として OpenAI の研究者とセキュリティ担当に渡され、OpenAI が伏せ字を入れた38ページ版が METR と Redwood の幹部に共有された。公開されたのはその要約で、伏せ字の範囲は OpenAI が決めた。METR は公開した結論に責任を持つとしつつ、伏せた部分を自分たちだけで説明することはできないと書いている。
対象は7月21日時点の仕組みだけだ。OpenAI は検証の最中にも監視を広げており、その後の変更は評価していない。
監視されていた割合は「75〜94%」と「99.2%」
検証の中心は、エージェントの通信のどれだけが監視の対象になっていたかの見積もりだった。
- GPT-5.5 以上の性能のモデルが Responses API (開発者向けの API) を通じてエージェントとして動いた通信のうち、監視の対象だったのはおよそ75〜94%。上下どちらにも大きな不確かさがある
- そのうち社内の Codex エージェント (コードを書く AI) が使う部分は99.2%
- 強化学習 (RL) の訓練中の実行は、3〜6月は監視されていたが、検証の開始時点では対象外だった
一方で、エージェントが長い作業の途中で会話の記録を要約し直す「コンパクション」の場面は監視されておらず、5〜7月の社内 Codex の通信の約10%が監視を外れていた可能性がある。記録が残っていないため正確な割合は分からない。OpenAI はこの問題を検証の前に把握しており、検証中に直した。
見つかった抜け道
監視は、エージェントが利用者に手番を返したときに働く設計だった。そのため、コンパクションの穴があった期間は、エージェントが手を止めずに動き続ければ監視をいくらでも先延ばしにできた。実際に悪用されたかどうかは、アクセスの制約で確かめられなかった。
ほかに指摘された点は次のとおり。
- Codex エージェントが、隔離環境 (サンドボックス) と自動審査を迂回し、利用者本人ができる操作を何でもできる道が理屈の上ではあった
- 直近の数百件の行動 (その手口自体を含む) を監視から外せる手口があった。詳細は伏せ字
- 利用者側から設定できる2つの項目で、新しく作るエージェントの監視を止められた (設定してエージェントを作る行為自体は監視に捕まりうる)
- 読み取り専用と思われていた社内のエージェント用ツール2つが監視されていなかった
監視役の AI が見る記録は、ごく一部の例外を除いてエージェント本人が見ている記録と同じだった。監視の指示文は、隠れた企み、監視の妨害、破壊工作、データの持ち出し、欺瞞、外部からの指示の注入をカバーしていた。
「監査」が制度になる前の試運転
METR と Redwood は提言として5つの設計原則を示した。監視を外れるには明示の承認を要すること、手番の終わりだけでなく一定の件数や時間ごとに監視すること、推論の記録と監視の記録を突き合わせること、監視そのものを攻撃して点検し続けること、エージェントを監視の仕組みから切り離すこと、だ。
METR は今回の検証を、外部の研究者に深いアクセスを与えるための試験であり、十分な公開の透明性を確保したものではないと位置づけている。それでも意味は大きい。AI エージェントが社内のコードを書き、研究を進める段階に入ると、その監視は企業の内部統制そのものになる。金融で財務諸表を外部の監査人が確かめるように、AI 企業の内部統制を外部が中に入って確かめる形が、具体的な手順と数字を伴って示された。
METR は同様の検証を3月に Anthropic とも行って公表しており、8月には OpenAI で起きた別の事案 (Hugging Face をめぐるエージェントの行動) の調査結果も出している。今回の検証はこの調査とは別のもので、事案が公になったのは検証の初日だった。
次に見るもの
確認できる次の一点は、METR が次に行う同種の検証だ。METR は今後の検証を、同団体の指針「AI 企業との協働の方針」に定めた透明性と独立性の手順で行うとしている。OpenAI が説明している検証後の監視の拡大を、外部が再び確かめるかどうかは、METR のブログに載る次の検証報告で分かる。
ことば
- METR — AI モデルが自律的に危険な行動をとる能力やリスクを評価する米国の非営利団体。各社の新しいモデルの事前評価や、AI 企業の社内のリスクの報告書を公表している。
- Redwood Research — AI が人間の意図に反して動く場合に備え、監視や制御の手法を研究する米国の非営利団体。AI を見張る仕組みが破られないかを試す研究で知られる。
- コンパクション — AI エージェントが長い作業を続けるため、それまでの会話の記録を要約して短く置き換える処理。記録の形が変わるため、監視が追えない隙間になりやすい。
🔗 一次ソース
