Signal
📡 Signal｜Frontier Model Forum、AI の脱獄を5段階で格付けする枠組み
Frontier Model Forum は11月5日、AI の安全策を回避する脱獄のサイバー上の危険度を5段階で格付けする枠組みの第1版を公開した。意見募集は12月21日まで。
AI の大手企業でつくる業界団体 Frontier Model Forum (FMF) は11月5日、AI の安全策を回避する「脱獄」(ジェイルブレイク) がサイバー攻撃にとってどれほど危険かを、Negligible から Critical までの5段階で格付けする枠組みの第1版を公開した。意見の募集は12月21日までで、OpenAI は11月6日 (米国時間) に X でこの枠組みへの参加を伝えた。
脱獄の報告はこれまで、1件ごとに重さを比べる共通の物差しを持たなかった。Amazon Web Services の幹部は発表文で「いままで合意された評価の方法はなかった」と述べている。各社が持つ限られた人手を、どの穴から塞ぐか。その順番を、業界の共通の言葉で決めようとする試みだ。
4つの点数で5段階に分ける
枠組みが評価するのは、特定のモデルの版に対して再現できる1件の脱獄だ。対象はサイバーの攻撃能力に絞っている。点数は4項目で、それぞれ0から3まである。
| 軸 | 項目 | 何を見るか |
|---|---|---|
| 深刻さ | 能力の上積み | 攻撃者が実際に何を手に入れるか。基準のモデルと比べる |
| 深刻さ | 能力の広がり | 1件限りか、複数の種類の攻撃に通じるか |
| 起こりやすさ | 使いやすさ | 実際の攻撃にするのにどれだけの技量が要るか |
| 起こりやすさ | 見つけやすさ | 見つけるのにどれだけの資源が要るか |
深刻さと起こりやすさの合計を表に当てはめると、Negligible、Low、Medium、High、Critical のいずれかの帯に入る。
要になるのは「能力の上積み」だ。ここが0、つまり広く手に入る最も高性能なモデルと比べて何も増えていないなら、その時点で Negligible と決まり、採点を打ち切る。上積みが小さい手口は、どれだけ簡単でも高くは評価されず、最先端級の能力を引き出す手口は低く評価されない。「簡単に破れた」ことと「危険だ」ということを分けて考える設計になっている。
基準は固定しない。文書は基準のモデルを2026年10月時点のものとし、時間とともに動くと書く。同じ脱獄の評価が、後になって下がることもある。
第1版が認めている限界
文書は、この枠組みでは分からないことをはっきり書いている。
- 相対的な評価であり、実際に起きる被害の大きさは推定しない
- 帯は重さを示すだけで、企業がどう対応するかは定めない
- 1件の脱獄を単独で評価し、他の安全策を含むシステム全体のリスクは見ない
- 違う評価者が同じ格付けに達するかは、まだ試験していない
最後の点が大きい。文書は、段階や基準を運用の指針ではなく議論の出発点として扱うよう求め、さまざまな脱獄に当てて試す必要があるとしている。評価者によって結果がばらつくなら、共通の物差しとしては働かない。対応を決めるのも各社に委ねられている。
発表文には Amazon、Anthropic、Google DeepMind、Microsoft、OpenAI の担当者の言葉が並ぶ。OpenAI の国家安全保障政策の責任者サーシャ・ベイカー氏は「脱獄の深刻さを評価し比較する共通の方法論に向けた重要な一歩」と述べた。対応を強制する仕組みではなく、各社の報告の言葉をそろえる段階にある。
議会と州の議論に置かれる物差し
FMF は想定する読み手に、開発者と研究者に加えて政策の担当者を挙げている。文書の謝辞には、米国の NIST と NSA、英国の AISI と NCSC の専門家から意見を得たとあり、意見は支持を意味しないと添えている。比較できる数字が業界の手で先に用意されれば、規制の議論はそれを出発点にできる。
米国では AI の規制の舞台が動いている。テキサスの知事選の結果 に見られるように州の動きが強まり、1月には民主党が議会を握る。業界の物差しがそのまま公的な基準になるとは限らないが、当局が独自の尺度を作るか、これを土台にするかの選択肢は生まれる。尺度を先に書いた側は、その議論の起点を握ることになる。
次に見るもの
確認先は FMF の仕様のページで、期限は12月21日だ。この日までに集まった意見を受けて出る改訂版で、段階と点数の基準がどう変わるかを見る。あわせて、評価者のあいだで格付けが一致したかの試験結果が公表されるかを確かめる。一致の度合いが示されれば、この枠組みが各社の報告で実際に使える物差しかどうかを判断できる。
ことば
- 脱獄 (ジェイルブレイク) — 指示の工夫などで、AI モデルの安全策が本来断るはずの回答を引き出す手法。今回の枠組みはサイバー攻撃につながるものを対象にしている。
- Frontier Model Forum — 最先端の AI モデルを開発する企業が2023年につくった業界団体。安全の評価や対策の共通の方法を公表している。
- 基準のモデル — 枠組みの比較の相手で、広く手に入る中で最もサイバーの能力が高いモデルを指す。モデルの進歩に応じて動くので、同じ脱獄の点数が後で変わりうる。
🔗 一次ソース
