Signal
📡 Signal｜Anthropic、METR の 6 人に社員並みの社内アクセスを付与
Anthropic が10月15日、評価機関 METR のチーム 6 人に社員に近いアクセスを与えたと公表。METR はリスクや事故の分析を公表でき、Anthropic は止められない。
Anthropic は10月15日、外部の評価機関に自社の安全の取り組みを評価させる体制を公表し、非営利の評価機関 METR のチーム 6 人に「社員に近いアクセス」を与えたと明らかにした。6 人は会社の端末と執務スペース、社内の道具やシステムを使え、Anthropic のリスク評価チームとほぼ同じ範囲の情報に触れられる。
要は、評価する側に公表の権利を渡したことだ。METR は Anthropic のリスクの水準、事故、運用の実態について分析を公表でき、Anthropic はその公表を止められない。AI 企業の安全性を、企業の外にいる人間が内側から見て書く仕組みが、一つの会社で動き始めた。
METR に渡した権限と、残した線
Anthropic の説明によると、社員は顧客のデータ、法的に保護された情報、モデルの構造 (アーキテクチャ) といった狭い区分を除き、METR のチームと情報を共有するよう促されている。
公表の扱いは次のとおりだ。
- METR は Anthropic のリスクの水準、事故、運用について分析を公表できる
- Anthropic は公表を拒否できない。事前に決めた区分の情報に限り、黒塗りを求められる
- METR は、黒塗りの中身を明かさずに、その黒塗りが正当だったと思うかを公に述べられる
最後の一点が仕組みの要になる。黒塗りの権利を企業が持つ以上、何が消されたかを評価する側が言えなければ、公表の自由は形だけになりうる。今回の取り決めは、その判断を評価機関の口に委ねた。最初の報告がいつ出るかは示されていない。
3 段階のアクセスと、他の評価機関
Anthropic は外部の評価機関との関係を 3 段階に分けている。
- 第 1 段階: 範囲を絞った調査。公表には Anthropic の承認が要る
- 第 2 段階: 承認なしで公表でき、情報への接近も広い。Anthropic は特定の区分の黒塗りを求められる
- 第 3 段階: 今回の METR の取り決め。社員に近いアクセス
ほかの評価機関とも作業が進んでいる。SecureBio は、Anthropic が8月に出したリスク報告書のうち化学・生物兵器の章を検証しており、前回の報告書での試行に続く 2 回目になる。Accenture と Faculty は、評価、レッドチーム (攻撃側に立った試験)、アラインメント (AI の振る舞いが人の意図に沿うか) の評価、安全装置の試験を含む広い提携に向けて準備している。Hugging Face などとも初期の協議をしているという。Anthropic は、いずれ複数の評価機関が第 3 段階に入ることを望むとしている。
約束から実装へ
Anthropic は以前から、独立した第三者による評価を強めると約束してきた。投稿によると、同社は「White House Accord on Super Intelligence」に署名しており、これには独立した外部の監査人や評価機関と協力する誓約が含まれる。今回の公表は、その約束を具体的な権限の形に落としたものだ。
AI の安全性をめぐる外部評価は、これまで主に、公開前のモデルを一定期間試させてもらう形で行われてきた。評価できるのはモデルの出力で、会社の中で何が判断され、どんな事故が起きたかまでは見えにくい。Anthropic が今回渡したのは、モデルではなく組織への接近だ。投稿は「全てのフロンティア AI 企業が同じことをすべきだ」と結んでいる。他社が追随するかどうかで、これが一社の取り組みにとどまるか、業界の作法になるかが分かれる。
今回の取り決めは、評価機関にモデルの開発や公開を止める権限を与えるものではない。報告が出ても、それをどう受け止めるかは企業と規制当局、利用者の側に残る。外から見える場所に事実が出ること自体が、この仕組みの価値になる。
次に見るもの
確認先は二つある。一つは METR のウェブサイトと公式 X で、METR が Anthropic について最初の分析を出すか、そこに黒塗りへの評価が付くかを見る。もう一つは Anthropic のニュースページで、同社は進展に応じて更新すると書いている。SecureBio の検証が終わった後に追加のアクセスを検討するとしており、SecureBio の結果の公表が、第 2 の評価機関が段階を上げるかどうかの分かれ目になる。
ことば
- METR — フロンティア AI モデルの危険な能力や振る舞いを評価する非営利の研究機関。今回、Anthropic の社内に 6 人のチームを置き、社員に近い範囲の情報を見て評価する。
- レッドチーム — 攻撃する側の立場に立ち、システムの弱点や悪用の経路を意図的に探す試験。AI では、危険な出力を引き出す手口を事前に探すのに使う。
- リスク報告書 — Anthropic が自社モデルの危険性の評価をまとめて公表する文書。8月版の化学・生物兵器の章を、外部の SecureBio が検証している。
🔗 一次ソース
