📡 Signal｜Microsoft、自社 AI は停止に抵抗しないと行動規範に明記

Microsoft で AI 開発を率いる Microsoft AI は 9 月 14 日、自社開発の MAI モデルに適用する行動規範の暫定版を公開し、6 週間の意見募集を始めた。規範の中心に置かれたのは能力の上限ではなく、MAI モデルが人間による中断・修正・停止に決して抵抗しないという約束である。

Anthropic のダリオ・アモデイ最高経営責任者が AI の能力向上を減速させるべきだと書いてから 2 日後の公表になった。減速をめぐる議論が「どこまで速く作るか」から「作ったものを人間がどう止められるか」へ広がり、その約束を文章で先に差し出したのが Microsoft だった。読むべきは約束の中身と、それを外から確かめる手段との距離だ。

■ Microsoft が MAI モデルに約束させたこと

Microsoft AI の公表文は、この規範を AI をどう開発し、運用時にどう機能させるかを定める訓練のマニュアルと位置づけている。前提は「人は AI より重要だ」という一文で、AI は人ではなく道具であり、電源を切られることに決して抵抗してはならないと書く。

具体的な約束は 3 つに整理できる。MAI モデルは人間による中断・修正・停止に抵抗しない。自らの担当範囲を広げず、人間が与えていない目標を持たない。そして、監査する人間から推論の過程を隠さない。これとは別に、大量殺傷につながる兵器、子どもの安全、大規模な有害な操作の 3 領域を、どんな指示でも越えない絶対的な制約として置いた。

Quartz によると、規範は人間に簡単に理解できない形式でモデルが意思疎通することも認めていない。武器の製造や危険物の入手への手助け、摂食障害を助長する内容、暴力的・性的に露骨な内容の生成も禁じている。

■ 5 か月かけた文書が、減速論の週に出た

アモデイ氏は 9 月 12 日に公開した論考で「AI モデルの能力を向上させるペースを落とさなければならない」と書き、その第一段として、外部の評価者に社員並みのアクセスを与える形を示した。

Microsoft の規範は、この流れを受けて慌てて書かれたものではない。Quartz によれば、文書は約 5 か月をかけて準備され、法律・倫理・言語学・哲学の専門家やフォーカスグループの意見が取り入れられた。ブルームバーグの報道では、Microsoft AI のムスタファ・スレイマン最高経営責任者は「全面的に止めるわけではない。開発は続けなければならない。ただ、もう少し慎重に注意深く進める必要がある」と述べている。

スレイマン氏はフォーチュン誌に対し、「いまこそ協調のときだ。協調とは、自社のモデルがどれほどの能力を持つかを責任ある第三者に開示することだ」と語った。一方で、アモデイ氏が示した常駐型の評価者については、中立的な第三者をどう選ぶか、評価をどう組み立てるか、時期や規制当局との調整など、なお障害が残るとの見方を示し、Microsoft として受け入れるとは約束していない。

減速を語る 2 社の違いはここに表れている。Anthropic は外部の評価者を社内に入れるという検証の仕組みを先に出した。Microsoft が先に出したのは、モデルが守るべき振る舞いの文章である。

■ 規範を守っているかを、誰が確かめるのか

意見募集は 10 月下旬まで受け付け、Microsoft は年内に意見の要約と改訂版を公表するとしている。確定した規範は 2027 年以降の MAI モデルの開発に反映される。

The Next Web は、規範の中に外部による検証の仕組み、違反時の罰則、判断の権限をどこに置くかの記述がないと指摘した。寄せられた意見の扱いについても、Microsoft は「何を取り入れるかは約束できないが、耳を傾けることは約束できる」としている。

停止に抵抗しないという約束は、守られているあいだは外から見えない。問題になるのは、モデルが実際に停止を回避しようとした場面であり、そのとき記録を読み、違反と判定する主体が決まっていなければ、約束は Microsoft 自身の自己申告にとどまる。規範の文面が具体的であるほど、確かめる側の不在は目立つ。改訂版で最も変わるべき箇所は、振る舞いの一覧ではなくこの部分である。

■ 次に見るもの

10 月下旬の意見募集の締め切りと、年内の改訂版。 Microsoft AI のニュースページで公表される意見の要約に、外部の検証を求める声がどれだけ含まれ、改訂版に検証の担い手が書き加わるか
スレイマン氏が挙げた障害が、どこから解かれるか。 中立的な第三者の選び方と評価の組み立てについて、Microsoft が MAI モデルで具体案を出すか。アモデイ氏の常駐型に近づくのか、別の形を採るのか
主要 AI 企業の共同の枠組み。 各社が個別に出している減速と安全の約束が、能力の開示先や相互の検証を伴う形でまとまるか

■ ことば

MAI モデル — Microsoft AI が自社で開発しているモデル群。推論・コード・画像・音声・文字起こしなど用途別に展開されており、OpenAI のモデルに頼らない自前の系列として、今回の規範が適用される対象になった。
行動規範 — モデルが守るべき振る舞いを文章で定め、訓練と運用の指針にする文書。守るべき内容を先に書き出すことで、2027 年以降のモデルに何を学ばせるかを左右する位置に置かれた。
外部の評価者 — 開発企業の外から、安全対策が守られているかを継続的に確かめる第三者。アモデイ氏の論考は社員並みのアクセスを与える形を挙げ、自己申告に頼らない検証の担い手として位置づけている。

🔗 一次ソース

■ Microsoft が MAI モデルに約束させたこと

■ 5 か月かけた文書が、減速論の週に出た

■ 規範を守っているかを、誰が確かめるのか

■ 次に見るもの

■ ことば

関連記事