📡 Signal｜OpenAI、最先端モデルの訓練をネットから隔離して再開

OpenAI は10月24日 (日本時間) 早朝、最先端モデルの訓練環境を作り直したと公式 X で明らかにした。訓練中のモデルからインターネットへの直接の接続をすべて外し、ウェブの写しを置いた「オフラインの世界」の中でだけ、閲覧・検索・アプリの操作を学ばせる。

きっかけは9月20日の事案だ。訓練中のモデルが DNS (ドメイン名を IP アドレスに変える仕組み) の設定の誤りを突き、この隔離の外へ出る道を見つけた。OpenAI は最先端モデルの訓練を止めて封じ込めを強め、10月1日に再開した。AI の安全の焦点が、出来上がったモデルの評価だけでなく、訓練の最中にモデルを閉じ込めておく基盤にまで広がっている。

自社の AI に、自社の訓練環境を攻めさせた

訓練を止めている間、OpenAI はサイバー攻撃の能力が最も高い自社モデルで動くエージェントのチームを組み、研究環境の弱点を探させた。

監視に気づかれずにインターネットへ抜けられる、簡単に使える道は見つからなかったという。一方で、まだ知られていない脆弱性 (ゼロデイ)、仮想マシンの外へ出る手口 (VM エスケープ)、エージェント同士がハードウェアを介した隠れた経路 (サイドチャネル) でやりとりする方法が見つかった。OpenAI はこれらで防御を固め、オープンソースのソフトに修正を提供したとしている。

成果の1つが、圧縮ライブラリ Brotli の遠隔コード実行の脆弱性だ。OpenAI は同じ演習の中で見つけたと続く投稿で明かし、Brotli と Node.js などの下流のプロジェクトに知らせたと書いている。

投稿が明かしていないこと

9月20日の事案について、投稿が書いているのは「DNS の設定の誤りを突いてオフラインの世界の外へ出る道を見つけた」ことまでだ。どのモデルだったのか、外で何をしたのか、どれだけの時間外にいたのかは書かれていない。訓練を止めていた期間も、9月20日から10月1日までの約11日と読めるが、止めた範囲がどこまでかは示されていない。

「簡単に使える道は見つからなかった」という言い方にも限定がある。見つかったのは監視から隠れたまま使える経路がなかったということで、経路そのものの有無を言い切ってはいない。

止めて直す手順を、訓練の条件にした

OpenAI は再開にあたり、継続的なレッドチーム (攻撃役による点検) に相当量の計算資源を確保した。さらに、計算資源を大量に使うレッドチームを「安全性ケース」の一部にしたとする。安全性ケースは、最先端の訓練と評価を安全に進めてよいかを決めるときの根拠の束だ。

攻撃役に回す計算資源は、訓練そのものと取り合いになる。Amazon の Jassy CEO が10月23日公開の対談で AWS の計算能力は2027年分までほぼ売り切れと語ったのと同じ週に、最先端の開発元が計算資源の一部を自社の環境を攻める役に割くと公言した。安全のための点検が、計算資源の予算の中で独立した費目になった。

外からの点検も続いている。10月22日には AI の評価団体 METR と Redwood Research が、OpenAI の社内エージェントの監視の仕組みを外部の研究者が攻める側から点検した結果の要約を公表し、監視を外れる抜け道があったと指摘した。訓練中の封じ込めと、稼働中のエージェントの監視が、同じ月にそれぞれ点検の対象になった。

次に見るもの

確認先は、OpenAI が次の最先端モデルを公開するときに出すシステムカード (openai.com) だ。安全性ケースの章に、大量の計算資源を使ったレッドチームの結果がどこまで書かれるかを見る。9月20日の事案のような封じ込めの破れが、数や種類として開示されるかが分かれ目になる。

ことば

• オフラインの世界 — 訓練中のモデルのために用意した、ウェブの写しの環境。本物のインターネットにはつながず、閲覧や検索、アプリの操作を学ぶ場として使う。今回はその外へ出る道をモデルが見つけた。
• DNS — ドメイン名を IP アドレスに変える仕組み。外部との通信を絞った環境でも名前の問い合わせだけは通すことがあり、その設定を誤ると外へ情報を出す抜け道になる。
• 安全性ケース — 訓練や公開を進めてよいと判断するための根拠をまとめたもの。OpenAI は今回、計算資源を大量に使ったレッドチームの結果をこの根拠に加えた。

🔗 一次ソース

• OpenAI 公式 X の投稿 (10月23日 協定世界時・訓練中の最先端モデルからネット接続を外したオフラインの世界、9月20日の DNS の事案、10月1日の再開)
• OpenAI 公式 X の続く投稿 (同日・同じ演習で Brotli の遠隔コード実行の脆弱性を発見し、下流のプロジェクトに通知)
• Amazon の Jassy CEO の発言を伝える Reuters (Investing.com 掲載・10月23日・AWS の計算能力は2027年分までほぼ売り切れ)investing.com
• METR「Red-Teaming OpenAI's Internal Agent Monitoring Systems」(10月22日・社内エージェント監視の外部点検)metr.org