🔬 Deep Dive｜Meta の 8B 世界モデル、ロボットにもスケーリング則

Meta の研究部門 FAIR を中心とする研究者 12 人は 10 月 7 日、ロボット用の世界モデル「RoboJEPA」の論文を arXiv に公開した。最大 80 億パラメータ (8B) まで 8 段階の大きさで学習したところ、ロボットが頭の中で先の場面を想像するときの誤差が計算量に応じて冪乗則どおりに下がり、2B までのモデルで引いた線が、学習に使わなかった 4B と 8B の値を事前に言い当てた。

arXiv: RoboJEPA: Scaling Robotic Latent World Models (2026 年 10 月 7 日投稿・著者 12 名・論文のライセンスは CC BY 4.0)arXiv.org

世界モデルとは、いまの場面とこれから取る動作から、世界が次にどう変わるかを予測する AI だ。冪乗則は、計算量を 10 倍にするたびに誤差が決まった割合で縮んでいく、という規則を指す。言語モデルが巨額の投資を集められたのは、この規則のおかげで「計算をあと 1 桁積めばどこまで良くなるか」を、お金を使う前に見積もれたからだ。論文は序論で、この予測可能性がスケーリングを「賭けから科学に変える」と書き、同じことが物理世界のモデルで成り立つかはほとんど分かっていないと問いを立てた。答えに使ったのは、シミュレーションではないロボットの実データを多く含む学習の記録だ。

10 月 10 日の Deep Dive で取り上げた Odyssey-3 は、世界モデルの規模は言語モデルから 2 桁遅れているという同社の見立てとともに、「どこまで伸びるか」という問いを残した。RoboJEPA は、その問いへの最初の測定として読める。本稿では、何を学ばせたか、どの曲線に乗ったか、どの能力がどの計算量で現れたか、Meta がそれをどう公開したかを順に確かめ、最後に再検証の当てを整理する。

23 のデータセットと 12 種のロボット — RoboJEPA は何を学んだか

学習データは、公開されているロボット操作のデータセット 23 本を一つにまとめたものだ。片腕のアーム、双腕ロボット、人型ロボットまで 12 種類の機体にまたがり、実機の記録とシミュレーションの両方を含む。映像は合計 15,022 時間、そのうちロボットの操作と時刻が揃っているのが 6,692 時間ある。操作の表し方 (関節の角度か、手先の位置の変化か、など) は 26 通りあった。

量の多い順に見ると、AgiBot World が映像 8,036 時間、Open X-Embodiment から採った 9 本が 4,298 時間、Roboset が 1,244 時間と続く。

仕組みは 2 段に分かれる。まず、Meta が別に公開している映像モデル V-JEPA 2.1 のエンコーダが、カメラ映像を特徴量 (映像を圧縮した数値の並び) に変える。このエンコーダは凍結したまま動かさない。その上に載る「予測器」が RoboJEPA の本体で、過去の特徴量と、ロボットの状態と、これから取る動作を受け取り、次の瞬間の特徴量を出す。出した予測を入力に戻せば、何手先までも想像を続けられる。論文が「想像の誤差 (imagination error)」と呼ぶのは、この想像が現実からどれだけずれるかだ。

画素を一枚ずつ描き直さずに、特徴量の空間で先を予測するのが JEPA (結合埋め込み予測アーキテクチャ) の考え方で、ヤン・ルカン氏が 2022 年に道筋として示した方式だ。論文は、画素を毎回作り直す計算を払わずに済むことが、予測器を数十億パラメータまで大きくできた理由だと説明する。

使い方は、ゴールの画像を 1 枚渡すだけだ。ロボットは候補となる動作の列をたくさん想像し、想像の終点がゴールの画像に最も近づく列を選んで最初の一手だけを実行し、また考え直す。作業ごとの専用の学習はしない。

系譜としては、Meta が 2025 年 6 月に公開した V-JEPA 2 の、動作を条件にした予測器の延長にある。V-JEPA 2 では少量のロボットデータで追加学習した 1 つの大きさのモデルだった。RoboJEPA はデータを大規模な混合に置き換え、予測器を 22M・50M・100M・300M・1B・2B・4B・8B の 8 段階で作った。論文は 8B を、知る限りで「これまでに学習された最大の JEPA 予測器」と書く。

2B までで引いた線が、4B と 8B を当てた

測り方はこうだ。学習に使っていない場面の記録を用意し、最初の観測と、実際に記録された 9 手分の動作を与えて、モデルに 9 歩先まで想像させる。想像した特徴量と、実際の映像の特徴量の差を平均したものが想像の誤差になる。評価の場は 2 つあり、実機の Franka アームで集めた DROID の記録と、台所を模したシミュレーター RoboCasa だ。

学習の計算量は FLOPs (学習中に行った浮動小数点演算の総回数) で数える。8 段階のモデルを学習の途中段階も含めて並べると、計算量は 2×10^19 から 9.5×10^22 FLOPs まで、3 桁以上にわたる。各計算量で最も誤差の小さかったモデルを結ぶと、計算効率の最前線が描ける。

研究チームはこの最前線に 4 つの式を当てはめた。使ったのは 22M〜2B の点だけで、4B と 8B は答え合わせのために取っておいた。当てはまりが最もよかったのは、論文が「二次の冪乗則」と呼ぶ形だ。普通の冪乗則では計算量を 10 倍にしたときの改善の割合が一定だが、二次の冪乗則ではその割合自体が計算量とともにゆるやかに変わる。4B と 8B での外れ幅は DROID で 0.6、RoboCasa で 1.4 (いずれも ×10^-3) で、普通の冪乗則の 2.0 と 3.7 より 2〜3 分の 1 に小さかった。

補足が一つある。式の形そのものは、4 つの候補のうち 4B と 8B をいちばんよく当てたものとして選ばれている。答え合わせの点が「どの式を使うか」の判断にも効いているので、この式がもっと大きいモデルでもそのまま当たるかが、次の本当の試験になる。

曲線から読めるのは伸びしろだけではない。当てはまりのよかった 2 つの式は、どれだけ計算を積んでも減らしきれない誤差を、DROID で約 0.2、RoboCasa で約 0.17 と、ほぼ同じ値で見積もった。論文は、いまの学習とデータの量のもとで RoboJEPA がその値に近づいていると書く。結論では、同じデータを何周も学習しているため、この先を伸ばすにはパラメータを増やすだけでなく、より多く、より多様なロボットの操作データが要るだろうと述べている。

どこまで伸びるかと、どこで止まるかが、同じ曲線に書いてある。

言語モデルでスケーリング則が果たしてきた役割は、まさにこれだった。次に大きいモデルを作るか、データを集めるか、計算機を買うかを、お金を使う前に比べられる。論文も、ロボットでは質の高い操作データが少なく集めるのに費用がかかるからこそ、計算量ごとにどの能力が得られるかを知る意味があると書く。

さらに論文は、この想像の誤差がシミュレーターでの作業の成功率とよく連動することを示した。実機での評価は時間も人手もかかる。手元の記録データで測れる誤差が実機の成績の代わりの物差しになるなら、開発の回し方そのものが速くなる。

手を伸ばす、持つ、避ける、押す — 能力が現れる計算量の順番

論文は、どの能力がどの計算量で現れるかも並べた。舞台は RoboCasa のシミュレーターで、能力を 1 つずつ切り出した 4 つの課題を用意した。

• 手を伸ばす (手先を狙った 3D の位置へ動かす): 約 10^20 FLOPs で現れる。データ全体で 5,000 万〜1 億パラメータのモデルを学習した規模にあたる
• 持ったまま動く (掴んだ物を落とさずに目標の位置へ運ぶ): 約 3×10^20 FLOPs
• 障害物を避ける (台所の家電を回り込んで目標へ): 10^21 FLOPs あたりで立ち上がり、10^22 FLOPs あたりで頭打ちになる
• 物を押す (机の上の物を押して目標の位置へ動かす): 10^22 FLOPs 前後まで成功するモデルが 1 つもなく、そこを越えると大きさにかかわらず成功し始める

並びは、手先の 3D の制御、掴んだ物の扱い、動かない周囲の形、周囲の物の動き、の順だ。自分の体のことは早く分かり、周りの物が自分の動作でどう動くかを分かるのがいちばん遅い。

障害物と押す課題には、学習の仕方の変更が絡む。最初の学習法 (想像を 2 歩先までしか練習させない) では、障害物の課題で 300M のモデルが 1B を上回るなど、計算量との関係がきれいに出なかった。研究チームは学習の最後の仕上げ段階で想像の練習を 10 歩先まで延ばし、解像度も上げた。上の立ち上がりの値は、そのやり方で学習したモデルで出たものだ。

これらの値は、この論文の条件 (このデータの混合、凍結したこのエンコーダ、このシミュレーターの課題) のもとで測ったものだ。別のデータや別の機体で同じ桁になる保証はない。それでも、欲しい能力を先に決め、それに要る最小の計算量を見積もるという手順を論文自身が勧めている点は、ロボット開発の予算の組み方を変えうる。

計画の振る舞いにも、大きさによる違いが見えた。物を扱う作業では、2B 以上のモデルだけが掴んだあともグリッパーを閉じたまま作業を終え、小さいモデルは途中で開いて物を落とすことが多かったという。

重みもコードも公開、ただし非商用 — Meta の打ち手

公開の範囲は広い。GitHub の facebookresearch/robo_jepa には、22M から 8B までの各サイズの学習済みの重みが、学習の途中段階のチェックポイントまで含めて並ぶ。8B を DROID の 3 台のカメラ・720p の映像で追加学習した版もある。重みは Meta 自身の公開ファイルサーバに置かれ、Hugging Face には置いていない。学習のコードと、ロボットに載せて動かすためのコードも同じリポジトリにある。

途中のチェックポイントまで出したことには意味がある。README には、公開されたチェックポイントの誤差を DROID の評価データで測り、計算量に対して描き直す手順まで書かれている。論文の曲線を、外の研究者が自分の計算機で引き直せる。

ライセンスは 2 層に分かれる。論文は CC BY 4.0 で、出典を示せば自由に使える。一方、コードと重みを含むこのプロジェクトは CC BY-NC-SA 4.0 だ。NC は非商用、SA は改変したものを同じ条件で配ることを求める。研究や検証には使えるが、企業がそのまま製品に組み込める条件ではない。他のプロジェクトから取り込んだコードは、それぞれ元のライセンスに従う。

使うのにも敷居がある。土台の V-JEPA 2.1 エンコーダは別にダウンロードが要り、論文の実機実験ではロボットを GPU のクラスタに直接つないで計画を計算した。8B でも数歩先の計画が数秒で済むよう工夫したと論文は書くが、実時間の動作ではない。

これを Meta の打ち手として読むと、狙いがはっきりする。売り物のロボットや API を出すのではなく、物差し (曲線と、それを引き直せるチェックポイント一式) を研究の共有財として配り、商用の利用には線を引いた。10 月 10 日に取り上げた Odyssey-3 は、重みを公開しない製品として出てきた。同じ世界モデルの分野で、一方は製品を、もう一方は測り方を外に出している。分野の標準の測り方を握る側に立つことは、製品を先に出すのとは別の形の先行になる。

再検証推奨先 — 第三者の再現、実機の表、他の機体

重みと手順が公開されたことで、この論文の主張は外から確かめられる。確かめる先は次の 3 つだ。

1. 第三者が曲線を引き直せるか。 確認先は GitHub の facebookresearch/robo_jepa の Issues と、外部の研究者による再現の報告だ。README の評価手順で公開チェックポイントの DROID 誤差を測り直し、論文の図と同じ曲線に乗るか。もう一つは arXiv の版の履歴で、v2 が出たときに数値や式の形が改められていないかを見る。

2. 実機の成功率は、勝ち負けの表として読まない。 論文の表にある実機 (Franka) の成功率は次のとおりだ (掴む / 持ち上げる / 拾って置く、%)。

• RoboJEPA-8B (ゴールは画像): 67 / 50 / 27
• RoboJEPA-4B (ゴールは画像): 60 / 30 / 21
• π0-FAST (ゴールは文章): 22 / 12 / 40
• π0.5 (ゴールは文章): 5 / 0 / 53

論文自身が、比較の相手 (文章の指示で動く視覚・言語・行動モデルの π0-FAST と π0.5) とは目標の与え方も学習条件も違うので、直接比べる基準にはならず、文脈を示す参考にとどまると断っている。π0 系は DROID で追加学習したモデル、RoboJEPA は DROID を含む混合データで学習したモデルで、どちらも作業専用の追加学習はしていない。いちばん難しい「拾って置く」では、π0.5 の 53% と π0-FAST の 40% が RoboJEPA-8B の 27% を上回る。論文は、π0 系が「持ち上げる」で伸びないのは DROID のデータに lift という動詞がほとんど出てこないせいかもしれないと推測している。

読み方の注意はほかにもある。RoboJEPA の数値は作業ごとに 30 回の試行 (比較相手は 50 回) で、人が採点した。ゴールの画像は、決めた動作をロボットにさせ、物を人の手で掴む位置に置いて撮っている。確認先は論文の付録の表 12 (全サイズの進み具合と成功率) で、外部の研究室が同じ Franka の構成で RoboJEPA を動かした報告が出たとき、30 回の試行のぶれを超えて同じ傾向が出るかを見る。

3. 他の機体へ広がるか。 学習には 12 種類の機体が入っているが、冪乗則を測ったのは DROID (実機の Franka) と RoboCasa (シミュレーター) の 2 つで、実機の試験も Franka の片腕だけだ。双腕や人型 (AgiBot World や 1X の機体) で同じ曲線と同じ能力の順番が出るかは、まだ測られていない。エンコーダを凍結したまま予測器だけを大きくした点、文章の指示を使わない点も、論文が自ら挙げる限界だ。arXiv の次の版や後続の論文に、人型や双腕での評価と、エンコーダごと大きくした場合の曲線が出てくるかが、この結果の届く範囲を決める。

ことば

• 世界モデル — いまの場面と取る動作から、世界が次にどう変わるかを予測する AI。ロボットは動く前に結果を想像し、よい動作を選べる。言語モデルの次の基盤として研究が集まっている。
• JEPA — 映像を画素のまま予測せず、圧縮した特徴量の空間で先を予測する学習方式。細部の再現に計算を使わずに済むため、RoboJEPA は予測器を 80 億パラメータまで大きくできた。
• スケーリング則 — 計算量・データ・モデルの大きさと性能の関係を式にしたもの。言語モデルでは 2020 年ごろから使われ、次の 1 桁の投資でどこまで良くなるかを事前に見積もる道具になった。

🔗 一次ソース

• arXiv: RoboJEPA: Scaling Robotic Latent World Models (2026 年 10 月 7 日投稿・著者 12 名・論文のライセンスは CC BY 4.0)arXiv.org
• 論文本文 HTML v1 (データ 23 本・12 種の機体・15,022 時間・22M〜8B の 8 段階・二次の冪乗則の外挿誤差・能力が現れる計算量・実機の表 3 と表 12)arxiv.org
• GitHub facebookresearch/robo_jepa (全サイズと途中段階のチェックポイント・DROID 720p で追加学習した 8B・学習とロボット展開のコード)GitHub
• robo_jepa の LICENSE (CC BY-NC-SA 4.0・非商用)GitHub
• RoboJEPA プロジェクトサイト (著者と所属・概要図)robojepa.github.io
• arXiv: V-JEPA 2 (2025 年 6 月 11 日投稿・動作を条件にした予測器の前作)arXiv.org