Signal
📡 Signal｜Gemini 4 Argon の ARC-AGI-3、実行環境次第で 97.5% と 49.8%
ARC Prize が Gemini 4 Argon の検証済みスコアを公表。ARC-AGI-3 は専用の実行環境で 97.5%、標準の実行環境では 49.8% で、95% 超えは OpenAI に続く 2 社目。
AI の推論力を測る評価 ARC-AGI を運営する ARC Prize は米国時間10月15日、Google の Gemini 4 Argon の検証済みスコアを公表した。最新版の ARC-AGI-3 では、モデルの思考の途中経過を保ったまま進める実行環境で 97.5% (費用 4,800 ドル)、全モデル共通の標準の実行環境では 49.8% (同 5,800 ドル) だった。
同じモデルが、実行環境の違いだけで 2 倍近い差を出した。ARC Prize は Google DeepMind を、ARC-AGI-3 で 95% を超えた 2 社目のフロンティア AI 開発企業と位置づけた。上位の争いは「解けるか」から「いくらで、どの環境で解けるか」へ移っている。
3 世代の評価をそろって高水準で通過
ARC Prize が公表した Argon の数字は次のとおりだ。
- ARC-AGI-3: 97.5% (思考の途中経過を保つ実行環境・4,800 ドル) / 49.8% (標準の実行環境・5,800 ドル)
- ARC-AGI-2: 91.3% (1 問あたり 0.32 ドル)
- ARC-AGI-1: 98.5% (1 問あたり 0.16 ドル)
ARC-AGI は、事前の知識で解けない図形やゲームの課題を AI に与え、初見の規則を自分で見つける力を測る。3 は対話型で、説明のない環境の中で AI が試行を重ね、目標への到達の仕方を自分で見つけなければならない。ARC Prize は 1 と 2 の費用を 1 問あたりで、3 の費用を 1 回の評価全体の金額で示している。
Argon は Google DeepMind が9月30日に発表した最上位モデルで、長い企業業務とサイバー防御を前面に出していた (10月1日の記事)。発表時の比較表は Google 自身の計測が中心だったが、今回は評価の運営元が検証した数字になる。
97.5% と 49.8% を分けた実行環境
ARC Prize の順位表は、ARC-AGI-3 の実行環境を 2 種類に分けて載せている。標準の実行環境は、モデルが自分で選んで残したメモを次の手順へ持ち越す。もう一方は、AI 企業が自社モデルに合わせて用意する接続方式で、モデルの推論の途中経過を保ったまま、長くなった会話を圧縮して、前の作業を使い回せるようにする。
97.5% は後者、49.8% は前者の数字だ。モデルの重みは同じでも、過去の試行をどれだけ引き継げるかで結果が大きく変わる。ARC-AGI-3 のように何十手も試行を重ねる課題では、記憶の持ち方そのものが能力の一部になる。
ARC Prize が告知に添えた順位表の図を見ると、95% を超えている点は OpenAI の GPT-6 系と Argon の 2 系統だけで、いずれも各社が用意した接続方式による数字だ。標準の実行環境では、GPT-6 Astra の最上位設定が 60% 台、Anthropic の Claude Opus 5 が 30% 前後に位置する。標準の実行環境に限れば、どのモデルもまだ 3 分の 2 に届いていない。
上位の争いは費用の軸へ
同じ図で、OpenAI の 95% 超えの点は数千ドルから数万ドルまでの費用帯に散らばり、Argon の 4,800 ドルはその中に入る。得点の天井に 2 社が並んだ以上、次に差がつくのは同じ得点をどこまで安く出せるかだ。
ARC-AGI-3 で 95% を超えるモデルが 2 社から出たことで、この評価の上位の得点差は小さくなった。企業が AI を選ぶ時に比べるのは、同じ課題を解き切るまでの費用と、その数字がどの実行環境で出たかの 2 点になる。Argon のスコアの多くは、Google が自社で用意した接続方式に依存している。企業が自社の業務で同じ水準を再現するには、モデルを呼び出す側の仕組みまで含めて設計することになる。
提供の条件も並んではいない。OpenAI は GPT-6 Astra を自社の安全基準で「重大」に指定している (9月4日の記事)。Argon は発表時点で、重要基盤の防御担当者などへの限定提供から始め、一般提供の日付を示していなかった。評価の数字が出そろっても、一般の利用者や企業が同じ構成をいつ、いくらで使えるかは別に確かめる必要がある。
次に見るもの
確認先は ARC Prize の順位表のページだ。Argon の点が標準の実行環境でどこまで上がるか、そして Anthropic など他社が 95% 超えの列に加わるかが、次の焦点になる。Google 側では、Gemini API のリリースノートで Argon の一般提供の時期と価格が示されるかを見る。
ことば
- ARC-AGI — 初見の課題で規則を自分で見つける力を測る、AI の推論の評価。暗記や大量の学習データでは解きにくいように作られており、数字が上がるたびに「汎用的な知能にどこまで近づいたか」の議論の材料になる。
- 実行環境 (ハーネス) — AI モデルを呼び出し、前の手順の結果を渡し、記憶を管理する外側の仕組み。同じモデルでも、この設計しだいで長い課題の成績が大きく変わることが、今回の 2 つの数字で表に出た。
🔗 一次ソース
