Deep Dive
🔬 Deep Dive｜3兆級の知能は、本当に「持てる」ようになったのか
7月27日、Moonshot AIはKimi K3のフルウェイトと技術報告を公開した。予告されていた「3兆級のオープンモデル」は、告知から、第三者が取得して調べられるアーティファクトへ変わった。
だが、ダウンロードできることと、実用的に動かせることは同じではない。Kimi K3は総2.8兆パラメータ。各トークンで動くのは1040億だが、Hugging Faceの配布リポジトリ表示は1.56TBに達する。
今回の公開が広げたのは、誰もが直ちに巨大知能を手元で動かせる世界ではない。モデル能力をAPI提供者から切り離し、保持・検証・改変できる可能性である。その可能性と、実際に運用できる主体の間に何が残るのか。アーキテクチャ、配布規模、推論基盤、ライセンスの順に読む。
■ 1｜2.8Tなのに、動くのは104B
Kimi K3の「2.8T」と「104B」は、矛盾する二つの数字ではない。
モデルはMixture-of-Experts（MoE）構造を採る。内部には896のexpertがあり、各トークンの処理では、そのうち16が選ばれる。モデル全体が持つ知識容量は2.8兆パラメータだが、一度の計算で活性化するのは1040億パラメータに絞られる。
これは、巨大な専門家集団の全員を毎回会議に呼ぶのではなく、入力ごとに担当チームを編成する設計に近い。全2.8Tを常時演算する密なモデルより、計算量を抑えながら容量を増やせる。Moonshot AIは、896のうち16を使うStable LatentMoEなどにより、Kimi K2比で全体のscaling efficiencyが約2.5倍になったと説明している。
ただし、104Bだけを保存すればKimi K3になるわけではない。どのexpertが呼ばれてもよいように、全体のweightsを保持し、複数のaccelerator間でroutingする必要がある。活性パラメータが減らすのは主に各トークンの演算量であり、モデル全体の保存・配置問題を消す数字ではない。
2.8Tは「持っている能力の総量」、104Bは「一度に働かせる量」。Kimi K3の実行可能性は、この二つを分けたところから見えてくる。
■ 2｜長さと深さをどう通すか
Kimi K3は、規模を増やしただけのモデルではない。93層の内訳はKDAを使う69層とGated MLAを使う24層で、100万トークン級のcontextを扱う。
Kimi Delta Attention（KDA）は、長いsequenceを通る情報を効率よく扱うための中核である。Attention Residuals（AttnRes）は、各層の出力を一様に積み上げるのではなく、深さ方向に必要な表現を選択的に取り出す。KDAが「長さ」を、AttnResが「深さ」を通る情報流を整える、というのが開発元の説明だ。
もう一つの難所は、896 expertsへの仕事の配分である。入力が特定のexpertへ偏れば、一部のacceleratorだけが混雑し、他が待つ。Moonshot AIはStable LatentMoEに加え、router scoreの分位から配分を整えるQuantile Balancingや、expert間の通信量を均すMoonEPを用意した。疎なモデルは、選ぶ仕組みだけでなく、偏りを止める仕組みまで含めて初めて速くなる。
weightsにはMXFP4、activationsにはMXFP8を使い、SFT段階からquantization-aware trainingを適用した。低い精度表現は巨大な容量と演算を圧縮するが、その恩恵を引き出すkernel、通信、serving softwareも必要になる。
Kimi K3の本体は2.8Tという数字だけではない。attention、routing、量子化、通信を同時に設計した、モデルと計算基盤の組み合わせである。
■ 3｜1.56TBは「公開」と「利用」の間にある
公開物の物理的な大きさが、最初の現実を示す。
Hugging FaceはKimi K3のリポジトリ全体を1.56TBと表示している。weightsは96個のsafetensors shardに分割される。これは手元のPCへ置けない容量ではない。しかし、保存できることと、十分な速度で推論できることの間には大きな距離がある。
必要なのはstorageだけではない。expertを配置するmemory、トークンごとに選ばれたexpertへデータを送る高帯域のinterconnect、KDAを処理するkernel、複数acceleratorを止めずに動かすserving engineが要る。model cardはvLLM、SGLang、TokenSpeedを挙げ、公式tech blogは64基以上のacceleratorを束ねたsupernode構成を推奨する。64基は動作の最低条件ではなく、開発元が効率的な配備のために示した推奨である。
FlashKDAやMoonEPが同時に公開された意味もここにある。巨大モデルではweightsだけを配っても、性能は再現されない。専用kernelとexpert-parallel通信まで揃って、初めて設計上の効率が現実のthroughputへ近づく。
したがって、Kimi K3は「誰でも取得できる」が、「誰でも同じ条件で運用できる」わけではない。アクセスの壁は下がった。計算資源、電力、通信、運用人材の壁は残った。
■ 4｜ライセンスが残す境界
公開されたのは、無条件の共有財ではない。Kimi K3には独自のKimi K3 Licenseが適用される。
ライセンスは、利用、複製、改変、公開、再配布、再許諾、販売、fine-tuning、派生物の作成を広く認める。その一方で、著作権表示と許諾文の保持、法令順守に加え、一定規模以上の商用利用に条件を置く。
Model as a Service事業者とその関連会社の合算売上が、連続する任意の12か月で2000万米ドルを超える場合、商用利用の前にMoonshot AIとの別契約が必要になる。また、Kimi K3または派生物を使う商用製品・サービスが月間1億MAUを超えるか、月間売上2000万米ドルを超える場合、UIに「Kimi K3」を目立つ形で表示しなければならない。内部利用と、Moonshot AIの公式製品または認定推論パートナー経由の利用には、これら二つの条項の例外がある。
これはライセンス原文の要約であり、法的助言ではない。実際の利用では原文と個別事情の確認が必要になる。
そして、weightsの公開は、学習データや学習工程のすべてが公開されたことを意味しない。取得・改変できる権利が広い「open weights」と、再現に必要な材料まで揃う「open source」を同じ言葉で呼ぶと、開放された範囲を見誤る。
公開性は、ファイルが見えるかだけでは決まらない。何を保持でき、何を変更でき、どの条件で再配布・商用利用できるかまで含む権利の構造である。
■ 5｜持てる知能と、動かせる知能
それでも、フルウェイトが公開された変化は小さくない。
APIだけで提供されるモデルは、能力の保存場所、価格、利用規約、更新、停止をproviderが決める。weightsを取得できれば、同じアーティファクトを保存し、独自の評価にかけ、用途に合わせて改変し、別の運用者へ移す選択肢が生まれる。所有とは、単独ですべてを動かすことではない。供給者を選び直せる状態を持つことである。
一方、Kimi K3は計算資源の集中を解消しない。むしろ1.56TBの配布物と大規模な推奨構成は、モデルを所有できる主体と、実用速度で運用できる主体が一致しないことを可視化した。open weightsはprovider lock-inを弱めるが、hardwareとinfrastructureへの依存まで消すわけではない。
ウェイトの配布に先立って争点となった蒸留疑惑や制裁可能性も、この公開だけでは決着しない。weightsを調べられる範囲は広がったが、学習データと全工程のprovenanceが公開されたわけではないからだ。政治的な主張と技術的に検証できる事実は、引き続き分けて扱う必要がある。
性能についても同じである。Moonshot AIは多数の評価結果を公開したが、条件やagent harnessは一様ではない。技術報告自身も、総合性能ではClaude Fable 5とGPT-5.6 Solに後れを取ると記す。開発元の表を最終判定にせず、第三者が同じweightsを動かせるようになったことを、独立検証の出発点と見るべきだ。
次に見るものは明確である。第三者がどこまで同じ性能を再現できるか。実測のmemory footprint、throughput、電力、1トークン当たりの費用はいくらか。より小さな派生モデルが生まれるか。独自ライセンスの条件が実際の商用配備でどう運用されるか。
Kimi K3が開いたのは、3兆級の知能を誰もが直ちに動かせる世界ではない。
開いたのは、巨大な知能をproviderのAPIから切り離し、保持・検証・改変する道である。持てる知能は現実になった。動かせる知能にする仕事は、まだ計算基盤の側に残っている。
🔗 一次ソース