Signal
📡 Signal｜Google、機密向けと長文脈向けの TPU 2種を追加
第8世代の TPU は学習・推論・機密・長文脈の4つの型に。用途ごとに分ける戦い方で Nvidia の GPU に挑む。
Google は11月9日、自社設計の AI 向け半導体 TPU の第8世代に、TPU 8tx と TPU 8i Max の2つのシステムを加えると公式ブログで発表した。4月に出した TPU 8t (学習向け) と TPU 8i (推論向け) に続くもので、同社は1年に4つの TPU のシステムを出すのは初めてだとしている。
Google 公式ブログ (11月9日・Amin Vahdat 氏) — TPU 8tx と TPU 8i Max、TPU Sync のオープンソース化、顧客「100社近く」Google
2つの新型は、計算の速さを競うよりも、AI を企業や政府が実際に使うときの壁に向けて作られた。8tx は機密のデータを守りながら動かすため、8i Max は長い文脈を扱うための記憶の帯域を広げるためのものだ。Nvidia の GPU が握る AI 半導体の市場で、Google は用途ごとに型を細かく分ける戦い方を選んでいる。初期報は11月9日の速報で伝えた。
2つの新型の役割
AI とインフラの最高技術責任者 Amin Vahdat 氏のブログによると、2つの新型は次の課題を受け持つ。
- TPU 8tx — 機密の推論向け。8t と同じ半導体に、AMD の第5世代 EPYC の CPU を組み合わせる。データとモデルの重みを、動かしている最中もハードウェアの水準で隔離する。規制の厳しい企業や政府が、自前のモデルを機密のデータの隣で動かす用途を想定する
- TPU 8i Max — 長い文脈向け。TPU 8i のチップ2つを1つのパッケージにまとめ、8i と比べて計算、SRAM、HBM (高帯域メモリー) の帯域をそれぞれ2倍にした。同じラックの場所に2倍の半導体を載せられる
あわせて、TPU のクラスター全体のメモリーを一つの階層として扱うソフト「TPU Sync」をオープンソースにする。会話の途中の記憶 (KV キャッシュ) の受け渡しの遅れと、最初の応答までの時間を90%以上縮めるという。2つの新型の提供開始の時期と価格は、ブログに書かれていない。
「100社近く」の顧客と、Nvidia との距離
Vahdat 氏は TPU の事業の顧客を「100社近く」とし、最先端の AI の研究所、トレーディング会社、小売、大学を挙げた。社名は出していない。第8世代の性能は、8t が前の世代より学習で最大2.7倍、8i が推論の価格あたりの性能で80%上と説明している。
AI 半導体の市場の中心は、いまも Nvidia の GPU だ。汎用の GPU を学習にも推論にも使うのが主流のなかで、Google は学習、推論、機密、長文脈と4つの型に分けた。用途ごとに合わせた1台を出す方向だ。顧客にとっては、Nvidia の GPU が中心だった調達先の比較の軸が増える。
この1週間、Nvidia は CEO をめぐる報道で取締役会が独立調査に入るなど、事業の外の話題が続いた (11月9日の Signal)。Bloomberg は今回の発表を「エヌビディアへの攻勢を強める」と見出しに取っている。
次に見るもの
確認先は Google Cloud のブログと料金のページで、TPU 8tx と 8i Max の提供の開始と時間あたりの価格がいつ載るかを見る。Alphabet の次の四半期決算では、クラウド部門の売上と設備投資の説明に TPU の外部販売の伸びが出るかを確かめる。
ことば
- TPU (Tensor Processing Unit) — Google が自社で設計する AI 向けの半導体。Google のクラウドで外部の企業にも貸し出され、学習と推論の両方に使われる。第8世代で用途別に4つの型に分かれた。
- KV キャッシュ — 生成 AI が会話や文書を読み進めるときに、途中の計算結果を保存しておく記憶。文脈が長いほど大きくなり、メモリーの帯域と受け渡しの速さが応答の速さを左右する。
🔗 一次ソース
