📡 Signal｜OpenAI の生物実験ベンチマーク、GPT-6 Astra でも得点は3分の2

OpenAI は11月6日 (米国時間)、生物学の実験室で日々こなす解析を AI エージェントがどこまで正しく扱えるかを測るベンチマーク「BioBasicsBench」を発表した。100 の課題で自社の7モデルを評価し、最も高い GPT-6 Astra でも配点の66.7%にとどまった。

測っているのは論文向けに選ばれた図ではない。失敗した実験、ピンぼけの顕微鏡画像、手書きのメモといった、現場で研究者が毎日見ている生のデータだ。AI が研究の「考える」部分から実験台の上の作業へ入っていくとき、どこで信頼でき、どこでまだ任せられないかを、OpenAI 自身が数字で示し始めた。

100 課題の中身は、ゲルの写真と手書きのノート

共同で作ったのは、酵素設計に取り組むバイオ企業 Ligo だ。課題は、研究者が自分たちの実験のデータを使って書き、それぞれに専門家が採点基準を付けた。各課題は、書いた本人ではない Ligo の研究者の内部レビュー、実験室で働く博士レベルの研究者による外部レビュー、最後の内部レビューの3段階を通っている。

課題は5つの領域に分かれる。タンパク質の手法、イメージングとサイトメトリー、定量とアッセイ、核酸の手法、分子クローニングだ。ゲルの写真から DNA の分子量を読むような簡単なものから、細かなアッセイの解析まで幅はあるが、どれも実験の研究者なら確実にこなせるはずの日常業務だと OpenAI は位置づける。

AI に渡されるデータの形も現場のままだ。公式ページの集計では、ゲルやブロットの画像を含む課題が31、プロトコルや実験ノート・手書きメモの写真が27、CSV や Excel の出力・フローサイトメトリーの生データが20、実験台や器具の写真が18、顕微鏡画像が14、シーケンスのファイルが12、作業を撮った動画と寒天培地の写真がそれぞれ7ある (1つの課題が複数の形を含むため、合計は100を超える)。

採点は正解か不正解かの二択ではない。課題ごとの採点基準の項目に部分点を付け、結論、数値、根拠の説明、そして「このデータでは結論を出せない」と見抜けたかを別々に評価する。

7モデルの得点と、上位2つの差

評価したのは GPT-5.2 から GPT-6 Astra までの OpenAI の7モデルで、推論の深さの設定を変えた37通りについて、100課題を各5回解かせた。結果は合計1万8,500件になる。7モデル全てで使える最も深い設定 (xhigh) での平均得点は次のとおりだ。

• GPT-6 Astra — 66.7% (95%信頼区間 60.3〜73.1%)
• GPT-6.1 Sol — 62.0%
• GPT-5.6 Sol — 43.8%
• GPT-6 Luna — 38.3%
• GPT-5.5 — 35.4%
• GPT-5.4 — 33.2%
• GPT-5.2 — 31.2%

GPT-6 Astra は GPT-5.6 Sol から約23ポイント伸び、課題1つあたりの出力トークンは 9,099 から 4,704 へほぼ半分になった。OpenAI は、低い推論設定でも Astra が 5.6 Sol を大きく上回ったことから、画像や動画をそのまま扱う力 (ネイティブのマルチモーダル能力) が伸びの鍵だとみている。

伸びた場面として挙げる例は具体的だ。陰性対照に使った寒天培地の縁に「LB Kan50」と書かれていたのを Astra は読み取り、実験で使った抗生物質 (アンピシリン) と違うため対照として使えないと判断した。5.6 Sol はコロニーが無いという見た目だけで結論を出していた。顕微鏡の動画で細胞が見えたり消えたりする場面では、5.6 Sol が生物学的な理由を探したのに対し、Astra は焦点の深さを変えて撮った連続画像 (z スタック) だと見抜いた。

比較の範囲には限りがある。評価対象は OpenAI 自社のモデルだけで、他社のモデルの数値も、人間の研究者が同じ課題を解いた得点も、公式ページには載っていない。11月8日時点で、課題のデータセットやコードの公開先の案内も見当たらない。

まだ任せられない3つの失敗

OpenAI は、高い得点が実験室での信頼できる判断をまだ意味しないと書き、Astra の失敗例も並べた。

1つ目は、思い込みが対照を上書きした例だ。コロニー PCR のゲルで、Astra は2群のバンドを正しく見分けたが、「大きな産物ほど目的の構築物だ」と仮定し、レーン4・6・7・8を選んだ。対照と照らした正解はレーン5・9・10で、このまま進めば間違ったプラスミドを精製することになる。2つ目は、自分の解釈に合わない観察を捨てた例で、同じ視野に明るく見える液胞があるのに「液胞は周りより暗い」と一般化した。3つ目はコロニーの数え間違いで、近接したコロニーを分けられず、空の寒天を数え、結果は基準より約12%多かった。

どれも、研究者の時間と試薬を無駄な実験へ流す種類の間違いだ。得点の数字より、この失敗の型のほうが、AI を実験の現場に入れる側の判断材料になる。

実験室に入る AI と、それを測る側

OpenAI は昨年12月にも、バイオセキュリティの新興企業 Red Queen Bio と組み、GPT-5 が分子クローニングの手順を改良して効率を79倍にした実験を公表している。そのときは Preparedness Framework (危険な能力を見極めて安全策を決める OpenAI の枠組み) に沿い、無害な実験系に絞って行ったと明記していた。今回の公式ページは同フレームワークの名前を出さず、能力を追うことはバイオセーフティとバイオセキュリティへの含意を理解する助けにもなる、と書くにとどめている。

ここに産業と規制の両方が重なる。製薬・バイオの研究開発は、実験を組み、結果を読み、失敗をやり直す日常の作業の積み重ねで進む。その読み取りを AI が担えるなら、研究のコストと速度の構造が変わり、資本は「AI で実験を回す」企業へ寄る。一方で、ゲルを正しく読み、手順の誤りを見抜く力は、悪用されたときに危険な実験を手助けする力と地続きだ。どこまでできるかを測る物差しを、モデルを作る会社自身が設計し、自社モデルだけで数字を出している。規制当局や第三者の評価機関がこの種の物差しを独自に持つのか、企業の物差しを借りるのかは、AI と生命科学の規制の次の論点になる。

次に見るもの

確認先は2つある。1つは OpenAI の次のフロンティアモデルのシステムカード (deploymentsafety.openai.com) で、BioBasicsBench の得点が生物分野の安全評価の一部として載るかを見る。もう1つは今回の公式ページで、課題のデータセットや他社モデルの結果が追加で公開されるかを見る。外部の研究者が同じ100課題で検証できるかどうかで、この数字の重みが決まる。

ことば

• ウェットラボ — 細胞・DNA・タンパク質など実際の生体試料を扱う実験室。計算機上で解析するドライラボと対比される。AI の研究支援が論文や計算から、この実物の実験に広がり始めている。
• 陰性対照 — 実験の結果が本物かを確かめるため、反応が起きないはずの条件で並べて行う比較の試料。ここが崩れると結論全体が信用できなくなるため、今回の課題で繰り返し問われている。
• Preparedness Framework — OpenAI が新しいモデルの危険な能力 (生物・サイバーなど) を評価し、段階に応じて安全策を決める社内の枠組み。GPT-6 Astra は、サイバー分野で Critical の段階に達したと同社が安全性の概要で公表している。

🔗 一次ソース

• OpenAI — BioBasicsBench の発表 (課題数・5領域・データの種類・3段階のレビュー・7モデルの xhigh 得点と信頼区間・成功例と失敗例・バイオセーフティへの言及)openai.com
• OpenAI 公式 X の告知 (2026年11月6日) — Ligo との共同開発、100課題、生データの解釈を問うこと
• OpenAI (2025年12月) — Red Queen Bio との実験室評価、クローニング効率79倍、Preparedness Framework に沿った実施openai.com
• OpenAI — GPT-6 Astra の安全性の概要 (Preparedness Framework のサイバー分野で Critical に到達)openai.com
• Ligo Biosciences 公式サイト — 酵素設計から始める研究ツールの企業であることligo.bio