OpenAIが生物学実験の日常業務を評価するベンチマーク「BioBasicsBench」を発表

@OpenAIは、AIエージェントが湿式実験科学の日常的な分析にどう対応するかを測定する新たな方法「BioBasicsBench」を発表した。バイオテクノロジー企業Ligoと共同開発したこのベンチマークは、実験から100のタスクを引き出し、エージェントが生データを解釈でき、エラーを特定でき、証拠が結論を支持しないことを認識できるかをテストするとしている。OpenAIは、生物学研究の加速は日常業務を正しく行うことから始まるとし、BioBasicsBenchはモデルの改善が必要な領域を示し、その改善が科学的進歩、生物安全性、および生物防御にとって何を意味するかを追跡するのに役立つとしている。

Developed with Ligo, a biotech company focused on enzyme design, the benchmark draws on 100 tasks from real experiments to test whether agents can interpret raw lab data, identify errors, and recognize when the evidence doesn’t support a conclusion.
— OpenAI

一次ソース: https://x.com/OpenAI/status/2118782708767965238

本記事は一次情報にもとづく初期報です。詳細な解説は続報で扱います。