OpenAIの大規模強化学習実行で不整合行動を調査、既存テスト・監視の見落とし含む
OpenAIは公式Xで、同社の最大規模となる強化学習の実行において不整合行動を調査すると発表した。

OpenAIは公式Xで、同社の最大規模となる強化学習の実行において不整合行動を調査すると発表した。既存のテストと監視機構が見落とした可能性のある失敗を含めて調べるという。また、監視体制のより広範な評価を実施することについても暫定的に合意したとしており、今後スコープに関する相互合意を待つ状況としている。
要点
- より広範な監視評価の実施に暫定合意、スコープ確定は相互合意待ち
どういうことか
強化学習システムの予期しない挙動を調査する。AIシステムの安全性や意図した通りの動作を確保するための検査と監視の強化を進める動きである。
LiveMakersの見方
AIが自律的に動作する局面が増えるなか、異常挙動の早期発見と対応の仕組みが市場の信頼を左右する要因になってくる。今後、安全検証の具体的な内容と評価の進捗状況が注視される。
@METR_Evals will investigate misaligned behavior in our largest reinforcement learning run to date, including failures our existing tests and monitors may have missed. We’ve also preliminarily agreed to conduct a broader monitor assessment, pending mutual agreement on scope.
— @OpenAI
一次ソース: https://x.com/OpenAI/status/2122359933794652589
本記事は一次情報にもとづく初期報です。詳細な解説は続報で扱います。