ゲームをAI評価の計測器にする基盤 LMGame ― オープンソース・NSF助成 約149万ドル（UCサンディエゴ）

「AIがゲームを解く」ニュースは数あれど、本助成の視点は逆である——ゲームを、AIに何ができて何ができないかを測る「計測器」として整備する。ゲームには明確なルール・測定可能な結果・実時間の課題という、評価装置としての得がたい性質が揃っている。チェスや囲碁がかつてAIの試金石だったように、多様なデジタルゲームは推論・計画・知覚・意思決定を映す鏡になりうる。

1場当たり的だったゲームベース評価

問題は、その利用が場当たり的だったことだ。ゲームベースのベンチマークはリポジトリに散在し、指標はバラバラで、テストベッドは研究者の短期ボランティア保守に依存する——結果は再現しにくく、比較もできない。LMGameの答えは「エコシステム化」である。

統一されたゲーム環境群と共有APIの上で評価も訓練も動くLLMファーストな単一プラットフォーム、署名つきリリースと責任ある開示を監督する技術コア委員会、ゲーム・指標ごとの再現可能なテストハーネス、そして産学・非営利のパートナー経路と教育活動。

POSE（オープンソースエコシステム化支援）Phase IIという助成区分自体が、「研究プロトタイプから持続可能なOSSプロジェクトへの移行」に投資するものだ。

2汚染を考慮した監査可能な指標

将来像に掲げられた「汚染を考慮した(contamination-aware)監査可能な指標」は、現在のAI評価の急所を突いている。学習データにベンチマークが混入する汚染問題は、静的なテストセットの信頼性を損ない続けてきた。ルールに基づき状態が動的に生成されるゲームは、この問題への構造的な耐性を持ちうる。

評価を事後訓練(post-training)へつなぐパイプラインまで視野に入れた設計は、「信頼できるAI評価のオープンな公共財」を作る試みとして読める。

3散らばっていたものを一つの仕組みにまとめる

ゲームを使ったAI評価そのものは以前からありました。この事業が変えようとしているのは、その使われ方です。リポジトリに散在し、指標がそろわず、保守が研究者の善意に頼っている状態から、共有できる基盤へ移すことが目的に置かれています。

POSE（オープンソースエコシステム化支援）のフェーズIIという区分は、研究の試作品を持続する公共財へ移す段階に資金を付けるものです。左から右への移行そのものが、この助成の成果物にあたります。