能動エージェントを「本物のDockerコンテナ」で試すベンチマーク ― 5能力・400課題の UniClawBench
日常のツールを操作しユーザーを助ける「能動的(proactive)エージェント」が増えたが、既存ベンチはサンドボックス・単ターン評価に頼り、失敗の根本原因を切り分けにくい。UniClawBenchは、スキル利用・探索・長文脈推論・マルチモーダル理解・クロスプラットフォーム連携の5つの基礎能力を軸に設計した初の能力駆動ベンチ。400の二言語実課題を稼働中のDockerコンテナで段階的チェックポイント評価し、実行者・隠れ監督者・ユーザーの3エージェントで多ターンの人間フィードバックを模擬する。
論文の概要（独自要約）
- 分野（arXiv分類）cs.CL
- 著者Zhekai Chen, Chengqi Duan, Kaiyue Sun ほか（計7名）
- 投稿日2026-07-09
- arXiv ID2607.08768v1
要点
- 能動エージェント評価の限界＝サンドボックス・単ターン・能力混在で失敗原因を切り分けにくい、に対処
- 5つの基礎能力（スキル利用・探索・長文脈推論・マルチモーダル理解・クロスプラットフォーム連携）を軸にした能力駆動ベンチ
- 400の二言語実課題を稼働中Dockerコンテナで細粒度の段階チェックポイント評価
- 実行者・隠れ監督者・ユーザーの3エージェントによる閉ループで多ターン人間FBを模擬（採点基準を漏らさない）
- 複数フレームワーク下で最先端モデルを評価＝基盤能力とフレーム設計が性能を共同で形作る／公開
本研究(UniClawBench)は、実世界で能動的に動くAIエージェントを「本物に近い環境」で厳密に評価する物差しを作る。
1能動的エージェントの評価が追いついていない
背景として、LLMとマルチモーダルLLMの急速な進歩により、日常のツールを操作してユーザーを助ける能動的(proactive)なエージェントが次々に現れている。ところが、それらを適切に評価するのは難しい。既存ベンチマークは、現実から隔離されたサンドボックス環境と、一問一答の単ターン評価パラダイムに頼りがちだからだ。
さらに、シナリオに基づくタスク分類は、同一のタスクカテゴリの中に複数のモデル能力を混在させてしまい、エージェントがなぜ失敗したのか——どの能力が足りなかったのか——を切り分けにくくする。
2能力駆動という設計思想
UniClawBenchはこの限界に、能力駆動(capability-driven)という設計思想で応える。
5つの基礎的なモデル能力——スキル利用(Skill Usage)・探索(Exploration)・長文脈推論(Long-Context Reasoning)・マルチモーダル理解(Multimodal Understanding)・クロスプラットフォーム連携(Cross-Platform Coordination)——を軸に据え、これらに基づいて400の二言語(英中)の実世界課題を設計する。
評価は、静的で事前録画された答え合わせではなく、稼働中のDockerコンテナ内で、細粒度の段階的な完了チェックポイントを用いて行う。
3閉ループ評価の仕組み
もう一つの核心は閉ループ評価だ。実行者(executor)エージェント・隠れた監督者(supervisor)エージェント・ユーザーエージェントの3者を組み合わせ、採点基準を漏らすことなく現実的な多ターンの人間フィードバックを模擬する。
基盤モデルの能力とフレームワーク水準の設計選択を切り分けるため、複数のエージェントフレームワークの下で最先端モデルを評価し、両者が実世界性能をどのように共同で形作るかを包括的な比較で示した。ベンチマークとコードは公開されている。
なぜ重要か
AIエージェントの実運用評価・選定に直結する研究。稼働環境での段階評価と能力別の切り分けは、エージェント製品を開発・比較する実務者にとって、ベンチマーク設計と失敗分析の参照点になる。
よくある質問（FAQ）
なぜ「稼働中のDockerコンテナ」で評価するのですか？
「能力駆動」とは何が違うのですか？
出典（一次情報）
出典：arXiv（記述メタデータは CC0 パブリックドメイン）。要約は当サイト独自。原文・PDFは arXiv をご確認ください。
- arXiv 概要ページ（原文・公式）
- PDF（arXiv）
- arXiv ID: 2607.08768