論文：DynamicMCPBench、MCPサーバー上のAIエージェントを「結果の変化」で測る再実行型ベンチマークを提案

結論から言うと、MCPで外部ツールを使うAIエージェントは、最終回答だけを見ても実力を測りにくい。arXiv（cs.AI、2026年7月10日投稿）の「DynamicMCPBench」は、ライブで状態が変わるMCPサーバー上の作業を、再利用できる形で評価する枠組みを提案した。

従来のベンチマークは「正解の答え」や「使うべきツール一覧」を固定しがちだが、実際のサーバーはデータが変わり、同じゴールでも正しい手順が複数ある。そこでDynamicMCPBenchは、サーバーとモデルを指定すると現実的な目標を作り、まず成功する軌跡を記録し、その軌跡から「最終的にどの状態変化が起きたか」という効果チェックポイントを抽出する。

採点は答えの文字列ではなく、その効果を再現できたかで行う。論文では24モデル、121サーバー、750タスクで実験し、最強クラスのエージェントでも解けたのは約半分、31%のタスクはどのモデルも解けず、長いツール連鎖では正答率が39%から13%へ落ちたと報告した。私たちに関係するのは、MCP連携AIを導入する時、デモの一発成功ではなく、自社サーバー上で何度も測れる評価が必要な点だ。

出典はarXiv一次ページ。