arXiv論文：汎用AIエージェントを354領域で測るOmniaBench——Claude Sonnet 5でもPass@1は58.54

結論から言うと、今の最先端AIエージェントでも、いろいろな現実タスクを安定してこなすにはまだ大きな弱点がある、という論文です。2026年7月16日にarXivへ投稿された「OmniaBench: Benchmarking General AI Agents Across Diverse Scenarios」は、汎用エージェントを幅広い場面で測るためのベンチマークを提案しました。

著者らはアプリストア、製品文書、業界資料、Web検索、人手調整から場面知識を集め、ToC、ToB、ToEをまたぐ90の第1階層領域と354の第2階層領域に整理しています。そこから実行可能な環境と、単発・複数ターンの1,431タスクを作り、低コスト検証向けの難問サブセット644件も用意しました。

注目点は、Claude Sonnet 5がOverall Pass@1で58.54、GPT-5.6 Solが57.14にとどまったという報告です。つまり、ベンチマーク上でも計画、制約の維持、失敗からの修正に限界が残っています。エージェント製品を選ぶ人は、デモで動いたかだけでなく、自社の領域、手順の長さ、例外処理で評価する必要があります。

出典はarXivで、査読済み会議論文ではなくプレプリントとして読むべきです。