ICML 2026論文：AIコーディングエージェントを現実の長い開発課題で測るSWE-Bench Pro

結論から言うと、AIコーディングエージェントの実力を、より現実の仕事に近い形で測る新しい物差しが出ました。ICML 2026 regular論文「SWE-Bench Pro」は、41の現役ソフトウェアリポジトリから1,865件の課題を集めたベンチマークです。

従来のSWE-Benchは有名なオープンソースの短い修正が多く、モデルが学習済みデータを覚えている可能性や、実務の複雑さを十分に反映しない問題がありました。SWE-Bench Proは、公開課題と非公開課題を分け、18件のプロプライエタリなリポジトリやGPL系の制約があるコードも使い、平均107行・4ファイルにまたがる修正を含みます。

論文の説明では、現在の主要AIエージェントは古いSWE-Bench Verifiedでは70％超を解ける一方、SWE-Bench Proでは公開課題で45％未満、非公開課題で20％未満に落ちます。自分に関係するのは、AIが小さなバグ修正に強くても、会社の大きなコードベースではまだ苦戦する点です。出典はOpenReviewのICML 2026ページです。

また、対象は123種類のプログラミング言語にまたがるとされ、単純な競技プログラミングではなく、既存システムの理解、依存関係、複数ファイルの修正を含みます。AIツールを選ぶ側は、ベンチ名だけでなく、公開課題か非公開課題かも見る必要があります。