ASE 2026採択論文：SWE-bench Verifiedの13.6%で課題文と正解パッチが不一致——PAICheckerが検出

結論から言うと、コード修正AIの点数は、AIの実力だけでなく「問題文と正解が本当に対応しているか」に左右される。自動ソフトウェア工学の国際会議ASE 2026採択論文で、研究チームはSWE-bench Verifiedを調べ、13.6%の事例に課題と修正の不一致があると報告した。

SWE-bench系の評価では、Pull Requestの説明に書かれたIssue番号を使って両者を組み合わせ、Issueの説明を問題文、PRの変更を正解パッチとして扱う。しかし大きな開発では、一つのPRが追加作業を含んだり、説明と実際の変更範囲がずれたりする。研究は不一致を5パターン、さらに11の細かな場面に整理した。

提案したPAICheckerは、ずれの型を特定し、複数AIの判定をまとめ、最後にコード単位で確かめる3段階の仕組みだ。SWE-GymとSWE-bench Multilingualで4種類のLLMを使った実験では、二値分類の正解率が最大92.12%と91.67%だった。AI開発者にとっては、モデルの順位をそのまま信じず、評価問題の品質も点検すべきという警告になる。

ただし論文が示すのは不一致検出の実験結果で、既存ランキングを全面的に無効と証明したわけではない。別の評価指標、人の確認、実務コードでの試験と合わせて読む必要がある。