arXiv論文：テストを通ったAI修正644件のうち221件がレビュー要件を満たさず

結論から言うと、コードAIが機能テストを通しても、実際のレビューで求められる条件まで満たしたとは限らないと示す評価基準「SWE-Gate」がarXivで公開されました。2026年9月3日投稿のソフトウェア工学・人工知能分野のプレプリントです。従来のリポジトリ単位の評価は、AIが作った修正でテストが成功するかを主に測ります。

しかし現場では、レビュー担当者が設計方針、変更範囲、保守しやすさなど追加条件を示し、それを守れるかも採用判断に影響します。SWE-Gateは実際のプルリクエストのレビューコメントから条件を取り出し、その条件を含む修正課題を作りました。

75のオープンソースPythonリポジトリにまたがる303課題があり、機能用テストとレビュー条件用テスト、条件に違反する修正、正解修正を分けて収録しています。同じエージェント構成で能力の異なる4種類の大規模言語モデルを試すと、機能テストを通過した644件の修正のうち221件、約34%がレビュー条件を満たしませんでした。

開発者にとっては、AIの修正を「テストが緑だから完了」とせず、依頼文とレビュー指摘を別の確認項目として検証する重要性が分かります。ただし査読済み会議への採択は示されていないプレプリントで、Python中心の課題です。他言語や実際の組織でも同じ割合になるとは限りません。