コードレビューAIは会話が長いほど不具合を見失う？「MCR-Bench」が2,269課題で検証

結論から言うと、主要な言語モデルは、修正と確認を繰り返すレビューで不具合の状態を追い続けることが苦手です。新しい評価基準「MCR-Bench」は、会話の回数が増えるほど検出と状態追跡の成績が大きく下がると報告しました。

研究チームは2026年8月27日、論文「From Static to Dynamic: Benchmarking Real-World Code Review with MCR-Bench」をarXivへ公開しました。日本時間では28日です。会議採択の記載はなく、venueは査読前論文を公開するarXivです。

従来の評価が一度の回答で終わる静的な課題に偏り、実際の指摘、修正、再確認の流れを再現していない問題を扱います。

MCR-Benchは、5つのプログラミング言語にまたがる2,269件の複数回レビュー課題を収録します。各課題には、不具合の説明、種類、深刻度に加え、各回で未修正か、修正済みかを追う状態ラベルがあります。主要モデルを比べた結果、不具合検出と状態追跡は限定的で、やり取りが長くなるほど悪化しました。

特に意味の理解が難しい不具合や目立ちにくい不具合を見逃しやすく、過去の回との対応ずれや長期記憶の不足が誤判定につながったと分析しています。

開発者には、AIレビューの最終コメントだけを信じず、指摘ごとに番号、対象行、深刻度、修正状態を表で管理する必要性を示します。再レビュー時には会話全体を渡すだけでなく、未解決項目を明示し、テスト結果や差分と照合させる運用が役立ちます。

注意点として、要旨には対象リポジトリ、各言語の内訳、モデル別の絶対得点がありません。2,269課題での低下が、すべての環境や最新モデルへ当てはまるとは限りません。これはAIレビューを使うなという結論ではなく、長い修正履歴では人間の確認と外部の課題管理を組み合わせるべきだという警告です。