arXiv論文：スクショ付きGitHub IssueをAIは直せるか——MM-IssueLocが652件で検証

結論から言うと、バグ報告にスクリーンショットが付いていても、今のAIがコード中の原因箇所を安定して見つけるのはまだ難しいようです。2026年7月16日にarXivへ投稿された「MM-IssueLoc」は、視覚証拠つきのリポジトリレベルIssue localizationを評価するベンチマークです。

実際のIssueには画面キャプチャ、エラーダイアログ、レンダリング結果、ログなどがよく含まれますが、従来評価はテキスト中心になりがちでした。この研究は、23言語にまたがる652件のIssue-PR事例を集め、7種類の画像カテゴリと4段階の関連度を注釈し、ファイルレベルと関数レベルの正解ラベルを用意しています。

さらに、テキストだけの場合と画像ありの場合を比べ、画像が本当に役に立ったかを調べます。結果では、最強エージェントでもfile Acc@5が38.96、function Acc@10が22.45にとどまったと報告されています。UIバグ修正にAIを使う開発者は、画像を渡せば自動で原因が分かると期待しすぎず、再現手順、環境、ログ、該当画面の説明をセットで渡すべきです。

出典はarXivで、プレプリントとして読む必要があります。