arXiv論文：実際のコード変更からAI向け課題を自動再現——Change2Taskは検証済み課題を29.2%多く回収

結論から言うと、コーディングAIの実力を測る課題を、昔のプルリクエストから大量に作り直せる可能性が示された。2026年7月30日にarXivへ提出された未査読プレプリントは、統合済みのコード変更を、現在も正常に動くリポジトリ上の実行可能な課題へ変換する「Change2Task」を提案した。古い変更をそのまま戻すだけでは、依存関係や周辺コードが変わってテストできないことがある。

そこで、変更の逆適用、現在のコードへの対応付け、AIによる再構成という3通りを使い、正常な開始状態、問題を含む課題状態、修正後の復元状態まで自動検証する。バグ修正、機能追加、テスト生成、API移行、セキュリティ修正の5種類で、構築可能と判断した1130件を試した結果、79.6%を検証済み課題にできた。

同じ候補を使う従来のPR中心手法より、回収できた課題は29.2%多く、AI評価で過去の課題と再構成版の結果は最大98.0%一致した。新しい基盤環境を使い回すことで、課題作成から評価までの測定費用も10.8%減った。開発チームは、自社の変更履歴からAI評価セットを作り、導入前後の改善や弱点を継続確認する発想に使える。

ただし自動生成した課題が利用者の本当の要望を代表するとは限らず、論文は15ページの査読前研究である。数値はarXiv原論文の著者評価として扱いたい。