arXiv論文：詳しい説明書でもコードAIの修正力は上がらず——2モデル群・10リポジトリで検証

結論から言うと、コードAIに高品質で短い説明書を追加しても、元のソースコードを読める状況では不具合修正の成績が上がらないという結果が報告されました。2026年9月25日にarXivへ投稿されたプレプリントです。研究チームは、コードの説明から元のコードを再生成し、既存テストに合格できるかで説明の忠実さを測る「roundtrip」評価を作りました。

この評価では、説明の長さより必要情報がそろっていることが重要で、未知のファイルにも通用する高忠実度な説明生成プロンプトを見つけています。そのうえで2つのモデル群と10のリポジトリを使い、実際の課題修正を比較しました。しかし、静的に作った短い説明書も、必要な説明を検索して渡す方式も、課題文だけを与えた場合を上回りませんでした。

評価方法が本物の改善を検出できることは別の対照条件で確認しています。利用者にとっては、AGENTS.mdのような資料を増やせば必ず開発AIが賢くなるわけではなく、元コードから読み取れない方針や制約を優先して書くべきだという示唆です。ただし「説明書は不要」という意味ではありません。

研究は特定のモデルと10リポジトリでの結果で、設計意図、社内ルール、実行環境の情報は別の価値があります。査読前のarXivプレプリントで、追試が必要です。出典は論文要約で、2026年9月29日に確認しました。