arXiv論文：AIは機械学習論文を再現できるか——100本で最高41%、コードなしは15%

結論から言うと、AIエージェントは公開済みの機械学習論文をそのまま再現する作業でも、まだ多くを失敗する。2026年9月23日にarXivへ公開されたプレプリント「RECLAIM」は、NeurIPS 2025採択論文100本を対象に、4種類のAIエージェントが報告された結果を再現できるか調べる評価方法を提案した。

課題は公開物の量で3段階に分けた。コード、データ、学習済み重みがあるRun段階では最良のエージェントが41%を再現した。重みがなく再学習が必要なRetrain段階は27%、コードがなく論文から実装するReimplement段階は15%だった。4エージェント×100本の計400回を分析すると、63回では手法を実装しても、論文の数値と合うか一部さえ確認していなかった。

失敗した試行は平均で計算予算の29%しか使わず、予算切れより早期終了が目立った。

研究者や開発者には、AIに「論文を再現して」と任せるだけでなく、目標値、実行記録、途中の照合、終了条件を明示する必要があると分かる。評価側もAIの自己申告ではなく、ログと生成物を別の判定モデルで確認した。ただしこれは査読済み会議論文ではなくarXivのプレプリントで、各エージェントは1論文につき1回だけ実行されている。

モデル更新や試行回数で結果が変わるため、41%などをAI全体の固定能力とは見なせない。