arXiv論文：AI評価を結果が見えた時点で止めるEarlyEval、入力トークン最大44.1%削減

結論から言うと、作業型AIの評価は、成功か失敗かが途中で十分に分かった実行を早く止めることで、結果を大きく変えずに費用を減らせる可能性があります。2026年9月2日にarXivへ公開された査読前論文「EarlyEval」は、AIエージェントの途中経過から最終結果を予測する軽量な仕組みです。

研究では、行動の特徴、文章の特徴、正解例に関する特徴を使い、成功用と失敗用の2つのLightGBM分類器を訓練しました。どちらかの予測が事前に決めた信頼度を超えると、その評価実行を終了します。

SWE-bench Verified、TerminalBench、Toolathlonの3評価で試したところ、エージェントの手順を13〜26%省き、入力トークンを最大44.1%、出力トークンを最大29.4%減らしました。途中予測の正確さは89〜97%で、各AIの課題解決率への影響は平均1〜2ポイントだったと報告しています。

開発者にとっては、モデルや指示文を何度も比較する際の時間とAPI費用を抑える方法になります。一方、早期終了は少数の逆転成功や終盤の失敗を見逃す危険があります。製品の合否判定にそのまま使わず、停止基準を別データで調整し、一定割合は最後まで実行して誤差を監視する必要があります。コードとデータは公開されていますが、arXiv掲載の査読前研究であり、費用効果はモデルや課題で変わります。