arXiv論文：AIエージェントの失敗原因を繰り返し探索、F1を0.349から0.498へ

結論から言うと、長時間動くAIエージェントの失敗原因は、巨大な実行ログを一度だけ読ませるより、未確認の証拠を繰り返し探させる方が見つけやすいと報告されました。2026年9月11日にarXivへ投稿されたプレプリント（会議名の記載なし）は、原因特定を継続的な検索として扱う「Continual Search」を提案しました。

長い作業では、本当の原因が失敗直前ではなく、遠く離れた操作や複数の出来事に分散することがあります。従来のLLM判定は、早い段階でもっともらしい説明を選び、残りの証拠を十分調べない問題がありました。新手法は複数回の対話を通じ、未解決の証拠をさらに探すよう判定役へ促します。

研究チームは既存4種類の原因特定ベンチマークに加え、人が注釈した50件の長時間・大量実行型の失敗を含むMegaRCA-Mixを作成しました。この評価ではGPT-5.5のF1が0.349から0.498へ上がり、40%以上改善しました。同じモデル系列では、探索方法を整えた低価格帯モデルが上位モデルを超える例も報告されています。

利用者にとっては、自動化の監査で最後のエラーだけを見ず、作業全体を再検索する仕組みが重要だと分かります。ただし、50件の新評価を含む著者実験であり、実運用すべてへの一般化は未確認です。