arXiv論文：AIエージェントの失敗を約200マイクロ秒で検知・再実行——成功率52%から73%へ

結論から言うと、AIエージェントの全手順を別のAIに採点させなくても、操作記録と道具の結果を使えば、失敗を軽く検知してやり直せる可能性が示された。2026年8月3日にarXivへ提出された未査読論文は、3つのエージェント基盤、Qwen 2.5の3B・7B、Llama 3.1 8B、Gemini 2.5 Flashを使った2,823回の実行を分析した。

正常な実行だけで学ぶ軽量監視は、誤警報を5%に抑える条件で失敗の71%を検知し、AUROCは0.872だった。さらに、AIが報告した合計を実際の道具結果から再計算し、必要な呼び出しが全部行われたか確かめる決定的検証では、カバレッジ確認込みで失敗の96%を検出し、63件の比較で誤検知は0件だった。

警告後に直前へ戻して再実行すると失敗の45%を回復し、単純な再試行の16%を上回り、課題成功率は52%から73%へ上がった。処理は1手あたり約200マイクロ秒で、追加のモデル呼び出しは平均約1回という。利用者には、送信や集計をAIへ任せる際、返答文ではなく道具の実結果を照合する設計が役立つ。

ただし監視器は環境ごとの調整が必要で、未調整時のAUROCは0.527、再調整後は0.885だった。査読前の著者報告であり、別業務でも同じ改善を保証するものではない。