arXiv論文：調査AIの長い失敗記録を自動監査——1243件、平均6万5100トークンで原因を特定

結論から言うと、Webを長時間調べるAIが、どの手順で間違え、どう直せばよいかを自動監査するための評価データと手法が提案された。2026年8月5日にarXivのcs.AIへ投稿されたプレプリント「SearchAuditor」は、長い検索履歴を人がすべて読む負担を減らすことを目指す。

新しいSearchAuditBenchには、8種類の公開モデルを5つの深掘り検索ベンチマークで動かして集めた失敗1243件を収録した。1件当たり平均73.1メッセージ、6万5100トークンに及び、専門家が決定的な誤りの場所、検索特有の原因、修正例と採点基準を付けた。提案手法は複数の見方から証拠を照合し、誤りの位置特定、原因分類、修正をまとめて行う。

最先端モデルGPT-5.5を使った最強の比較手法でも総合合格率は26.6%だったのに対し、SearchAuditorは32.3%だった。修正地点から検索を再開すると回復もしやすくなったという。調査AIを作る人には、最終回答だけでなく途中の失敗を点検する材料になる。ただし提案法でも合格は約3分の1で、未査読のプレプリントだ。

重要な調査では、元ページと引用箇所を人が確認し、監査AIの判断自体も鵜呑みにしないことが必要だ。