arXiv論文：長時間の深掘り調査AI、最強システムでも完全正答34.3%——Mr.LHDR

結論から言うと、現在の深掘り調査AIは、最終回答が合っていても、長い証拠のつながりを最後まで正しく保てない場合があります。2026年9月10日にarXivへ公開されたプレプリント（会議採択の記載なし）は、長時間の現実的な調査を測るベンチマークMr.LHDRを提案しました。8分野の各問題は、答えに着くまで平均12.1個の中間結論が必要で、依存関係の平均深さは10.4です。

文章だけでなく、画像、地図、PDF、ロゴ、グラフ、表、動画の一場面を含み、少なくとも1つの非テキスト情報が推論の流れを変える設計です。一般モデル、深掘り調査サービス、エージェント基盤を、最終回答と途中の証拠の両方で評価したところ、最も強いシステムでも通常の総合正答率は43.1%、必要な過程まで満たす厳密正答率は34.3%でした。

画像を除くと、依存関係を考慮した証拠評価が12.6ポイント下がりました。利用者にとっては、AIの調査結果を短い答えだけで信用せず、引用元が本当に各中間判断を支えているか確認する必要があるということです。特に複数資料をつなぐ市場調査や技術調査では、途中の根拠一覧を求めると安全です。

ただし数値はこのベンチマークに参加したシステムと設定の結果で、あらゆる調査AIの性能を表すものではありません。出典はarXivの論文要旨です。