arXiv論文：深掘り調査AIを500課題・31分野で検証——根拠確認まで追える評価データを公開

結論から言うと、深掘り調査AIを「もっともらしい長文」ではなく、調査の各段階と根拠で比べるための新しい公開評価が提案された。2026年8月3日にarXivへ提出された未査読論文は、31の話題、10の大分類にまたがる500件の深掘り調査課題を収録し、異なる能力を見る3種類の質問形式を用意した。

作成にはExplorer、Formalizer、Challengerという3段階の自動処理を使う。まず簡単な質問から関連情報と追加論点を探索し、次に答えるための小さな手順と確認条件へ分解し、最後に難しさや検証可能性を点検して課題を発展させる。

各課題は、どの手順がどこにつながるかを示す有向非巡回グラフ（DAG）と、段階ごとの採点基準を持つため、最終回答だけでなく途中の欠落も調べられる。実験ではモデルや質問形式の違いを区別でき、事実に基づく項目別採点は、人の判断と合いやすく安定していたと著者らは報告した。データ、実装、結果は公開されている。

利用者には、調査AIを選ぶとき、引用数だけでなく必要な論点を順に確認できたかを見る材料になる。ただし要旨には各モデルの具体的な順位や点数がなく、500課題ですべての実務分野を代表するとは限らない。査読前で、自動生成された課題と採点基準自体の偏りも確認しながら使う必要がある。