arXiv論文：RAGは資料が約1000万トークンを超えると古典的BM25が優位——AIエージェント検索を逆転

結論から言うと、たくさんの社内文書から答えを探すRAGでは、AIエージェントに最初から全てを探させるより、まず古典的なキーワード検索BM25で候補を絞る方が強い場合がある。

2026年7月29日にarXivへ提出されたプレプリントは、同じ質問、読解モデル、採点方法を固定し、文書量だけを28段階、約450倍まで増やして、BM25、ベクトルを使う密検索、グラフ型RAG、ファイルシステムを探索するAIエージェントを比較した。

最小規模ではFile-System Agentが最も正確だったが、探索を順番に進めるため、基準となる小規模条件でも問い合わせ時のトークンを39倍使った。資料全体が約1000万トークンになるとBM25が逆転し、それより大きい共通条件では全て首位、最大規模では差が約20ポイントに近づいた。密検索は軽いが正確さで劣り、グラフ型は大規模化前の構築コストが壁になった。

社内FAQや文書検索を作る人には、まずBM25で広く候補を並べ、その後だけAIに読ませる設計が、費用と精度の現実的な出発点になる。注意点は、これはarXivの未査読プレプリントで、結果は使った文書、質問、モデルに依存すること。自社データで速度、費用、正答率を測ってから選びたい。