arXiv論文：企業文書を読むAIを4869ページで比較——長い一覧は欠落しやすく、精度と費用に大差

結論から言うと、請求書や報告書からAIに項目を抜き出させる仕事では、短い文書で高精度でも、長い一覧になると途中の行を落とす場合があり、出典位置と費用まで見て選ぶ必要がある。2026年7月31日にarXivへ提出された未査読プレプリントは、企業文書抽出の評価基盤「ExtractBench」を公開した。評価対象は8つの業務分野、67種類、計370文書の4869ページ。

利用者が指定した項目表に従って値を返す課題で、値の正確さだけでなく、全レコードを取り切れたか、根拠が何ページの何語にあるか、処理費用も同時に測る。正解データは、実文書では独立した複数システムの一致、合成一覧では既知の値、フォームでは人の確認を組み合わせて作った。実験では商用の画像・文書理解モデルは短い文書に強い一方、長いレコード一覧を途中で切る傾向があった。

コード実行型エージェントは精度を保ちやすいが費用が高く、LlamaExtract Agentic Plusが3つの主要指標で首位となり、コード実行型に近い精度をより低い費用で示した。利用者は、AIに表を作らせた後、合計件数と最初・最後の行、根拠ページを確認すると欠落を見つけやすい。ただし論文要旨は全モデルの具体的な料金や点数を示しておらず、機密文書での安全性も別問題だ。

出典はarXiv原論文で、査読前の結果として扱いたい。