arXiv論文：AIの「考える量」を同じ予算だけで比べるのは危険——推論法を3種類に整理

結論から言うと、推論AIを「同じ計算予算だから公平」と比べても、考え方の仕組みが違えば、点数や失敗の意味は同じにならない。2026年8月4日にarXivへ提出された未査読論文は、回答時の計算を増やすテスト時スケーリングを3種類に整理した。

1つ目は1本の回答を長く考え続ける方式、2つ目は完成回答を複数作り、多数決や検証器で選ぶ方式、3つ目は回答途中の候補を枝分かれさせて探索する方式だ。著者らは、これらを単一の「予算」だけで扱い、推論手順を示さず正答率だけ報告すると、研究同士を正しく比較しにくいと指摘する。

そこで、評価対象を基礎モデルだけでなく、候補生成、選択、検証まで含む推論システム全体とし、計算量と不確実性を手順に合わせて報告する原則を提案した。再現性についても、同じ実行を完全に再生できる場合と、同じ分布の結果を再現する場合を分け、必要な設定や記録を整理。幅広い知識、記号推論、競技数学の評価へ当てはめ、20億件を超える完全な推論記録を公開用にまとめたという。

利用者は、モデル比較を見る際に正答率だけでなく、何回答を生成したか、選び方、検証器、使用トークンや計算時間を確認したい。ただしこれは主に評価の枠組みを示す査読前論文で、特定方式が常に最良だと証明したものではない。