arXiv論文：LLMは確率の足し算で矛盾しやすい——細かい集団回答の合計が全体回答とずれる問題を検証

arXivに2026年7月16日提出の論文「Partition, Prompt, Aggregate」は、LLMの統計的な自己一貫性を調べた。結論から言うと、AIが「全体では何％か」と答えた数字と、「細かい集団ごとに聞いて重み付きで足した数字」が合わないことが広く起きる、という指摘だ。

研究では、母集団を二分木のように少しずつ細かいグループへ分け、各グループの説明をプロンプトに入れてLLMに推定させた。その後、得られた条件付き推定を集計し、全体に直接聞いた推定と比べている。対象は複数の問題領域と最先端モデルで、基本的な確率の性質に反する例が多く見つかった。

さらに、細かい属性を使って再構成した推定のほうが、人間の参照データに近い場合がある現象を「macro fallacy」と呼んでいる。自分に関係する点は、AIに市場規模、アンケート傾向、顧客比率を聞くとき、全体質問だけでは雑な答えになり得ることだ。地域、年齢、用途などに分けて聞き、最後に表計算で足すほうが現実に近い場合がある。

ただしarXiv段階で、どのモデル・領域でも必ず改善するという意味ではない。重要な数字ほど、人の集計表で再確認したい。出典はarXiv（cs.CL）。