arXiv論文：AIが挙げた判断理由と実際の影響度、8モデルで相関0.349〜0.580

結論から言うと、AIが「この理由で判断した」と説明しても、その項目が実際に判断を最も強く動かしたとは限らないことを、8つの大規模言語モデルを使った研究が示しました。論文は2026年9月4日にarXivへ投稿され、Claude、GPT、Gemini系モデルを対象に、顧客へ助言者を推薦する課題と、入力文の有害性・危険性を判定する課題で調べています。

モデルには答えと影響が大きかった上位3要因を出させ、研究者は各要因を変えた時に答えが変わる「必要性」と、その要因だけ残した時に答えが保たれる「十分性」を外側から測定しました。説明内の順位と実測値の平均スピアマン相関は、推薦課題で0.349と0.354、監視課題で0.431と0.580でした。

さらに推薦課題では、説明に書かれなかった要因が、書かれた最下位要因より強く影響する例が必要性で57.6%、十分性で58.1%ありました。利用者にとっては、AIの説明を判断記録や監査の唯一の根拠にせず、入力条件を変える試験や人の確認を組み合わせる必要があるという意味です。ただし実験は2種類の合成課題に限られ、モデル全体の内部思考を直接読んだ研究ではありません。

数値は個々の判断説明を外部操作で確かめた範囲の結果です。