arXiv論文：統計を任せたAIは計算が動いても結論を誤る——Fisher-R1が425課題で改善

結論から言うと、AIが統計コードを正しく実行できても、データに合わない検定を選び、科学的な結論を誤ることがある。研究チームは2026年8月7日、仮説検定に特化した評価基盤「P-Bench」と公開重みモデル「Fisher-R1」をarXivで発表した。P-Benchは経済学、生物学、医学にまたがる425件の現実的な自由回答課題で構成される。

AIは科学的な仮説とデータだけを受け取り、統計手法を選び、p値を計算し、結論まで書く。従来の評価は答えやコードの実行結果を見ても、p値がデータの前提に照らして有効かを十分に確認しないため、もっともらしい誤りを見逃していたという。Fisher-R1-14Bは、合成課題と検証可能な統計報酬を使った強化学習で訓練された。

著者らによると、P-Benchの1回実行の成功率はDeepSeek-V4-Proより平均で相対21%高く、最難関課題では最大26%高かった。GPT-5.4を含む比較モデルも上回ったとしている。学校の実験、アンケート、業務分析でAIを使う人には、計算が完了したことと結論が正しいことは別だと示す結果だ。検定の前提、標本数、外れ値、再現コードを人が確認したい。

ただし発表先はarXivの未査読プレプリントで、比較値は著者らのベンチマーク内の結果であり、医療判断などへの直接利用はできない。