arXiv論文：物理AIの誤答を専門家が再採点、GPT-5.6-Solは47.3%から78.7%へ

結論から言うと、最先端AIの物理問題への弱さは、AIそのものだけでなく、問題集や自動採点の不備によって大きく見えていた可能性がある。研究チームは2026年9月11日にarXivへ論文を投稿し、物理分野で広く使われる6つのベンチマークを、各分野の教員と大学院研究者が再点検した。対象は、答えを客観的に確認できる文章問題である。

専門家は問題文、模範解答、AIの回答を一つずつ読み、AIの本当の誤りと、採点器の誤判定、模範解答の誤り、条件不足で答えが定まらない問題を分けた。その結果、当初「不正解」とされた監査対象の多くは、AIの物理推論ではなく評価側の問題だった。

誤りを直すか不適切な設問を除くと、GPT-5.6-Solのmean@4はHLE-Physicsで47.3%から78.7%、CMT-Benchmarkで61.0%から87.2%へ上昇した。残した54問のCritPtではpass@4が94.4%に達した。利用者にとっては、ベンチマーク順位をそのまま「仕事で使える能力」と考えず、問題と採点方法まで見る必要があるという教訓だ。

一方、これは正解が確認しやすい閉じた問題での結果で、実験計画や新発見まで証明したわけではない。出典は査読会議の採択表記がないarXivプレプリントであり、今後の検証も必要である。