arXiv論文：数学AIを「正解か不正解か」で終わらせないEndless Exam、8モデルを69問で比較

結論から言うと、数学AIの進歩を一度きりの正解率ではなく、既知の最良構成へどこまで近づいたかで継続的に測るベンチマーク「Endless Exam」が提案された。2026年9月21日にarXivのcs.AIへ公開された51ページの未査読プレプリントである。

従来の数学試験は、モデルが満点に達すると差を測れなくなり、問題が学習データに含まれていた可能性も残る。Endless Examは、組合せ数学などの14種類の構成問題を、数値を変えながら新しく生成する。AIが提出した答えはプログラムで正しいか検証され、公開済みの最良結果や基準解と比べた相対的な品質点を付ける。

最高点を1に固定しないため、AIが既知の記録を超えた場合もその改善を表せる。

研究では8モデルを69の異なる問題で評価し、問題サイズが大きくなるにつれて構成の質がどう変わるかを比較できた。一方、今回評価したモデルは、公開済みの最良結果を一つも超えなかった。問題生成器、検証器、基準解、モデル回答、分析は公開されている。

利用者に直接新機能が届く研究ではないが、「難問を解けた」というAI企業の発表を、再現可能な問題と機械検証で比べる土台になる。ただし単著の未査読研究であり、14種類が数学全体を代表するとは限らない。点数は構成の品質を測るもので、証明能力や研究上の新規性すべてを示すわけではない。