arXiv論文：AIの推論教材を50種類の生成器で作成——正解可能でも学習に役立つとは限らない

結論から言うと、計算で正解を確かめられる問題を大量生成するだけではAIの推論力は伸びず、答えの短さや難しさの調整まで必要だとする研究が出た。2026年8月5日にarXivへ提出された未査読論文は、推論学習用データ「Reasoning Core」を提案した。

数学、論理、計画、状態追跡、形式言語、表形式データ、ゲーム、因果関係、コードを含む50種類の問題生成器を備え、それぞれに意味を確認する採点器、難易度調整、評価機能を用意する。4種類の基盤モデル設定と複数の学習時間で、Procedural Warmup、Reasoning Gym、SynLogicという既存教材と条件をそろえて比較した。

中心となる30億パラメータの実験では、DROP、LogiQA、ARC-Challengeの平均点が、手続き型データを使わない基準と3つの既存教材を上回った。一方、生成した問題が意味上正しいだけでは学習効果を保証できず、目標出力を簡潔にし、難易度をモデルへ合わせることが重要だった。教材はコード、生成データ、監査資料とともに公開されている。

AI開発者には、量よりも採点条件と難易度設計を点検する材料になる。ただし査読前で、要旨は個別点数や実サービスでの効果を示していないため、公開教材を使う際も独自評価が必要だ。