arXiv論文：AIが問題ごとに考える長さを選択——MATH500で回答量41%減、精度はほぼ維持

結論から言うと、推論AIが問題ごとに「考えない」「短く考える」「長く考える」を自分で選び、回答に使う計算量を減らす学習法が提案されました。2026年8月21日（日本時間）にarXivへ公開された未査読プレプリントです。現在の推論モデルは固定のトークン上限で動くことが多く、簡単な問題で長く考え過ぎる一方、難問には不足する場合があります。

研究では、回答の最初の1トークンでNoThink、Short、Longの3モードを選ばせました。別の振り分けAIは置かず、GRPOという強化学習の中で、回答の長さに応じた報酬とモード別の上限を設定します。

15億パラメータの蒸留モデルを数学データMATHで訓練した結果、未使用のMATH500における正解率は元モデルの0.796に対して0.782と近い水準を保ち、平均回答長は4,796から2,811トークンへ41%減りました。別のGSM8Kでは再訓練なしで76%削減し、同程度の回答長の比較対象より高い精度だったと報告しています。

利用者には待ち時間や計算費用の低下につながる可能性があります。ただし3回の試行平均で、小型モデルと数学中心の結果です。短いほど常に良いとは限らず、実サービスの速度や料金が直ちに変わる発表でもありません。