正解ラベルなしでAIを回答中に学習させる「TTPO」、Qwen3-1.7Bを38.0%から45.2%へ

結論から言うと、正解データを渡さなくても、AIが問題を解いている最中に自分の複数回答から学び直す「TTPO」が提案されました。多数決の答えをそのまま正解扱いする弱点を減らし、数学の難問で小型モデルの精度を上げた研究です。

研究チームは2026年8月27日、arXivに「Test-Time Policy Optimization」を公開しました。従来のテスト時学習では、同じ問題への複数回答で最も多い答えを仮の正解にします。しかし多数決自体が間違うと、誤った先生から全ての出力を学ぶことになります。

TTPOは、多数決と一致する回答は自己蒸留で学び、不一致の回答は強化学習で罰する非対称な仕組みを採用しました。

さらに、すでに答えが固まった部分の学習量を下げ、確信を持って間違えた部分だけを重点的に修正します。論文によると、正解ラベルを使わず競技レベルの5評価で正解付きの学習法と同等になり、Qwen3-1.7Bはテスト時学習で38.0%から45.2%へ向上しました。思考文を出さない設定では25.2〜36.4%の改善も報告しています。

利用者に直接新しいボタンが増える研究ではありませんが、将来はAIが未知の問題に取り組む際、その場の試行から精度を上げる技術につながります。一方、回答を何度も生成して学習するため、計算時間や料金が増える可能性があります。

注意点として、これはarXivのプレプリントで、査読済みの最終成果とは限りません。結果は論文で選んだ数学評価とモデルでの報告であり、事実調査や文章作成でも同じ効果が出るとは未確認です。数値と手法はarXiv掲載の原論文を出典とします。