arXiv論文：AIの「自己改善」は測定ミスでも生まれる——未学習モデルにも改善率0.280を誤検出

結論から言うと、AIが自分の出力で再学習して賢くなったように見えても、評価の揺れを正しく差し引かなければ「存在しない改善」を数えてしまいます。2026年8月21日（日本時間）にarXivで公開された未査読プレプリントは、Qwen3-8BをLoRAで3回自己学習させ、同じ処理を通すが重みは固定した比較対象と照合しました。

その結果、問題ごとに正解へ変わったか、逆に不正解へ変わったかを追う評価に7種類の測定上の失敗を確認しました。例えば、各問題を1回だけ決まった出力で採点する一般的な方法は、学習していないモデルにも能力変化を作り出し、獲得と上達を分ける指標では改善率0.280が出ました。原因の多くは推論時のまとめ処理などによる出力の揺れです。

研究チームは、固定モデルを複数回測った結果を基準にし、問題ごとの厳密検定と多重比較の補正を組み合わせる方法を提案しました。この方法では保持した比較データに誤った改善を検出しませんでした。外部の強い回答を学ぶ蒸留では元モデルが苦手な問題が改善した一方、3種類の自己学習では同じ効果を確認できず、元から解けた問題を壊す割合が基準より高かったと報告しています。

利用者は「自己改善」という見出しを平均点だけでなく比較方法まで見て判断できます。ただし1モデル中心の未査読研究で、自己学習全般が無効だと証明したものではありません。