COLM 2026論文：AI学習で効く文章は途中で変わる——初期は文学、後期はSTEMが強く影響

結論から言うと、言語モデルの事前学習では、最終モデルへ近づけるうえで強く効くデータの種類が、学習の初期と後期で変わるという分析結果が示された。2026年8月13日にarXivで公開され、言語モデル研究会議COLM 2026に採択された論文である。従来、どの学習データが役立ったかを測るには、代表となる試験問題や検証データを先に選び、途中段階のモデルで成績を比べる方法が多かった。

しかし、選んだ試験に結果が左右され、学習途中の異なるモデル同士も比べにくい。研究者らは特定の下流課題を選ばず、一つの学習例による勾配更新が、最終的なモデルのパラメーターまでの距離をどれだけ縮めたかで影響を定義した。再学習は行わず、途中で保存したチェックポイントから量を推定する。

PythiaとPolyPythiaの18設定へ適用したところ、学習初期は文学に関係するデータが最終地点への進行と強くそろい、後期には科学・技術・工学・数学を指すSTEMデータの影響が強くなる、質的な交差が幅広い設定で見られた。モデル開発者には、全期間で同じ比率のデータを流すだけでなく、段階に応じた構成を検討する手掛かりになる。

ただし分析は特定の公開モデル群に限られ、影響が強いことは、その文章が唯一の原因だという意味ではない。最適な配合や性能向上を直接証明した研究でもなく、別の規模・言語・モデルでの確認が必要である。