COLM 2026論文：LLMの「超重要な重み」だけを学習しても強くならない——LoRAのような層全体の構造が効く

COLM 2026採択のarXiv論文は、LLM内のSuper Weights（消すと性能が大きく落ちる重み）だけを選んで学習しても、OLMo-1B/7Bで性能が乱数並みに落ちると報告。重要な重みと、単独で学習すべき重みは別だと示した。

重要な重みだけでは伸びなかった

COLM 2026採択論文は、Super Weightsだけを選んで学習してもOLMo-1B/7Bで性能が乱数並みに落ちたと報告しました。

注意点

OLMo系モデルでの結果です。他モデルや別タスクでも同じとは限らないため、実運用では個別検証が必要です。