COLM 2026採択論文：Transformerは問題に応じて「解き方」を内部で切り替えるか——ROUTEBENCHで経路F1 84.1

結論から言うと、Transformerは答えを暗記するだけでなく、問題の性質に合わせて内部の「解き方」を切り替えるような振る舞いを学べる、という統制実験が示された。COLM 2026採択論文は2026年7月27日、診断用ベンチマーク「ROUTEBENCH」をarXivで公開した。

研究では入力形式を同じに保ちつつ、データの裏側だけを変え、全体をなめらかに捉えるridge型、少数の重要項目へ絞るlasso型、外れ値に強いHuber型、近い例を使うkNN型のどれを選ぶか調べた。44M〜612Mパラメータの小型Transformerをゼロから学習し、306Mモデルは理想的な解法切替との性能差を80.9%縮め、どの経路を選んだかのF1で84.1を記録した。

文章表現への変更、例の順序入れ替え、言い換え、4方式を同時に選ぶ設定でも効果が残り、内部表現への限定的な介入で出力の解法傾向も変わった。自分に関係するのは、将来のAIが一つの万能手順ではなく、課題ごとに計算方法を選ぶ仕組みを説明・監査できる可能性だ。

ただしこれは人工的に管理したROUTEBENCHと専用学習モデルの結果で、ChatGPTなど一般の事前学習済みLLMが自然な会話で同じ経路選択をする証明ではない。数値は著者実験であり、追試も必要だ。