arXiv論文：学習時の最大128倍の長さでも再帰型AIの性能を改善するCST

結論から言うと、arXiv論文「Learning Length-Extrapolatable Recurrent Models」は、学習時より長い入力で再帰型AIの性能が崩れる問題に対し、最大128倍の長さまで改善を確認した学習法CSTを提案しました。論文は2026年9月8日に投稿されています。

再帰型モデルは同じ計算規則を繰り返すため長文処理に向きますが、時間方向に誤差を戻すBPTTでは、学習した長さを超えると失敗しやすい問題があります。従来は勾配が小さくなり過ぎる、または大きくなり過ぎることが主因と考えられてきました。著者は、それだけでは説明できず、将来の損失が以前の内部状態へ届く「state credit」が重要だと整理しました。

CSTは逆伝播のとき、この信号の向きを変えずに大きさを局所的に調整し、前向きの計算自体は変えません。人工的な課題と実データでは信号の性質が違うため、それぞれに合わせた方式を用意し、学習範囲を超える複数条件で改善したと報告しています。利用者には、長い文書や系列を少ない計算で扱うAIの安定化につながる可能性があります。

ただし、最大128倍は特定の実験条件での結果であり、一般的なチャットAIの入力上限がそのまま128倍になる意味ではありません。製品導入前には、対象モデルと実データで速度、精度、学習安定性を再確認する必要があります。