長く考えるAIのメモリを一定にする「Prefix Sliding」、学習なしで最大3倍高速化

結論から言うと、AIが長く考えるとき、最初の指示と直近の思考だけを残し、古い途中経過を捨てても、性能を保ちながら計算を軽くできる可能性があります。2026年8月26日にarXivへ提出されたプレプリントで、研究チームはPrefix Slidingという方法を発表しました。

現在の多くの言語モデルは、推論を続けるほど過去の思考トークンをすべてメモリに保持するため、難しい問題ほど処理時間と必要メモリが増えます。Prefix Slidingは、課題の指示や利用可能な道具を書いた冒頭部分と、直近数千トークンの作業部分だけを注意機構から見える状態にし、その間にある古い推論を順次外します。これにより、どれだけ長く考えても保持する文脈量に上限を設けられます。

著者らは、追加学習なしでも既存モデルを最大3倍高速にしながら性能を維持できたと報告しています。さらに、この方式を使って強化学習すると、10万トークンを超える推論まで伸ばせて、途中内容を要約する方式や通常のスライディングウィンドウより良い結果になりました。利用者にとっては、数学、調査、コード修正など、長い試行錯誤が必要なAIを安く動かす設計につながります。

ただし、すべての途中経過が不要とは限らず、古い重要情報を捨てる課題では失敗する可能性があります。また、これは査読済み会議論文ではなくarXiv上のプレプリントであり、最大3倍という数字は著者らの実験条件に基づきます。実サービスでの速度、料金、品質は別途検証が必要です。