arXiv論文：AIエージェントの長い会話を毎回トークン化し直す無駄を削減——TokTierは初回応答を最大34%短縮

結論から言うと、コーディングAIなどが長い会話履歴を毎回トークンへ変換し直す待ち時間を、答えを変えずに大きく減らせる可能性が示された。2026年7月31日にarXivへ提出された未査読プレプリントは、状態を引き継ぐトークン化サービス「TokTier」を提案した。AIエージェントは道具の短い実行結果を会話末尾へ足すたび、数百万文字の履歴を再送することがある。

著者らが2つのエージェント環境の15万3951回を調べると、追記の中央値は約1400文字だった一方、キャッシュ命中率94.1%の環境ではトークン化が最初の出力までの時間の最大64%を占めた。TokTierは追記境界の小範囲だけを再計算し、安全条件を満たさなければ範囲を広げるか全体計算へ戻る。

17系列、150億回の分割確認、12.4TBの実文書、9万3000超の操作再現で、通常の全体トークン化との不一致は0件だった。100万文字はGPUで0.87ミリ秒、vLLM連携では初回応答の中央値を16〜34%、混雑時の99パーセンタイルを23%短縮した。利用者には、長時間動くAIの体感速度とサーバー費用の改善につながる。

ただし査読前で、著者の環境とGPT系中心の評価であり、全サービスの同じ効果は保証しない。