arXiv論文：LLMキャッシュは単純なLFUが有力——見かけ51〜60%の再利用も有効回答は1.1〜2.2%

結論から言うと、似た質問へのLLM回答を保存して使い回す「意味キャッシュ」では、複雑な整理法より、よく使う項目を残す単純なLFUが堅実だとする研究が公開されました。2026年8月21日（日本時間）公開のarXiv未査読プレプリントです。

研究チームは、古い順に消すFIFO、最近使っていない順に消すLRU、利用頻度が低い順に消すLFUなど7方式を、3種類の質問データ、3段階の容量、2種類の文章埋め込みモデルで比較しました。合計18条件で、LFUを上回る方式の改善は最大でも0.041ポイントでした。一方、容量が厳しい条件ではFIFOとSISO系方式がLFUより最大8.67ポイント、8.55ポイント低くなりました。

さらに重要なのは、文章の近さだけで再利用を決める危険です。MiniLMの中央値を基準にすると、見かけのヒット率は51〜60%でも、本当に同じ回答を使えると人が判断した例はヒットの2.1〜3.9%にとどまり、品質込みの率は1.1〜2.2%でした。開発者は費用削減のためにキャッシュを入れる前に、再利用回答が正しいかを確認する必要があります。

ただし結果は対象データと設定に限られ、別の埋め込みモデルへ同じしきい値を移せない点にも注意が必要です。