arXiv論文：AIを更新すると保存済みの記憶も変質、固定形式は精度差0.0004

結論から言うと、AIエージェントのモデルを更新する時は、記憶データをそのまま残すだけでは不十分で、保存形式や検索用データも移行テストが必要です。

研究チームが2026年9月4日にarXivへ公開した論文は、48個の合成された履歴と100億パラメータ未満のオープンモデル2種を使い、同じ履歴を長文のまま読む方法、分割して検索するRAG、AIが自然文のメモへ圧縮する方法、固定項目の知識グラフにする方法で比較しました。

固定形式の知識グラフは、記憶を書いたモデルを交換した後の精度変化がプラス0.0004、誤差幅0.0020と小さく、安定して移せました。一方、自然文メモは移行方向によって精度が9.91ポイント上がる場合と13.28ポイント下がる場合がありました。

RAGでは新旧の埋め込みを半分ずつ混ぜると改善は4.96ポイントにとどまり、全件を新方式で埋め込み直した時の11.90ポイント改善の多くを失いました。またメモだけからの修復は48件すべてで性能90%回復に届かず、元の履歴があれば一方向の試験で34件が回復しました。利用者には、AIを切り替える前に記憶の検索テストを行い、新旧の検索索引を混ぜず、元資料を残すことが重要です。

ただし合成履歴と小型モデル2種の実験で、商用AIや実際の長期利用へそのまま一般化はできません。