arXiv論文：LLMの『忘却』は本当に重みから消えたか——LACUNAがPII削除の精度を重み単位で検証

結論から言うと、LLMから個人情報を『忘れさせた』と言っても、本当にモデルの中から消えたかは別問題です。arXivに2026年7月2日提出された論文『LACUNA』は、この問題を重みレベルで調べるテストベッドを提案しました。venueはarXivプレプリントです。研究では、合成した人物のPIIを、1Bと7BのOLMo系モデルのあらかじめ決めたパラメータへ入れます。

これにより、どの重みに知識が保存されたかの正解を作り、後からunlearning手法がその場所を正しく狙えたかを検証できます。従来の評価は、出力に個人情報が出なくなったかを見るものが中心でした。しかし論文は、出力上は良く見えても、現在の高性能手法は場所の特定が不正確で、再浮上攻撃に弱いと報告します。

一方、場所の特定が成功すれば、単純な勾配ベースの方法でも強い削除ができると示します。私たちに関係するのは、AIに入った情報を後から消すという約束を、見た目ではなく内部まで検査する必要がある点です。企業が削除請求や規制対応を説明する時にも重要です。ただし合成データと実験モデルでの結果なので、商用LLM全体にそのまま当てはめるのは慎重に見るべきです。