EMNLP 2026論文：悪意ある追加学習への防御は固定せず、途中で強める方が有効

結論から言うと、EMNLP 2026 Findings採択論文「Active Adaptation, Not Static Defense」は、悪意あるデータで追加学習されてもAIの安全性を守るには、防御信号を固定するより学習の途中で強める方法が有効だと報告しました。論文は2026年9月9日にarXivへ投稿されています。

既存のPreventative Steeringは、危険な人格を表す方向のベクトルを学習中に加え、評価時には外すことで、モデルが逆方向へ適応するよう促します。しかし、その防御がなぜ続くのか、どの時点で弱まるのかは十分に分かっていませんでした。研究チームが学習時間に沿って変化を調べると、初期には補う適応が起きる一方、その後は修正信号が弱まる定常状態へ移ることが分かりました。

また防御の更新では、注意機構の出力を担う層が主要な経路でした。重みの差分を保存・再注入する実験だけでは防御を維持できず、固定された重みではなく継続的な適応が重要だと示しています。そこで中程度の強さから始め、防御が弱まり始めた後に介入を強めるProgressive Intensity Schedulingを提案しました。

Qwen2.5とGemma 3の評価では、固定強度より安全性が高まり、有害な人格表現も減りました。利用者には、社内データでAIを調整する際の安全設計に関係します。ただし対象モデルと攻撃条件は限られ、未知の手法への万能な防御ではありません。