arXiv論文：AIエージェントの安全設定を失敗から更新——攻撃成功率を3.1分の1へ

結論から言うと、道具を使って作業するAIエージェントの安全設定を、実行時の失敗から部分ごとに改善する方法「SHE」が提案された。2026年8月10日にarXivのcs.AIへ投稿された未査読論文で、正式な学会採択は示されていない。

研究者らは、エージェントの安全性はAIモデル本体だけでなく、会話の文脈、記憶、使える道具、権限、実行中の制御をまとめる「ハーネス」にも左右されると指摘する。SHEはこのハーネスを、システム指示、規則集、安全記憶、道具の利用方針という4つの部品へ分ける。実行記録で問題が起きると原因を診断し、担当する部品の安全境界だけを更新する。

その後、安全性と普通の作業能力を両方測り、採用する更新を選ぶ。Agent-SafetyBenchで静的なSafeHarnessと比較した結果、攻撃成功率を3.1分の1に減らし、危険でない依頼への有用性も改善したと著者らは報告した。更新後の設定は、学習に使っていないAgentHarmの危険や、別の基盤モデルにも追加更新なしで効果が移ったという。

AIにファイル操作や外部サービスを任せる開発者には、安全規則を1枚の長い文章にせず、責任別に分けて失敗記録から直す考え方が参考になる。ただし数値は特定ベンチマーク上の著者実験で、実環境の事故防止を保証しない。自動更新した規則自体が誤る可能性もあるため、人の承認、権限の最小化、監査記録は引き続き必要だ。