AIエージェントへの攻撃方法を経験から改善する「RedEvoAgent」、固定攻撃より高い検出力

結論から言うと、道具を操作するAIエージェントの弱点を自動で探し、過去の攻撃経験から次の試し方を改善する「RedEvoAgent」が提案されました。固定された攻撃文だけを繰り返す方法より、複数の評価条件で高い攻撃成功率を示したと報告されています。

研究チームは2026年8月27日、arXivでプレプリントを公開しました。AIエージェントは文章を返すだけでなく、外部ツールを実行してデータや状態を変えられるため、脱獄と呼ばれる指示回避が実害につながる可能性があります。従来の自動テストは攻撃例を固定するか、長い実行履歴をそのまま検索して再利用する方式が中心でした。

RedEvoAgentは、複数の攻撃ツールを使った履歴から、どの道具が結果に効いたかを評価し、人が読める短い「攻撃スキル」に整理します。更新後のスキルは検証用データで改善した場合だけ残します。論文では複数のベンチマーク、攻撃対象モデル、実行環境で固定方式や他のエージェント方式を上回り、道具の利用効率と別環境への移しやすさも改善したとしています。

利用者に直接新しい機能が増える研究ではありませんが、メール送信やファイル編集を行うAIを導入する会社には重要です。公開前の安全テストを一度きりにせず、見つかった失敗を短い再利用可能な検査手順へ変える設計の参考になります。

注意点として、これは査読済み学会論文ではなくarXivのプレプリントです。要旨には各評価の具体的な数値がなく、実際の製品ですべての攻撃を発見できる保証もありません。また攻撃手法の公開は防御研究に役立つ一方、悪用リスクもあります。結果は論文本文とコードの条件を確認し、許可された環境だけで検証する必要があります。