ICLR 2026論文、AIエージェントの土台LLMの安全性を19万件超の攻撃で評価

結論から言うと、AIエージェントの安全性は、外側のアプリ設計だけでなく、中に入っている土台LLMの性質にも強く左右されます。ICLR 2026 Posterとして公開された論文「Breaking Agent Backbones」は、Julia Bazinska氏らが、エージェント内のLLM特有の弱点をどう評価するかを研究したものです。

OpenReviewでは2026年1月26日に公開、4月11日に最終更新されています。具体的には、エージェントの実行中に危険が表れる状態を切り出す「threat snapshots」という考え方を導入し、19万4331件のクラウドソース型の敵対的攻撃から`b^3`ベンチマークを作りました。

34個の人気LLMを評価した結果、推論能力の向上は安全性改善につながる一方、モデルの大きさだけでは安全性と相関しないと報告しています。私たちに関係するのは、予約、購買、コード実行などを任せるAIを選ぶ時に「賢いか」だけでなく「攻撃に崩れにくいか」を見る必要がある点です。ただしこれは研究ベンチマークであり、実サービスの安全性を完全に保証するものではありません。

実装では権限制限、ログ、人の確認も必要です。