arXiv論文：セキュリティAIは成功率だけでなく費用で評価——攻撃と防御で効く予算の使い方が違う

arXivに2026年7月17日JST、「Beyond Success Rate」というセキュリティAI評価の論文が投稿された。結論から言うと、攻撃・防御エージェントは「成功したか」だけでなく、いくら使って成功したかで比べる必要がある。

論文は、脆弱性発見やCTFのような攻撃側のCybench課題と、Splunk BOTS v1を使う防御側SOC調査を対象に、推論コストとツールコストを分けて比較した。具体的には、固定予算ごとにモデルを比べ、追加のテスト時推論がどこまで成果を伸ばすかを見た。結果として、攻撃CTFでは追加計算で性能が伸び、スケールしたオープンウェイトモデルが独自モデルに近づく場面がある。

一方、防御SOC調査では、単に長く考えさせるより、ログやテレメトリをどれだけ規律正しくたどり、必要な外部照会を選べるかが重要だった。自分に関係する点は、AIセキュリティ製品を選ぶ時に、最高成功率だけでは月間コストや運用適性を見誤る可能性があることだ。ただしarXivプレプリントで、対象ベンチは限定的なので、自社のログ量、承認手順、外部API費用で再評価したい。

例えばアラート調査では、AIが大量のログ照会や外部検索を繰り返すと、成功しても人手より高くなる場合がある。導入前には、1件の検知を閉じるまでの平均推論回数、ツール呼び出し数、人の確認時間を合わせて見ると現実的だ。出典はarXiv。