EMNLP 2026論文：危険なAI操作を途中で止める評価、最良モデルでも適時介入40.74%

結論から言うと、EMNLP 2026論文「PASTABench」は、AIエージェントの危険な作業を結果が出た後ではなく、実行途中の適切な時点で止められるかを評価した。2026年9月23日にarXivへ公開された。16種類の大規模言語モデルを比べたところ、最良モデルでも最適な時点で介入できた割合は40.74%にとどまった。

評価データは1139件の複数手順からなり、5つの危険分類と13の小分類を含む。研究者は「止めるべきか」「いつ止めるか」「何が危険か」を分けて測定した。各作業には、危険の最初の兆候が出る手順と、実際に止める必要が生じる手順を人が付け、早すぎず遅すぎない介入範囲を定めた。

分析では、小型モデルの安全得点が高く見えても、危険を示す単語に過敏に反応している場合があった。危険な意味を保ったまま目立つ単語を中立的な表現へ変えると、先回りして止める能力が大きく落ちたという。利用者には、AIへ複数の操作を任せる際、最後の結果だけでなく途中の判断や道具の使用履歴を確認する必要性が分かる。

ただし、これはEMNLP 2026と記載された研究用ベンチマークの結果で、すべての業務や製品の安全性を直接示すものではない。実運用では危険語の検出だけに頼らず、操作ごとの権限、金額や対象の上限、人の承認、途中停止を組み合わせたい。