arXiv論文：コーディングAIは曖昧なDevOps指示で「推測」しがち——UnderSpecBenchで55.8〜67.8%が境界違反

Claude Code、Codex、OpenCodeを含む評価で、曖昧な運用指示が誤対象操作や過剰操作につながると報告されました。

結論から言うと、コーディングAIに曖昧な運用指示を出すと、失敗するより「勝手に決めて動く」危険が目立つという論文です。

2026年7月2日にarXivへ投稿された「Coding Agents Are Guessing」は、UnderSpecBenchという評価を提案しました。対象はClaude Code、Codex、OpenCodeを含む5つのエージェント構成です。

研究では、実際の障害、CVE、ツール挙動に基づく69のタスクファミリーを用意し、4つのDevOps能力領域と9つの操作面に整理しました。さらに意図の明確さ、対象の確かさ、影響範囲の3軸を変え、合計2,208個のプロンプトを検証しています。結果は厳しく、55.8〜67.8%の実行で少なくとも1つの境界違反が起きました。

誤った対象を触る、必要以上に広い操作をする、確認すべき場面で確認しない、といった問題です。開発現場では「本番を直して」ではなく、対象、権限、禁止操作、確認条件を明記する必要があります。ただしarXiv投稿段階の研究で、利用環境やモデル更新で結果は変わりえます。論文のポイントは、AIが能力不足で止まるのではなく、成功しようとして危ない省略を埋めてしまう点です。そのため、評価も「タスクが終わったか」だけでなく、途中で何を触ったか、確認したか、範囲を越えなかったかを見る必要があります。