arXiv論文：AIは部品が増えると後片付けを誤る——CordisBenchが1,200問で検証

結論から言うと、2026年9月1日にarXivへ公開された論文は、AIエージェントがプラグインなどの部品を変更した時、依存関係や後片付けまで正しく予測できるかを測る「CordisBench」を発表しました。動的なエージェント基盤では、1つの部品を外すだけでも、別の部品の停止、状態の変化、終了順による結果の違いが連鎖します。

ベンチマークはこの理解を1,200問で調べ、影響を受ける部品の特定、指定順で終了した後の状態、どの終了順でも成り立つ条件、実行可能な再設定などを質問します。研究では効率重視の3モデルを低い推論強度で評価し、関係する相互作用を2、4、8、16、24、32個へ増やしました。

小規模な構成はおおむね扱えましたが、関係が増えるほど信頼性が落ち、特に最終状態と終了順の判断が難しくなりました。一部モデルは推論量を増やすと改善した一方、16相互作用の一部ではGPT-5.6 Lunaが1問あたり約3,000推論トークンを使いました。独立した形式的な判定方法は、実行可能な528問の全観測・操作結果で実行結果と一致しました。

開発者には、AIへ推測させるより決定的な検査器を併用すべき場面を示します。ただし掲載先は査読済み会議ではなくarXivプレプリントで、限定した基盤と3モデルの結果を一般化しすぎない注意が必要です。