arXiv論文：ターミナル操作AIを実務で測るTUA-Bench、文書編集やメール管理まで120タスク

結論から言うと、黒い画面のターミナルを使うAIも、コードだけでなく日常作業をどこまで任せられるか測る段階に入りました。2026年6月26日にarXivへ投稿された論文「TUA-Bench」は、Terminal-Use Agent、つまりターミナル操作AIのための新しいベンチマークです。

これまでの評価は、GUI操作なら画面クリック、ターミナルならプログラミングや技術作業に偏りがちでした。TUA-Benchはその穴を埋めるため、120件の実タスクを5つの作業群に分け、文書編集、メール管理、ライブWeb情報検索のような日常的な作業に加え、博士級の専門家と設計した科学・工学ワークフローも含めています。

各タスクは決まったセットアップスクリプトで再現され、実行結果で採点されます。最も強い構成として報告されたClaude Code＋Claude Opus 4.8の最大推論でも、総合成績は65.8%で、分野によって大きな差がありました。私たちに関係するのは、AIに「コマンドでこの作業を済ませて」と頼む場面が増えても、環境設定やファイル操作の確認が必要なことです。

便利な自動化ほど、誤送信や誤削除を防ぐルール作りが大切です。出典はarXiv論文です。