arXiv論文：PC操作の記録から仕事の手順を自動発見——TMI、未見課題の正答率を30.0%改善

結論から言うと、パソコン操作の記録から「何の仕事を、どんな順番で進めたか」をAIが整理し、別の課題で再利用できる形にする研究が登場しました。2026年8月21日（日本時間）にarXivへ提出された未査読プレプリントは、Task Model Induction（TMI）を提案しています。入力は、作業中に記録された画面画像とマウス、キーボード操作です。

実際の仕事ではメール確認の途中に資料を直すなど、複数の目的が入り混じります。TMIはまず記録に隠れた仕事を見つけて分離し、次に各仕事を、目的を細かく分ける階層モデルと、操作順や分岐を表す手順モデルの組としてまとめます。人とAIの操作記録を使った管理された実験では、入り混じった仕事の分類が正解データと0.974の一致度を示し、観察された実行手順の74.9%を再構成しました。

さらに、TMIが作った作業モデルをスキル化すると、未見課題の正答率が最も強い比較手法より30.0%高くなりました。利用者にとっては、自分の繰り返し作業を説明書へ手入力せず、操作履歴から自動化のたたき台を作れる可能性があります。一方、画面や入力履歴には個人情報や機密情報が含まれ得ます。数値は管理された軌跡での結果であり、複雑な実業務で同じ精度が出る保証はありません。