arXiv論文：AIエージェントの「スキル蓄積」は常に効くとは限らない——5分野500課題で検証

結論から言うと、AIエージェントに過去の解き方を「スキル」として保存させても、単に直前の課題と反応を会話内で見せる方法より、いつも強くなるわけではない。2026年8月4日にarXivへ提出された未査読論文は、継続的なスキル学習を測る「ContinualSkillBench」を提案した。評価は5つの代表分野からなり、各分野に難しさが上がる100の関連課題、合計500課題を用意。

前の課題で得た手順を後の課題へ再利用できる場面も組み込んだ。実験では、課題を順番に実行すると全体として成績が良くなったが、伸び方はモデルと分野で大きく異なった。明示的なスキル庫を更新する方法は、平均では過去の文脈と反応をそのまま使う会話内学習と同程度だった。つまり改善の一部は、再利用可能な知識を整理できたからではなく、直前の情報へ適応した効果だった可能性がある。

一方、決まった手順を繰り返す課題や、出力の正確な形式が必要な課題では、保存したスキルが選択的に役立った。能力が低いモデルほど、細かく分断された課題専用スキルを多くためる傾向も報告された。利用者は、スキル数が増えたことではなく、別の課題へ再利用して成功率が上がったかでエージェントを評価したい。

ただし要旨はモデル別の点数を示しておらず、査読前の500課題だけで実務全体を代表するとは限らない。