arXiv論文：コードAI向けSKILL文書の効果は平均4.9ポイント、実行ごとの揺れと区別できず

結論から言うと、コードを書くAIへリポジトリ固有の知識を渡すSKILL.mdは役立つ兆しがあるものの、少数の実験だけで効果を断定してはいけない。研究チームは2026年9月11日、リポジトリ用SKILL文書を自動で改善する方法を調べた論文をarXivへ投稿した。SKILLは、コードと一緒に管理する普通のMarkdown文書で、設計上の決まりや作業手順をAIエージェントへ伝える。

従来研究の自動生成課題は簡単すぎて、高性能なAIなら文書なしでも解ける問題があった。そこで研究者は、実際にマージされたプルリクエストを過去の基準時点へ戻し、AIが変更を再現する難しい課題を作った。同じAIを文書ありとなしで動かし、成功率の差を測っている。

3つのKotlinリポジトリでは、GEPAという方法で見つけた文書が平均4.9ポイント改善した一方、SkillOptの文書は初期文書より0.1ポイント高いだけだった。ただし、1つのリポジトリから得られる課題数では、4.9ポイントの差をAI実行ごとの偶然の揺れと統計的に分けられなかった。

興味深いのは、保守担当者が生成文書を読み、実際にそのプロジェクトで働かなければ得にくい知識が含まれると評価した点だ。利用者は、SKILL.mdを置くだけで安心せず、過去の修正課題で文書あり・なしを比較し、古いルールを定期的に直すとよい。出典は査読会議の採択表記がないarXivプレプリントで、対象もKotlinの3リポジトリに限られる。