arXiv論文：複数リポジトリをまたぐコード教材「OctoLong」——長文教材の12%置換で理解力が向上

結論から言うと、長いコードを読めるAIを育てるには、1つのファイルやリポジトリを長く並べるだけでなく、実際の依存関係をたどった教材が有効だとする研究が出た。2026年8月5日にarXivへ提出された未査読論文は、複数のリポジトリをまたぐコード文脈を作る仕組み「OctoLong」を提案した。

抽象構文木を読むAST解析器、定義や参照を探す言語サーバー、外部ライブラリを管理するパッケージ管理機能を組み合わせ、呼び出し先を再帰的に追跡。数百万トークン規模でも、離れた場所のつながりを含む教材を作る。

研究チームは6億〜140億パラメータのOctoLong-Instruct群を作り、約500億トークンの中間学習用データのうち約62億トークンをOctoLongにし、その後約100億トークンで指示学習した。

最先端の公開長文モデル18種類との比較と条件を変えた実験では、従来の長文教材の12%をOctoLongへ置き換えるだけで、遠距離の情報検索、長期状態追跡、リポジトリ理解、エージェント課題が改善し、短いコードでのAPI利用にも効果があったという。開発者には、大規模コードベース用AIの学習設計を見直す手掛かりになる。

ただし査読前で、要旨には各評価の点数や計算費用がなく、実務の非公開コードで同じ伸びになるかは追加検証が必要だ。