arXiv論文：70億規模の公開AI「ZGCM-1」、16K事前学習を約4.2倍効率化

結論から言うと、小さめの公開AIでも、考える力と検索道具を一緒に学ばせることで、はるかに大きなモデルへ迫れる可能性が示されました。2026年9月11日にarXivへ投稿されたプレプリント（会議名の記載なし）は、70億パラメータの密な基盤モデル「ZGCM-1-7B」を発表しました。

最大文脈長は256Kで、16K、64K、256Kへ段階的に伸ばす学習、局所を見るスライディングウィンドウ注意と全体を見る注意の組み合わせ、FP8対応のMuon最適化手法などを採用しています。

研究チームによる評価では、同規模の70億モデル群と一般課題で競争力があり、難しい数学推論とエージェント検索の一部では、Qwen3-235B-A22BやGLM-5.1のような大規模モデルとも競えると報告しました。また16K事前学習で、同じ損失に達するまでの時間効率を約4.2倍に改善したとしています。

重み、学習コード、段階別データと作り方、途中チェックポイント、実験ログまで公開する点も特徴です。利用者は再現研究や小型モデル開発の材料として確認できます。ただし、数値は著者らの評価によるプレプリント段階の結果で、独立した追試や査読済みの保証ではありません。