EMNLP 2026論文：同じ文書の反復より別表現を混ぜると、同じトークン量でもAIの学習が改善

結論から言うと、AIに同じ知識を覚えさせる際、同じ文書をそのまま繰り返すだけでなく、別の表現や関連情報を混ぜると、使う文字量に相当するトークン数が同じでも学習が良くなると報告した論文が公開されました。2026年9月3日にarXivへ投稿され、自然言語処理の国際会議EMNLP 2026のFindings採択論文です。

研究チームは、知識を別の角度から表す「auxiliary views（補助的な見方）」が本当に原因となって学習を助けるか、条件をそろえた実験で調べました。まず、知識の定着には反復が必要だと確認する一方、単純な言い換えの効果は学習時のバッチサイズが小さい場合に限られると整理しました。

さらに総トークン量を固定し、元文書の反復に使う一部を補助的な表現へ振り替えると、意外にも事実をそのまま思い出す課題まで改善しました。補助表現を作る教師AIが強いかどうかだけで効果が決まるわけではなく、背景や基礎となる知識の見せ方も重要だとしています。AIを作る人にとっては、学習データを単純に複製するより、同じ事実を複数の関係や文脈で示す設計が役立つ可能性があります。

利用者にも、AIへ大切な資料を渡すときに要約、用語説明、関連例を添える発想の参考になります。ただし、これは事前学習を管理した実験であり、一般のチャットに同じ効果がそのまま出る証明ではありません。具体的な改善幅は課題や設定で変わるため、「言い換えれば必ず賢くなる」とは言えません。