arXiv論文：文書を検索せず答えるAIを3段階で学習——IAR、一般能力を平均12.1ポイント改善

結論から言うと、決まった文書群の内容をAI本体へ覚えさせ、回答時に文書検索を使わず答えさせる学習法IARが提案されました。2026年8月21日（日本時間）にarXivへ提出された未査読プレプリントで、正式名はInject, Align, Recoverです。一般的な追加事前学習では、専門文書を覚えさせると元の指示理解や一般知識が落ちることがあります。

IARは工程を3段階に分離します。Injectでは文書を続き予測、書き換え、指示付きの復元課題へ変えて知識を注入します。Alignでは答えだけを使う質問回答データで応答方法を整え、Recoverでは専門化したモデルと元の指示モデルを統合し、一般能力を戻します。

Common CorpusとCCIの2データセット、Llama、Phi、Qwen、SmolLMの4系列で評価した結果、主要比較では8つのデータ・モデル条件のうち7つで、通常の教師あり微調整を4指標すべて上回りました。平均では専門分野の質問回答精度が3.6ポイント、IFEval、MMLU、MSBenchで測る一般性能の平均が12.1ポイント改善しました。

利用者には、社内規程や製品資料を毎回検索する構成とは別に、固定知識を小型AIへ組み込む選択肢になります。ただし文書更新時は再学習が必要になり得て、回答の出典箇所も自動では示されません。検索拡張を全面的に置き換える結果ではなく、未査読の限定条件での比較です。