arXiv論文：長文LLMに証拠を再提示するRECONTEXT、128K文脈でQwen・Llamaの根拠利用を改善

RECONTEXTは、長い入力の中から質問に関係する証拠を内部信号で集め、最終回答前に再提示する訓練不要の推論手法です。128K文脈の8データセットで改善を報告しています。

arXivに2026年7月2日提出されたRECONTEXTは、長文LLMの根拠利用を訓練なしで改善する推論手法です。venueはarXivプレプリントです。

仕組み

モデル内部の関連度信号で質問に関係する証拠を集め、最終回答の前に再提示します。全文は保持し、外部メモリや追加学習は使いません。理論面では文脈を記憶庫、質問を検索手がかりとして整理しています。

128K文脈の8データセットで、Qwen3-4B、Qwen3-8B、Llama3-8Bの根拠利用が改善したと報告されています。

PDFや契約書をAIで読む時に役立つ考え方です。ただし効果はモデルと資料の種類ごとに確認が必要です。