小型AIの失敗例を大型AIのヒントにする「CritICL」、少ない生成回数で推論を改善

結論から言うと、小型AIがどのように間違えたかを大型AIへ見せることで、答えを何度も生成させるより少ない計算量で推論を改善できる可能性があります。「CritICL」は、失敗を捨てず、避けるべき考え方の例として再利用します。

研究チームは2026年8月27日、論文「CritICL: Inference-Time Weak-to-Strong Generalization from Small Language Model Failure Modes」をarXivへ公開しました。日本時間では28日です。会議採択の記載はなく、venueは査読前論文を公開するarXivです。

同じ系列の言語モデルでは、規模が違っても間違い方に共通する型があるという観察が出発点です。

方式は2種類です。CritICL-dynamicは入力ごとに起こりそうな失敗を予測し、関連する批評例を検索します。CritICL-staticは全体に共通する失敗一覧を固定して使います。著者らによると、通常の文脈内学習を一貫して上回り、回答を複数回作って選ぶ方法と同等以上の結果を、より少ない生成回数とトークン費用で達成しました。コードもGitHubで公開されています。

利用者には、AIへ正解例だけを渡すのではなく、「単位を取り違えた」「条件を一つ見落とした」のように、失敗理由と直し方を短い例で添える使い方が参考になります。定型的な計算や分類など、誤りの型を整理しやすい作業ほど試しやすい方法です。

注意点として、要旨には評価課題ごとの絶対得点や料金額がありません。小型版と大型版で失敗傾向が異なる場合や、予測した失敗型が誤っている場合は効果が弱まる可能性があります。arXiv初版であり、導入前には自分の課題で正答率、生成回数、総トークン数を比較する必要があります。