arXiv論文：小型LLMが必要な時だけ大型LLMに助けを求めるPyroDash——数学推論でコスト削減と精度維持を狙う

結論から言うと、PyroDashは「全部を高い大型AIに聞く」のではなく、小型AIが難しい場面だけ大型AIに助けを求める仕組みです。

arXivに2026年7月22日投稿された「PyroDash: Cost-Efficient Token-Level Small-Large Language Model Collaborative Inference」は、LLM提供コストを下げるための協調推論研究です。会場はarXiv（cs.CL）で、19ページの論文として公開されています。

具体的には、小型言語モデルが生成中に制御トークンを出し、必要だと判断した時だけ、途中までの推論を凍結済み大型LLMへ一度引き継ぎます。別のルーターや大型モデルの再学習、LLMのlogitアクセスを必要としない点が特徴です。学習は制御トークン埋め込み、オフロード向け教師あり微調整、GRPOによるコスト意識の調整の3段階です。

5つの数学推論ベンチマークでは、設定によって平均精度64.04%でLLM単独より6.36ポイント高く、コストを20.4%下げたと報告しています。別設定ではLLMトークン比率1.90%まで減らし、総コストを49.36ドルから1.78ドルへ下げました。ユーザーには、安いAIと高いAIの使い分けが自動化される未来に関係します。

ただし結果は数学推論中心で、実務文書や会話への一般化は未検証です。出典はarXivです。