arXiv論文：拡散型LLMをコード生成で最大11倍高速化、追加学習なしのFlash-dLLM

結論から言うと、拡散型大規模言語モデルの生成を、品質を保ったまま高速・省メモリー化する「Flash-dLLM」が提案された。2026年9月22日にarXivのcs.CLへ公開された未査読プレプリントで、学習をやり直さず推論部分を改善する。数学問題GSM8Kで従来の有力手法より5.1倍、コード生成HumanEvalで11.0倍の高速化を報告した。

一般的な会話AIは左から1語ずつ作るが、拡散型LLMは文章全体の仮置きを何度も修正し、複数位置を並列に生成できる可能性がある。一方、同じ計算を減らすKVキャッシュと並列検証を組み合わせると、GPU内のデータ移動が新しいボトルネックになる。Flash-dLLMは、不要なメモリー転送をまとめて省く専用処理と、モデル自身が候補を作って確かめる方式を統合した。

研究者らは数学推論とコード生成の評価で、既存のElastic-Cacheなどと速度、メモリー使用量、生成品質を比較した。別の小型モデルを下書き役に用意せず、長い入力や大きな同時処理数でも効率を伸ばせる点が特徴で、実装コードも公開している。

利用者にすぐ新しいチャット機能が届く研究ではないが、将来の拡散型LLMで待ち時間とGPU費用を下げる土台になり得る。ただし速度倍率は使ったモデル、GPU、問題、バッチ数に左右される。評価は限られたベンチマークで、通常の自己回帰型LLMとの総合比較や長文品質を保証しない。arXiv上の未査読論文なので、再現実験と第三者評価を待つ必要がある。