arXiv論文：24GBのMacで約21万トークン処理、ローカルAIの文脈長を6.93倍へ

結論から言うと、メモリ24GBのノートパソコンでも、約21万トークンを使う長い文章処理をローカルAIで完了できる可能性が示されました。

2026年9月15日にarXivへ投稿されたプレプリント「JustFit」は、AIが過去の入力を覚えるためのKVキャッシュを圧縮するKVExec、部品を必要な時だけメモリへ置くPhaseSwap、処理状態を保ったまま構成を切り替えるStateTransを組み合わせた実行基盤です。

M4 Pro搭載MacBook ProとQwen3.8-27B MXFP4を使った3回の試験では、入力19万6608トークンと出力1万6384トークン、合計21万2992位置の処理を完了しました。比較対象のmlx-vlmは3万720位置で、到達量は6.93倍です。別試験では毎秒19.11トークンを記録し、AIME 2026の数学問題30問中29問に正答したと報告しています。

長いコードや資料を外部へ送らず扱いたい人には、端末内AIの選択肢を広げる研究です。ただし著者1人によるarXivの未査読論文で、特定のMac、モデル、量子化設定での結果です。一般的なパソコンで同じ速度や正答率になるとは限らず、実用前には追試と公開実装の確認が必要です。