arXiv論文：動画AIが「今」と「過去」を両立——StreamTTT、4Bで8Bモデル級

結論から言うと、流れ続ける動画を読むAIが、現在の場面を素早く理解しながら長い過去も覚えるための「StreamTTT」が提案された。2026年8月13日にarXivへ投稿された査読前論文で、リアルタイム認識と長期記憶のどちらかを犠牲にしやすいストリーミング視覚言語モデルの問題を扱う。従来はAIへ渡す履歴を短くすると今の場面を見やすくなる一方、昔の出来事を思い出しにくくなった。

StreamTTTは、長い履歴を注意機構の入力欄へ積み続けず、動画を見ながら更新する「fast weights」という別の重みに書き込む。注意機構のKVキャッシュは直近の証拠だけを持つ短い窓にし、古い情報が多すぎて今の映像へ集中できない問題を抑える。研究チームは長い動画の質問応答データと、新たに作ったリアルタイム質問応答データを合わせて学習した。

OVO-BenchではStreamTTT-4Bが同規模のSimpleStream-4Bより、現在の認識で1.4ポイント、過去をたどる課題で3.7ポイント上回った。StreamingBenchのRTVU部分では、2倍規模のSimpleStream-8Bとも競える結果だった。配信映像の監視、長時間会議、作業支援AIには、小型化しながら今と過去を扱う設計の参考になる。

ただし査読前で、コードは今後公開予定とされ、現時点で第三者が同じ結果を再現できるとは限らない。点数差も指定ベンチマーク上の結果であり、実際の速度や必要メモリは利用環境で確認が必要だ。