arXiv論文：InferenceBench、AIエージェントにLLM推論サーバー高速化を2時間で任せる実践ベンチマークを提案

結論から言うと、AIエージェントは推論サーバーを速くする作業で役に立つ一方、まだ発想の広さに弱点があります。arXivに投稿された論文「InferenceBench」は、LLM推論の高速化をAIエージェントに任せるベンチマークを提案しました。実験では、各エージェントに対象LLM、H100 GPU 1枚、最適化シナリオ、2時間の制限時間を与えます。

課題は、入力を読み込むprefill遅延、1トークンずつ出すdecode遅延、同時リクエスト処理量、そして3つをまとめて改善する4種類です。15種類のフロンティアエージェント構成を比べたところ、素朴なPyTorch実装より最大8.08倍速くし、vLLMの標準設定を最大4.05倍上回ることもありました。

しかし同じ時間で単純なハイパーパラメータ探索を行う方法は最大11.53倍に届き、エージェントはそこに及びませんでした。原因として、エージェントは有効そうな技術名を多く挙げるものの、ほぼ一つの推論フレームワークに収束し、少数の設定を測り直すことに時間を使いがちだと分析されています。

自分に関係する点は、AIに開発運用を任せる時、知識があるだけでは不十分で、候補を広く試し、体系的に測り、最良案を選ぶ力が重要だとわかることです。出典はarXivで、査読済み会議論文ではない点に注意が必要です。