arXiv論文：コードAIの修正、通常テスト合格でも約3分の1が本番配信試験で失敗

結論から言うと、2026年9月22日公開のarXivプレプリント「SWE-Serve」は、コードを書くAIエージェントが、AIモデルを本番で配信する基盤を正しく改修できるかを測る新評価だ。通常のリポジトリ試験では見えにくい、モデル対応、実行処理、公開APIをまたぐ変更を対象にした。

一般的なテストを通った修正でも、本番に近い一連の配信試験では約3分の1が不合格になり、局所的な成功と実用品質の差を示した。

評価は高速なAI配信基盤SGLangの実際の変更から作った53課題で、6種類の実装分野を含む。各課題はCPUまたはH100 GPU 1基で動き、非公開の機能試験、既存機能を壊していないかの試験、必要に応じた速度基準で採点する。11モデル、31通りのモデルと推論設定を比べ、最高構成の平均pass@1は75%だった。

19課題の詳しい比較では、通常検証だけなら69.4%だった合格率が、本番配信の一連試験を加えると45.9%へ下がった。

開発者にとっては、AIが「テストは通った」と報告しても、そのまま本番へ入れない理由が具体化された。モデルを読み込み、API経由で要求を受け、正しい結果を返し、速度も守るところまで通す必要がある。AI生成コードの確認では、単体試験に加え、実際の起動から応答までを再現する試験を用意する重要性が分かる。

ただし、これはarXivの未査読プレプリントで、対象はSGLangと推論配信に限られる。75%は最良設定の平均で、すべてのAIや一般的なWeb開発へそのまま当てはまらない。隠し試験は評価の漏えいを防ぐ一方、外部から完全には点検しにくい。論文の数値は著者の条件での結果として読み、別の基盤や実務データでも再現する必要がある。