研究論文検索・リサーチ確認済み

arXiv論文：MMBench-Live、マルチモーダル評価を自動更新——1回約30ドル・1〜2時間で新問題を生成

arXivに投稿されたMMBench-Liveは、静的ベンチマークの古さやデータ汚染を避けるため、マルチエージェントの自動パイプラインで視覚言語モデルの評価問題を継続更新する提案。

評価問題を継続更新

MMBench-Liveは、視覚言語モデルのベンチマークをマルチエージェントの自動パイプラインで更新する研究です。静的ベンチマークの古さやデータ汚染を減らす狙いがあります。

報告された数字

5.9K件の新しい評価インスタンス

1回の更新コストは約30米ドル

更新時間は1〜2時間

arXiv投稿であり、査読済み会議論文とは限りません。実運用での信頼性は、今後の再現や第三者評価も見る必要があります。

この記事が役立ったら押してください

ニュースに出てきたAIやカテゴリに近い教材を優先しています。

広告（アフィリエイト）リンクを含みます。最新の内容・料金・在庫・条件は、リンク先の公式ページ・販売ページでご確認ください。

why care

AIモデルのベンチマーク点数を比較する時、古い問題の暗記やデータ汚染を疑う視点が重要です。継続更新型評価はその対策候補です。

source

提供状況や価格は変わるため、最終判断は公式情報で確認します。