arXiv検索・リサーチ確認済み

arXiv論文：AI関数入りSQLベンチ「Spider 2.0-AIFunc」——最強モデルでも実行精度67〜70%

7月7日投稿のarXiv論文が、AIネイティブSQLを評価するSpider 2.0-AIFuncを発表。125の実DB、465問、6種類のAI関数を扱います。

結論

AI関数を含むSQLは、今の高性能LLMでもまだ難しいことを示すベンチマークです。

7月7日投稿のarXiv論文が、AIネイティブSQLを評価するSpider 2.0-AIFuncを発表しました。Snowflake上の125の実DBと465問を使います。

評価結果

6種類のAI関数を対象

10種類の最先端モデルを評価

最強の商用モデルでも実行精度67〜70%

最良のオープンソースモデルは58.1%

対象はSnowflake中心で、他のデータ基盤への一般化は追加確認が必要です。出典はarXivです。

この記事が役立ったら押してください

ニュースに出てきたAIやカテゴリに近い教材を優先しています。

広告（アフィリエイト）リンクを含みます。最新の内容・料金・在庫・条件は、リンク先の公式ページ・販売ページでご確認ください。

why care

データ分析AIは普通のSQLだけでなく、分類・抽出・類似検索などAI関数を正しく使う力が必要です。企業データ活用の弱点が見えます。

source

提供状況や価格は変わるため、最終判断は公式情報で確認します。