arXiv検索・リサーチ確認済み

arXiv論文:スクショから動くWebアプリを作るAIを評価——UI2App、6モデルで「見た目」と「操作」の差を可視化

7月7日投稿のarXiv論文がUI2Appを発表。327枚のスクリーンショットから、実行可能性、画面遷移、見た目、操作推論を評価します。

  • 2026-07-08
  • 最終確認日 2026-07-08

7月7日投稿のarXiv論文がUI2Appを発表。327枚のスクリーンショットから、実行可能性、画面遷移、見た目、操作推論を評価します。

結論

UI2Appは、スクリーンショットから動くWebアプリを作るAIについて、見た目だけでなく操作推論まで測るベンチマークです。

何が起きたのか

7月7日投稿のarXiv論文がUI2Appを発表しました。327枚のスクリーンショットを45組にまとめ、実行可能なマルチルートWebアプリ生成を評価します。

主な結果
評価軸は実行可能性、遷移到達性、見た目、操作推論
見た目首位のモデルはIISで7.5にとどまった
操作推論首位との差は5.2倍
高難度のクロスページ状態管理は半数のモデルが0点

注意点

対象はWebアプリ中心で、モバイルや業務画面への一般化は追加検証が必要です。出典はarXivです。

PR

AIをもっと深く学べる本

ニュースに出てきたAIやカテゴリに近い教材を優先しています。

広告(アフィリエイト)リンクを含みます。最新の内容・料金・在庫・条件は、リンク先の公式ページ・販売ページでご確認ください。

why care

自分に関係ある?

AIにUI画像からアプリを作らせる時、見た目が似ていてもボタンや状態管理が動かないことがあります。そのズレを測る研究です。

source

出典

提供状況や価格は変わるため、最終判断は公式情報で確認します。

arXivを開く