Geminiが手描きスケッチをアプリ化、写真を撮ってCanvasで指示するだけ——コード生成に対応

結論から言うと、Googleは2026年11月5日、Geminiアプリで手描きのスケッチを動くアプリに変える機能を紹介しました。アプリの見取り図や習慣トラッカー、ゲーム盤などの写真をアップロードし、Canvasツールを選んで「このアプリをコード化して」と頼むだけで、Geminiがコードを書いてくれます。使い方は3つの手順だけです。

まず、紙に描いたスケッチの写真をGeminiにアップロードします。次に、Canvasツールを選び、「このアプリをコード化して」と伝えます。するとGeminiがスケッチを読み取り、動くアプリのコードを書きます。最後に、プレビュー画面で実際に触って確かめ、色や文字の大きさ、機能をその場で直してもらえます。紙の上のアイデアを、コードを書かずに触れる試作品にできるのが大きな変化です。

企画書のラフや家族で使う習慣トラッカー、ボードゲームの試作などを、作る前に動く形で共有できます。ただし、Googleの発表は短い紹介記事で、料金や使えるプラン、対応する国や言語の条件は書かれていません。スケッチをどこまで正確に再現できるかという数値も公表されていないため、複雑な画面や細かい文字が多いスケッチでは、思いどおりにならない部分が出る可能性があります。

まずは簡単な画面で試し、プレビューで確かめながら直していく使い方が向いています。