arXiv論文：画像説明を物体の画素まで結び付けるPANORAMA、背景も含む新評価を公開

結論から言うと、画像AIが「何が写っているか」を文章で答えるだけでなく、その言葉が画像のどの画素を指すかまで示す仕組みが提案されました。2026年9月16日にarXivへ投稿された未査読論文「PANORAMA」は、前景の物体と背景の領域を説明し、文中の語句を画素単位のマスクへ結び付ける「panoptic grounded captioning」を扱います。

従来は詳しい説明を作れても位置がずれたり、位置を正確に示そうとすると説明が不完全になったりする課題がありました。研究チームは、人が注釈した評価用データPanoCapsを作り、画像のほぼ全体を覆う説明と、物体ごとの文章対応を収録しました。また、文章とマスクの一致を一緒に測るgPQ指標を提案しています。

PANORAMA本体は、語句に合いそうな複数の領域候補を既存の画像分割AIから受け取り、文脈を見て正しい候補を選びます。1つの語句を1領域だけでなく複数の同種物体へ対応させられ、PanoCapsで総合的な位置対応が最良となり、複数の画素単位タスクでも専用モデルと同等以上だったと報告しています。画像検索、視覚支援、ロボットが指示対象を確認する用途につながる研究です。

ただしarXivの未査読段階で、要旨にはデータ件数や改善幅の数値がありません。公開データの偏り、細い物体や曖昧な表現での失敗、安全が必要な現場での再検証が必要です。