ECCV 2026論文：画像AIが文脈を無視する弱点を補正——物体の幻覚率を36%低減

結論から言うと、画像を説明するAIが、与えられた文脈を十分に使わず、写っていない物をもっともらしく答える問題を減らす学習法が提案された。2026年8月12日にarXivへ公開され、コンピュータービジョン国際会議ECCV 2026に採択された論文で、研究チームはC²-DPO（Context-Calibrated DPO）を開発した。

対象は画像と文章を同時に扱うマルチモーダル大規模言語モデルだ。従来のDPOは、正しい回答を誤った回答より好むよう学習させるが、関連する説明文を添えても、AIがその情報を本当に判断へ使ったかは分かりにくかった。そこで研究者らは、文脈を追加したとき正しい回答への好みがどれだけ強まるかを測るCPGという指標を作った。

CPGが高いモデルほど幻覚が少ない一方、通常のDPOと派生法はCPGが小さく、文脈を十分に活用していないことが分かったという。C²-DPOは元の回答順位を保ちながらCPGを直接大きくする。複数の評価で一般的な推論力を落とさず、Qwen2-VL-Instruct-2BのObject HalBenchにおける幻覚率を相対で36%減らした。

写真の要約、商品確認、資料読解などでは、AIへ根拠を渡すだけで安心せず、その根拠を使えているか測る重要性を示す。ただし36%は相対削減で、幻覚がゼロになった意味ではない。特定モデルと評価データでの研究結果なので、医療や安全確認では原画像と一次資料を人が照合する必要がある。