ACM-MM 2026採択論文：Groc-PO、画像を読むAIのハルシネーションを「根拠づけの段階別」に減らす学習法を提案

結論から言うと、画像を読むAIの「もっともらしい間違い」を減らすには、最後の答えだけを直すより、途中の見方を段階ごとに直すほうが効く可能性があります。2026年7月15日にarXivへ投稿され、ACM-MM 2026に採択された論文「Groc-PO」は、マルチモーダルLLM（画像と言葉を一緒に扱うAI）の信頼性を高める学習法を提案しました。何が起きたか。

現在の画像理解AIは、見えていない物をあると言ったり、画像と合わない説明を作ったり、根拠のない推論をすることがあります。従来のDPOのような好み学習は、最終回答の良し悪しに寄りがちで、早い段階の見間違いが後の推論へ広がる問題を直接直しにくいとされます。

具体的にGroc-POは、Object Grounding、Contextual Grounding、Grounded Reasoningの3段階で好みデータを作り、どこで根拠がずれたかを明示して学習します。実験では、標準DPOや強い比較手法より、ハルシネーション抑制、根拠に忠実な推論、全体の信頼性が改善したと報告されています。

自分に関係するのは、画像つきAI検索や資料読解で「画像を見たふり」を減らす研究が進んでいることです。ただし論文段階であり、手元のAIサービスで同じ効果が出るとは限りません。出典はarXiv公式ページです。