ACM Multimedia 2026採択論文：画像と文書をまたぐRAGを大小2つのグラフで整理するDualG-MRAG

結論から言うと、画像と文書を一緒に検索するRAGでは、資料全体のつながりと細かな証拠を一つの巨大な図に詰め込まず、二段階に分ける方法が有効だとする研究が出た。ACM Multimedia 2026採択論文「DualG-MRAG」は、複数の資料をまたいで答えるマルチホップ質問を対象にしている。

従来のマルチモーダルRAGは、画像や文書を一件ずつ照合すると資料間の関係を取りこぼしやすい。一方、細かな画像特徴までグラフに入れると規模と検索ノイズが急増し、大まかにまとめすぎると必要な局所証拠が消える。提案法は、全体のつながりをたどるMacro Graphと、細部の証拠を確かめるMicro Graphを分離する。

質問に応じてGNNが異なる証拠間へ関連度を伝え、動的計画法で推論経路を取り出し、ばらばらの文書断片ではなく順序のある手掛かりを生成AIへ渡す。論文は複数の実験で、証拠の再現率と複雑な質問への正解率が比較手法を上回ったと報告する。社内資料検索なら、図表と説明文をまたぐ質問の設計に参考になる。

ただし要旨には実環境の費用や遅延、具体的な改善幅が示されておらず、製品としてすぐ使えるという発表でもない。自社資料で精度、速度、権限管理を検証する必要がある。