CHI 2026採択論文：グラフ画像から表を復元するマルチモーダルAI、構造は読めても数値精度が課題

結論から言うと、グラフ画像をAIに読ませて表データへ戻す作業は便利ですが、数値の正確さにはまだ落とし穴があります。2026年6月29日にarXivで公開されたCHI 2026採択論文「Making Multimodal LLMs Reliable Chart Data Extractors」は、マルチモーダルLLMがグラフ画像からデータ表を復元できるかを調べました。

対象は、データラベルが見えない多様な実世界グラフです。研究によると、現在のマルチモーダルLLMは表の構造を復元することは比較的得意ですが、棒や線の正確な数値を読み取る部分で苦戦します。そこで著者らは、人がグラフを読むように段階的に理解する訓練フレームワークを提案し、7Bパラメータのモデルで数値精度を大きく改善したと報告しました。

特に、軸、凡例、目盛りを順に読む流れを学ばせる点が特徴です。ユーザーには、PDFやスライドのグラフを再利用したい時に役立つ可能性があります。ただし、財務、研究、報道のように数値の誤りが大きな問題になる場面では、AIが作った表を原図や元データで照合する必要があります。venueはCHI 2026で、arXiv版が一次情報として公開されています。