CoLM 2026採択論文：クレジットカード規約1800問でAIを検証——計算より「条件の読み違い」が弱点

結論から言うと、AIにクレジットカードの支払額を聞くと、足し算よりも規約の条件を取り違えて誤ることが多い。CoLM 2026採択論文は、実際のクレジットカード契約書を基に、金融知識と数値推論を測る「CreditCardQA」を提案した。データは手数料、利息、支払いに関する1800問で、利用者が自然に尋ねる一人称表現の言い換えも含む。

研究チームは複数の大規模言語モデルと推論モデルを、考え方を文章で示すChain-of-Thoughtと、計算手順をプログラムとして作るProgram-of-Thoughtで比較した。Program-of-Thoughtは全体に一貫して成績を上げ、とくに元の推論力が弱いモデルで改善が大きく、公開モデルと非公開モデルの差も縮めたという。

一方、失敗の中心は単純な計算ではなく、金融ルールの当てはめ、例外条件の見落とし、契約用語の誤解だった。比較、条件分岐、金額制約を含む問いは難しく、延滞金や少額残高のように生活が苦しい人へ影響しやすい場面でも誤りが見つかった。利用者は、AIの回答を支払い判断の確定情報にせず、契約書の該当条項とカード会社の計算結果を確認したい。

1800問は重要な試験だが、全ての国・会社・規約を代表するものではなく、性能の結論は論文の評価条件に限られる。