arXiv論文：分子特性AIの高得点に暗記混入、12評価中5つで半数超のモデルが公開値を再現

結論から言うと、arXiv掲載論文「Molecular Déjà Vu」は、AIによる分子特性の予測評価に、公開済みの答えを数字単位で思い出す「暗記」が混ざる場合があると示しました。論文は2026年9月4日に投稿され、掲載先は現時点でarXivプレプリントです。研究チームは22の最先端言語モデルを、12種類の回帰ベンチマークで監査しました。

回帰とは、物質の性質を点数や測定値のような連続した数字で答える課題です。具体的には、12データセットのうち5つで、半数を超えるモデルに公開値の逐語的な再現が見つかりました。一方、残るデータセットでは検出が一部に限られ、問題の大きさは評価データごとに違いました。

同じ分子と質問でも、推論を強くした設定は最も弱い設定より検出数が89%多く、表記を変えた分子式と元の答えの組み合わせを認識した強いモデルもあったと報告しています。利用者には、化学AIの高い正答率が、未知の分子を理解して予測できる証明とは限らない点が重要です。研究や製品選定では、学習時に未公開だったデータや新しい測定値でも試す必要があります。

ただし、これは12評価に対する監査で、全ての化学課題やモデルが暗記に頼るという結論ではありません。数値は著者らの判定方法に基づく結果です。