arXiv論文：AIは目立つ数字に引っぱられ常識を無視——12モデル中、最良でも罠を避けたのは54.8%

結論から言うと、AIは難しい計算ができても、質問に目立つ数字があると、前提となる常識を忘れて無意味な計算を始めることがある。2026年7月30日にarXivへ提出された未査読プレプリントは、この弱点を「目立ちバイアス」と名付け、1145問の評価セットSaliTrapを公開した。

例は「洗車場が家から50メートルなら歩くべきか」のように、距離の数字へ注意を向けながら、車を洗うには車を持って行く必要があるという前提を隠す。研究チームは、必要条件の欠落、環境の不一致、時間・身体の制約、ルールの不一致という4種類で、Claude、GPT、Gemini、DeepSeekなど12モデルを評価した。

最良モデルでも不可能な前提を見抜いて従わなかった割合は54.8%で、12モデル中8モデルは30%未満だった。不要な数字が増えるほど失敗は悪化し、罠に気づいても依頼に従うモデルもあった。一方、問題文を外して常識だけを聞き直すと、誤って従った失敗の90%超で必要な知識を取り出せたため、知識不足より質問の見せ方が原因だと分析した。

利用者は、AIへ頼む前に「前提に矛盾や不要な数字がないか先に確認して」と指示し、計算結果だけでなく目的を満たすかを点検したい。ただし合成問題をゼロショットで解かせた査読前研究で、日常の全質問を直接測ったものではない。出典はarXiv原論文である。