COLM 2026論文：AIの読みやすい推論文は、答えに重要な手順を十分に示さない

結論から言うと、AIが読みやすい「思考の手順」を文章で出しても、どの手順が正解に本当に効いたかを十分に説明できるとは限りません。COLM 2026で発表された論文「Legibility is Not Interpretability」は、推論文の見た目の分かりやすさと、内部で重要だった処理を見抜けることを分けて検証しました。

研究チームは各推論ステップを含めた場合と除いた場合で、最終正解の期待値がどれだけ変わるかを多数の試行で推定し、その差を「重要度」の基準にしました。その上で、別の高性能LLMに重要なステップを判定させたところ、単純な出現率だけで当てる基準よりは良かったものの、理論上到達できる上限には大きく届きませんでした。

手順単位の批評役として追加学習したモデルは、誤答の分析では大きく改善しましたが、正答の分析ではなお上限から遠い結果でした。利用者にとっては、AIが筋道立てて説明した回答でも、その文章だけを「内部でそう考えた証拠」と扱わないことが大切です。計算、出典、コード実行など外から確認できる証拠を組み合わせるべきです。

ただし、論文が否定しているのは推論文の説明能力であり、推論文が学習補助や誤り探しに無価値だという意味ではありません。重要度はモンテカルロ試行による推定で、対象モデルや課題によって結果が変わる可能性もあります。