EMNLP 2026論文：法律AIの幻覚を3414例・27種類で追跡、正解でも理由が誤る問題を確認

結論から言うと、EMNLP 2026本会議採択論文「LexAgentHallu」は、法律分野のAIエージェントが、最終回答だけでなく途中の道具利用や推論でどのように事実でない内容を作るかを調べる評価基準です。論文は2026年9月9日にarXivへ投稿されました。

法律AIは検索などの道具を使う途中で誤ると、その後に存在しない判決内容や誤った根拠の引用を生み、失敗が連鎖するおそれがあります。従来の法律ベンチマークは一問一答と最終結果の採点が中心で、作業のどこで誤りが生じたかを十分に分けられませんでした。LexAgentHalluは専門家を含む4段階の作成工程で、17の法律分類と6つの課題種類にわたる3414例を収録しています。

誤りを7つの大分類と27の細分類で注釈し、18種類の非公開・オープンソースのエージェントを評価しました。その結果、答えは合っていても理由が誤る「Right-Answer-Wrong-Reason」現象が見つかり、誤りの種類はばらばらではなく、仕組みや法律課題ごとにまとまる傾向が示されました。利用者は法律AIの結論だけでなく、引用元と途中の根拠も確認すべきです。

なお、これは研究用評価で、特定製品の法的助言の正確さを保証せず、地域ごとに異なる法制度への一般化も別途検証が必要です。