arXiv論文：AIの幻覚検出は一般分野から医療へ移すとF1が0.915から0.52相当に低下

結論から言うと、2026年9月10日にarXivへ投稿された論文は、生成AIの事実と合わない回答を検出する仕組みが一般分野では高精度でも、医療分野へそのまま移すと性能が大きく落ちると報告しました。提案手法は、文章の整合性を判定するDeBERTa-v3、同じ入力を複数回評価して不確かさを測るMC Dropout、予測確率を実態に合わせる温度スケーリングを組み合わせます。

一般向けのHaluEvalでは総合F1が0.915、AUROCが0.977で、質問回答はF1 0.97、要約は0.96、対話は0.82でした。MC Dropoutを加えた精度は93.2%です。一方、生物医学のSciFactへ持ち込むとF1は0.52に下がり、医療文書で事前学習したPubMedBERTをSciFactで調整してもF1 0.63、AUROC 0.81でした。

また小型Qwen2.5-0.5Bの回答生成を好み学習で調整すると、この検出器が測った幻覚率は85.5%から37.7%へ低下しました。利用者には、社内文書や医療などの確認AIを作る際、一般評価の点数だけで選ばず、自分の分野のデータで試す必要があると分かります。ただし6ページの査読前プレプリントで、幻覚率の改善値は提案検出器自身による測定です。

人間の専門家による実運用評価と同じとは限りません。