AIモデル検査は正答率だけでは不十分——135種類で判定できた範囲が49.6%〜100%と大差

結論から言うと、ダウンロードしたAIモデルに危険なコードが含まれないか調べる検査ツールは、判定した案件での正答率だけを見ると実力を見誤る可能性があります。判定そのものを出せないファイルを含めた「カバー率」も同時に確認すべきだとする研究が公開されました。

研究チームは2026年8月27日、arXivでプレプリントを公開しました。PickleとPyTorch形式を中心に、145種類、計170個の人工的な検査用ファイルを用意しました。このうち135種類には安全か危険かの正解があり、10種類は意図的に壊して判定対象外としました。比較したのはModelScan、ModelAudit、Ficklingの3ツールです。

正解付き135種類すべてに明確な安全判定を返したのはModelAuditで100%、Ficklingは110種類で81.5%、ModelScanは67種類で49.6%でした。ModelScanは判定を返せた範囲だけなら適合率、再現率、F1がすべて100%でしたが、悪意ある48種類では解析を完了できず、その事例を他の2ツールは検出しました。

つまり「答えた時は正確」と「幅広く答えられる」は別の性能です。

公開モデルを社内で使う人は、検査結果が「安全」かだけでなく、未対応、解析失敗、判定不能が何件あるかも記録する必要があります。1つの検査ツールだけに任せず、対応形式や失敗時の代替手段を決める考え方にもつながります。

注意点として、これは査読済み学会論文ではなくarXivのプレプリントで、人工的に作ったファイル群での比較です。実世界の全モデル形式や未知の攻撃を代表するとは限りません。数値は特定バージョンと設定に依存する可能性があるため、導入時は最新版で自社ファイルを再検証し、検査を通ったことだけで安全を保証しないでください。