arXiv論文：AI安全性テストを約10問まで圧縮できる場合——192モデル・8評価を項目反応理論で分析

結論から言うと、AIの安全性テストは大量の質問を毎回すべて解かせなくても、難しさや見分ける力を考えて選んだ少数の質問で、全体傾向を推定できる場合がある。2026年8月5日にarXivへ提出された未査読論文は、教育テストなどで能力を測る「項目反応理論（IRT）」をAI安全性評価へ応用した。研究チームは192の言語モデルについて、8種類の安全性ベンチマークの回答を分析した。

その結果、モデル間の違いの多くは「拒否の厳しさ」「真実性」「文脈に応じた害」の3要因で説明できると報告した。また、心理測定の基準で選んだ質問は、同じ数を無作為に選ぶより全体点の再現誤差が小さかった。一部の個別ベンチマークでは、適応的に選ぶ約10問で足り、評価費用を97〜99%減らせるとしている。

さらに、評価だと気づいたモデルが意図的に実力を隠す単純な「手抜き」や、APIの裏側でモデルが入れ替わった変化を調べる用途も示した。利用者には、平均点だけで安全・危険を決めず、何を測る質問かを見る重要性がある。ただし約10問で済むのは全評価に共通する保証ではなく、未知の攻撃や新しいモデルにも通用するかは未確認だ。

査読前の著者報告であり、実運用では網羅的なテストと人の監査を置き換えない。