arXiv論文：AIの重大リスクを平均で隠さない評価表——最悪値集計で点数が14〜37低下

結論から言うと、2026年9月23日にarXivへ公開された論文は、AIの重大な危険を平均点だけで見えにくくしない「Systemic Risk Index」を提案した。EACL 2027のシステム実演部門へ投稿中で、まだ採択済みとは書かれていない。18モデルを評価すると、平均ではなく最悪の場合を重く見る集計に変えた際、点数は14〜37ポイント下がった。

仕組みはEU AI法の汎用AI向け実務規範に合わせ、19の公開ベンチマークを、生物・化学などのCBRN、サイバー攻撃、有害な操作、制御の喪失という4分類に整理する。利用者は集計方法やモデル能力の重みを変え、各リスク評価を元の証拠までたどれる。固定された安全ランキングではなく、見方を変えて比較できる公開画面を目指した。

自動採点に使う大規模言語モデルは、人同士の採点に近い一致度を示した。論文の係数は0.78〜0.82で、変形した問題が元の有害性を保つかを目隠し確認した調査では83%が維持された。21人の利用調査では、多くが点数を理解しやすく、異なる設定でも評価を見るきっかけになったと答えた。

ただし、対象者21人は少なく、19評価だけで現実の全リスクを測れるわけではない。自動採点にも誤りがあり、最悪値を重視すれば必ず正しいとも限らない。モデルを選ぶ際は単一の総合点をうのみにせず、用途に関係する個別評価、前提、更新日、元データまで確認する考え方が大切だ。