GEM（ACL 2026）論文：AI評価の平均点は信頼をふくらませる——有効期限と適用範囲の明記を提案

結論から言うと、AIモデルの平均点だけを見て「このAIが一番」と決めると、弱点を見落とすおそれがある。生成・評価指標を扱う国際ワークショップGEM（ACL 2026）で発表された論文は、自動指標、別のAIによる採点、人の評価、複数ベンチマークを単純に平均すると、最も信頼性の低い評価より全体の自信が高く見える「trust inflation」が起きると指摘した。

研究者はAIの評価結果を、①人の評価か自動評価かを示す形式の強さ、②どの問題や利用場面まで当てはまるかという範囲、③データ混入や環境変化で古くなるまでの有効期限、の3情報と一緒に扱うよう提案する。公開HELMランキングの54モデル・10シナリオを分析すると、平均点で選んだ上位5モデルと、各モデルの最も弱い部分を重く見る方法で選んだ上位5モデルは1つも重ならなかった。

つまり順位はモデルの能力だけでなく、点のまとめ方でも大きく変わる。利用者は総合点に加え、自分の用途に近い項目、最低点、評価日を見ると選びやすい。注意点として、これは7ページの立場表明を含む論文で、弱点重視が常に唯一の正解だと実証したものではない。出典はGEM（ACL 2026）論文とarXiv記録である。