複数AIは正解を作れても選べない？ 判定役と回答数の併用で正答率約64%から約71%へ

結論から言うと、複数のAIに答えを出させても、多数決だけでは正解が少数派に埋もれることがあり、判定役AIの評価と回答の多さを組み合わせる方が有効な場合があります。2026年8月26日にarXivへ提出されたプレプリントで、研究チームは複数AIシステムの「候補を作る段階」と「最後の答えを選ぶ段階」を分けて調べました。

MMLU-Pro、GPQA、MedXpertQA、MuSRなどの1万5,336問で判定役の信頼性を分析し、5種類の評価にまたがる1万6,278問から作った8万1,390組の固定候補を再評価しました。その結果、候補の中に正解がすでに存在していても、会話や合意形成の末に誤答を選ぶ例があると確認されました。

また、判定役の正確さはモデル固有の一定値ではなく、問題の種類、候補を作ったモデル、正解候補の少なさで変わりました。回答の出現頻度と判定役の評価を組み合わせ、最終選択だけを変更すると、正答率は63.82%から70.82〜70.95%へ上がったと報告しています。調査や学習で複数AIを使う人には、単純な多数決より「少数の正解を見つけられる判定」を用意する重要性を示します。

ただし、判定役も誤るため、医療など重要な判断をAI同士だけで確定してはいけません。これは査読済み会議論文ではなくarXiv上のプレプリントで、特定の評価問題と候補群に基づく結果です。異なるモデルや実務で同じ改善が出るかは追試が必要です。