arXiv論文：未知のルールをAIは探り当てられるか——2環境140課題で10システムを評価

結論から言うと、AIが覚えた知識を答える力ではなく、未知の環境で仮説を立て、試し、規則を発見する力を測る評価法「ExplorationBench」が提案された。論文は2026年9月24日にarXivへ投稿され、科学的な発見に近い探索能力を、答え合わせできる仮想世界で調べる。

評価環境は、プログラムの動きを探るAlienCodeと、見慣れない論理規則を探るAlienLogicの2種類。前者は31個の発見対象と70課題、後者は24個の発見対象と70課題を含む。参加するAIには、わざと不完全な説明書、操作結果の反応、専用の道具が与えられる。規則は実行可能なので正誤を厳密に確認でき、普段の常識と食い違うため、学習時の記憶だけでは解けない設計だ。

研究チームは10のAIシステムを比較し、強いシステムは未知の規則を学んで別の課題へ応用できた一方、同じ設定でも探索の進み方によって結果が大きく変わったと報告した。また、試行を続ければ必ず改善するわけではなく、途中で伸びが止まったり、以前より悪くなったりする場合もあった。

利用者にとっては、研究支援AIや自律エージェントを選ぶ際、既存問題の点数だけでなく、失敗から学べるかを見る必要があると分かる。ただし本稿はarXivの査読前論文であり、要旨には各システムの個別得点が示されていない。仮想世界での成績を現実の科学発見へそのまま置き換えず、論文本文や追試も確認したい。