arXiv論文：SciAgentArena、科学研究AIエージェントを約200タスクで評価——定型分析は得意でも新発見はまだ弱い

結論から言うと、科学研究を助けるAIエージェントは、はっきりしたデータ分析では使える場面がある一方、研究者のように新しい発見を自力で進める力はまだ限定的です。

arXiv論文「Benchmarking AI Agents for Addressing Scientific Challenges Across Scales」は、SciAgentArenaという評価基盤を提案しました。目的は、研究現場に近い複雑な作業でAIエージェントを測ることです。

SciAgentArenaは複数分野の新しい研究ニーズから作った約200タスクを含み、手順ごとの検証と、特定のエージェントに依存しない対話型環境を用意します。著者らはこの基盤で複数のAIエージェントを評価し、課題の構造や評価基準が明確なデータ分析ワークフローでは有効に貢献できると報告しました。

一方で、文脈が複雑な科学課題では成績が不安定で、真に新しい洞察を出すこと、自分で探索を続けること、開かれた研究問題に強い解決策を作ることに苦戦しました。失敗例も整理し、信頼性、自律性、科学的推論を改善する必要があると述べています。私たちに関係する点は、「AIが研究者を置き換える」という単純な話ではなく、データ整理や確認の補助から使うのが現実的だとわかることです。

出典はarXivで、コードやタスク、データセットも公開されていますが、査読状況や各分野での再現性は別途確認が必要です。