arXiv論文：災害を調べるAIの一貫性を測るEarthVerse——405課題、厳格合格は最高34.81%

結論から言うと、自然災害を調べるAIは個別の数字には答えられても、異なる資料、単位、計算、物理的な意味を最後まで一貫させる力がまだ不十分です。2026年8月24日にarXivへ投稿された論文「EarthVerse」は、地球科学の調査を行うAIエージェント向けの再現可能な評価基盤を提案しました。

199件の記録された出来事と19種類の災害群を基に405課題を作成し、AIが資料一式を調べ、使える証拠を選び、計算を実行し、情報源の違いを調整し、出典を残せるかを測ります。25種類のモデルとエージェントを同じ道具利用ルールで比べた結果、答えの細かな要素ごとの最高平均正答率は84.65%でした。

一方、必要要素の95%以上を満たす厳しい指標Strict@95の最高値は34.81%にとどまりました。防災情報や科学調査でAIを使う人は、きれいな要約だけを信じず、元データ、単位変換、計算式、時刻や場所の一致を人が確認すべきだと分かります。ただし、これはarXiv上の未査読論文で、EarthVerse内の成績は現実の防災判断を安全に任せられる証明ではありません。

災害時は自治体、気象機関、研究機関などの公式情報を優先し、AIの出力だけで避難や医療の判断をしないことが重要です。