arXiv論文：AIの「反省・書き直し」、同じ文字数なら単純な複数回答に勝てず——36比較で検証

結論から言うと、小型の文章AIに自分の答えを反省・批評・書き直しさせても、同じ量の文章を生成する予算なら、何度か普通に答えさせて多数決する方法を上回らないという結果が出た。2026年7月30日にarXivへ提出された未査読プレプリントは、計画、Self-Refine、Reflexion、複数AIの討論、Best-of-Nなど7手法を比較した。

対象は15億、30億、70億パラメータのオープンモデル、2種類の数学ベンチマーク各150問だ。批評や確認に使った分も含め、生成した全トークンを数え、各手法を同じ実測費用の反復サンプリングと36条件で問題ごとに比較した。統計的な幅と多重比較も考慮した結果、単純な反復回答より確実に良い手法は1つもなく、10条件では確実に悪かった。

特にAIが自分の出力を読む18条件はすべて差がマイナスで、70億モデルでもSelf-Refineと強制Reflexionは3.6〜10.1ポイント低かった。AIワークフローを作る人には、複雑な「反省ループ」を足す前に、同じ費用で複数回答と多数決を試すべきだという実務的な示唆になる。

ただし数学問題と15億〜70億モデルに限る単著の査読前研究で、最新の大規模商用AIや文章作成、コード、実作業まで同じとは限らない。公開コードで自分の課題を再検証したい。