OpenAI検証：AI評価は設定2つで3倍変わる——GPT-5.6 SolのARC-AGI-3得点13.3%→38.3%、出力は6分の1

結論から言うと、同じAIモデルでも、過去の考えを残すか、長い履歴をどう縮めるかという実行設定だけで評価点が約3倍変わるとOpenAIが報告した。2026年7月29日の公式検証は、未知の2Dゲームを説明なしで学ぶ「ARC-AGI-3」でGPT-5.6 Solを調べた。

公式の汎用実行環境では、各操作の後に非公開の推論が捨てられ、履歴が17万5000文字を超えると古い操作から削られていた。そのためAIは毎回ゲームの仕組みを考え直し、以前の発見も失いやすかった。OpenAIはResponses APIで、前回の推論を保持する設定と、古い履歴を単純削除せず要約する「compaction」を有効化した。

公開課題でのRHAE得点は13.3%から38.3%へ上がり、出力トークンは約6分の1になった。人間テスター平均の推定48%には届かないが、実行環境が結果へ大きく影響することが分かる。利用者には、AIを比べるときモデル名や平均点だけでなく、履歴、道具、API設定、費用を確認する必要があるという教訓になる。

ただし検証と推奨はOpenAI自身によるもので、他社モデルや別課題へ同じ伸びを保証しない。公平な比較には、各モデルに合う設定を公開し、第三者が再現できることが重要だ。