「Transformerは“短く表せる”から強い」ICLR 2026最優秀論文

ChatGPTなど今のAIの多くは「Transformer（トランスフォーマー）」という仕組みでできています。ICLR 2026で最優秀論文（Outstanding Paper）に選ばれた『Transformers are Inherently Succinct（トランスフォーマーは本質的に簡潔）』は、Transformerがなぜ強いのかを、理論の面から説明しました。

鍵は“succinct（簡潔・コンパクト）”という考え方です。同じ内容を表すのに、Transformerは古い方式（RNNなど）より少ない手数でコンパクトに表現できる、というのが主張です。少ない部品で多くを表せるほど効率がよく、結果として賢く振る舞えます。研究はBergsträßerさんらによるものです。ただし、その簡潔さには裏返しもあります。

論文は、Transformerが表したことを“正しいかどうか確かめる”作業は、計算量がとても大きく難しい（専門的にはEXPSPACE完全）ことも示しました。便利さと検証の難しさは、表裏一体だというわけです。私たちが使うAIが“なぜ賢いのか”の理由がわかる研究です。今後のAI設計や、新しい仕組みの研究を進める大事なヒントになります。