ロボット制御を一変させた“試行錯誤で学ぶAI”——時の試練賞のDDPG論文

ICLR 2026の「時の試練賞（Test of Time）」のもう一つの受賞論文が、『Continuous control with deep reinforcement learning（深層強化学習による連続制御）』です。著者はTimothy Lillicrapさんら。10年前の2016年に発表され、ロボットのようなAIが“なめらかな動き”を自分で学ぶ道を切り開きました。

AIが試行錯誤しながら上達する学び方を「強化学習」といいます。ただ、関節の角度やアクセルの強さのように“連続的に変わる動き”は選択肢が無限にあり、従来のやり方では扱うのが大変でした。人が手作業で特徴を決めたり、動きを無理に細かく区切ったりする必要があったのです。この論文が提案した「DDPG」という手法は、その壁を一気に越えました。

センサーから入る生のデータを、そのまま“なめらかで正確な動き”に変換できるようにしたのです。これにより、深層強化学習が現実世界の制御に踏み込めるようになり、その後の研究が爆発的に広がりました。試して失敗して上達する“強化学習”は、ゲームをプレイするAIやロボット、配送ルートの最適化など、身近な場面でも活躍しています。DDPGはその土台の一つ。

AIが「教わる」だけでなく「自分で経験して学ぶ」面白さを思い出させてくれる受賞です。