强化学习之父、年近七旬的Richard Sutton宣布创业，向LLM范式宣战

今日，强化被誉为“强化学习之父”的学习旬的n宣 Richard Sutton 在社交平台 X 上重磅宣布：他与长期合作者 Khurram Javed 已正式脱离由传奇游戏开发者 John Carmack 创立的 AI 公司 Keen Technologies，联手创办了一家名为 Oak Lab的父战全新初创企业。这家注册于加拿大的年近公司，旨在构建一种彻底区别于当前大语言模型（LLM）的布创 AI 架构——一个能够基于自身经验持续学习、实时进化的式宣通用智能体。

在声明中，强化Sutton 虽对 Carmack 及 Keen Technologies 表达了敬意，学习旬的n宣但明确划清了界限。父战他指出，年近现有的布创深度学习方法存在结构性缺陷，仅靠修补无法突破瓶颈，式宣必须从理念层面进行重构。强化

（来源：X）

现年 68 岁的学习旬的n宣 Richard Sutton 现任加拿大阿尔伯塔大学计算机科学教授。他在斯坦福大学获得学士学位后，父战于马萨诸塞大学阿默斯特分校师从 Andrew Barto 完成博士学业。作为时序差分学习（Temporal Difference Learning）的提出者，他与 Barto 合著的《强化学习导论》已成为该领域的奠基之作。2025 年，二人因在强化学习概念及算法基础上的开创性贡献共同荣获 ACM 图灵奖。此外，AlphaGo 之父 David Silver、强化学习领域知名学者 Doina Precup 等均出自其门下。

为何背离 LLM 路线？

Oak Lab 的诞生，深深植根于 Sutton 在 2019 年发表的著名论文《苦涩的教训》（The Bitter Lesson）。

在这篇短文中，Sutton 梳理了 AI 研究过去 70 年的历史，提炼出一个核心规律：凡是试图将人类领域知识硬编码进系统的尝试，最终都会被依赖大规模计算资源的通用方法所超越。从计算机象棋到语音识别，再到计算机视觉，这一规律屡试不爽。真正有效的路径只有两条：搜索与学习，它们是能够随算力增长无限扩展的通用手段。

尽管许多从业者将此文解读为支持 LLM 规模化路线的理论背书，但 Sutton 本人对此持反对意见。在 2025 年 9 月接受 Dwarkesh Patel 播客采访时，他直言不讳地指出，当前的 LLM 并未真正践行《苦涩的教训》的精神。

Sutton 的核心论点在于：LLM 的学习来源是静态的训练数据，而非动态的经验。将海量人类文本灌入模型，本质上仍是一种依赖人类知识的路径，这与 Sutton 所批判的“手工编入领域知识”在逻辑上并无二致，仅仅是规模更大而已。

图｜Sutton 接受 Dwarkesh Patel 访谈（来源：Youtube）

Sutton 进一步强调，LLM 擅长模仿人类语言模式，但缺乏持续学习的能力。模型一旦训练完成并部署，其学习过程即告终止，无法从与用户的实时交互中获取新知，也无法自我评估输出的正确性。在他看来，真正的智能必须包含通过试错产生新发现的能力，正如 AlphaZero 摒弃人类棋谱，通过数百万局自我对弈发明全新下法那样。

2026 年 5 月，Sutton 在麻省理工学院发表 Dertouzos 杰出讲座时更直言，整个 AI 产业在某种程度上已偏离了正确方向。

OaK 架构：从经验中生长智能

Oak Lab 的技术基石是 Sutton 提出的 OaK 架构（Options and Knowledge，选项与知识），该架构源自他与阿尔伯塔大学同事共同制定的长期研究路线图——“阿尔伯塔计划”。

OaK 的设计遵循三大核心原则：
1. 通用性：智能体启动时不预设任何特定领域知识。
2. 经验驱动：所有知识必须通过与环境的交互获取。
3. 强化驱动：学习的核心动力是最大化累积奖励。

在技术实现上，OaK 围绕两个关键概念展开：
* 选项（Options）：指在时间维度上延伸的行为策略。它不仅仅是单步动作，而是一整套行为序列及其终止条件。
* 知识（Knowledge）：指智能体在执行不同选项过程中对世界状态的内部理解。

智能体在运行中不断创建新选项、积累相关知识，并利用内部构建的世界模型来预测行为的长期后果。这一机制形成了一个自我强化的闭环：从经验中提取特征，将有用特征抽象为高层表示，进而构建更复杂的规划能力。理论上，这一过程是开放式的，仅受限于计算资源。

然而，Sutton 也坦诚面对技术挑战。当前深度学习在持续学习中面临两大顽疾：灾难性遗忘（新信息覆盖旧知识）和可塑性丧失（系统随时间推移失去学习能力）。他表示，这些问题尚未完全解决，这也是目前无法展示大规模 OaK 系统实例的原因。他在 MIT 讲座中坦言，这目前仍是一个愿景，但他坚信其可行性。

强化学习阵营的集结

Oak Lab 的成立并非孤立事件，而是强化学习阵营的一次重要集结。

此前，Sutton 的学生、被称为“AlphaGo 之父”的 David Silver已离开 DeepMind，于 2025 年底创立 Ineffable Intelligence。2026 年 4 月，Ineffable 获得 11 亿美元种子轮融资，估值高达 51 亿美元。

图｜David Silver（来源：Google Deepmind）

Ineffable 的技术路线与 Oak Lab 高度相似，均押注强化学习，主张 AI 应摆脱对人类数据的依赖，从自身经验中发现知识。加上 Sutton 和 Javed 此前所在的 Keen Technologies 同样信奉强化学习路线，师生三方几乎同时发力，共同向当前主流的 LLM 范式发起挑战。

当然，这一立场也伴随着争议。批评者指出，强化学习在围棋、国际象棋等规则明确的封闭领域表现卓越，但在开放式的现实世界中，奖励信号往往模糊不清，纯强化学习面临巨大挑战。此外，当前 AI 在推理和数学领域的许多突破，正是得益于强化学习与大语言模型的结合。两条路线是否必须对立，仍是业界开放的议题。

参考文献：
1. https://thelogic.co/briefing/ai-pioneer-richard-sutton-launches-startup-to-build-always-learning-agents/
2. https://digg.com/tech/5p0hdvmr
3. https://x.com/mark_k/status/2076667108688003127
4. https://en.wikipedia.org/wiki/Richard_S._Sutton
5. https://thetech.com/2026/05/28/sutton-rl-lecture
6. https://www.dwarkesh.com/p/richard-sutton

运营/排版：何晨龙
注：封面/首图由 AI 辅助生成

(责任编辑：综合)