强化学习

本文来自于 Youtube 博主 Dwarkesh Patel 对强化学习（Reinforcement Learning）先驱 Richard Sutton 的访谈，核心内容围绕强化学习与大语言模型（Large Language Models）在构建人工智能（AI）方面的根本性差异，以及对 AI 未来的展望。 主要观点 强化学习与大语言模型的根本区别：Richard Sutton 认为，强化学习 (RL) 是关于智能体通过与世界互动、从经验中学习以实现目标的“基础 AI”。相比之下，大语言模型 (LLM) 本质上是模仿人类生成的文本，它们缺乏真实的世界模型、实质性的目标以及从实时互动中学习的能力。 “经验”是智能的核心：Sutton 强调，真正的学习来自于“经验”——即采取行动并观察后果。动物和人类主要通过这种试错法学习，而非模仿。他认为，当前 AI 系统普遍缺乏这种哺乳动物都具备的持续学习能力。 “惨痛的教训” (The Bitter Lesson) 的启示：Sutton 指出，AI 发展的历史表明，那些利用海量计算和从经验中学习的通用方法，最终会胜过依赖人类知识构建的系统。他认为，尽管 LLM 规模庞大，但它们严重依赖人类数据，未来可能被能直接从经验中学习的、更具可扩展性的系统所超越。 对 AI 继承的积极展望：Sutton 认为，人类向数字智能或增强人类的“继承”是不可避免的。他将此视为宇宙从“复制”智能（如生物）到“设计”智能的重大转变，并认为人类应为此感到自豪，视其为我们的“后代”。 关键细节 强化学习 (RL) 与大语言模型 (LLM) 的对比 世界模型：Sutton 反对 LLM 拥有真正世界模型的观点。他认为 LLM 只是在模仿人类如何谈论世界，而不是理解世界本身。它们预测的是“一个人会说什么”，而不是“世界会发生什么”。 目标与奖励：真正的智能需要有目标。RL 中的“奖励”为智能体提供了明确的目标和判断行动好坏的“基本事实” (ground truth)。而 LLM 的“下一个词元预测”并非一个与外部世界交互的实质性目标，因此缺乏学习的根本依据。 学习方式：LLM 从固定的训练数据中学习，这在它们的“正常生命”中是无法获得的。而 RL 智能体则在与环境的持续互动中学习，能够不断调整和优化其行为。Sutton 认为，将 LLM 作为 RL 的“先验知识”起点是错误的方法，因为它会使研究者陷入“人类知识”的思维定式中。 “惨痛的教训” (The Bitter Lesson) 与可扩展性 Sutton 在 2019 年的文章《The Bitter Lesson》中指出，利用大规模计算的通用学习方法最终会胜出。 他认为 LLM 依赖于有限的互联网文本数据，而能够直接从经验中获取数据的系统拥有无限的潜力，因此更具可扩展性。最终，后者将超越前者，成为“惨痛的教训”的又一个例证。 对未来的展望 持续学习智能体：未来的通用 AI 应该是一个持续学习的智能体，它拥有四个关键组成部分：策略（policy）、价值函数（value function）、状态表征（state representation）和世界转换模型（transition model）。 AI 继承的必然性：Sutton 提出了一个四步论证来支持 AI 继承的必然性：1) 人类缺乏统一的全球共识；2) 我们终将理解智能的原理；3) AI 的发展不会止步于人类水平；4) 最智能的存在最终会获得资源和权力。 从“复制”到“设计”：他将这一转变视为宇宙演化的一个重要阶段，即从通过繁殖进行“复制”的智能，演变为我们能够理解并主动“设计”的智能。他鼓励人们以积极的心态看待这一未来，并将其视为人类文明的延续和成就。 文章原文 如果你关注人工智能，你一定会被大语言模型（LLM）的惊人能力所震撼。但就在整个行业为生成式AI狂欢时，一位“AI领域的奠基人”却冷静地提出了截然不同的看法。...