Jared-Kaplan

本文整理自 Anthropic 的联合创始人 Jared Kaplan 在 YC 创业学校的演讲，带你 5 分钟了解这篇访谈的精华。 “AI 的进步并不是因为研究人员突然变聪明了，而是因为我们找到了一个非常简单、系统性的方法来让 AI 变得更好，并且我们正在不断地转动那个曲柄。” 说这话的人是 Jared Kaplan，Anthropic 的联合创始人之一。有趣的是，仅仅在六年前，他的身份还是一位理论物理学家。他的职业生涯始于一个颇具科幻色彩的梦想——受到科幻作家母亲的影响，他想知道人类是否能造出超光速引擎。物理学，似乎是解答这个问题的唯一途径。 从研究大型强子对撞机到宇宙学，再到弦理论，Kaplan 沉浸在探索宇宙最根本规律的乐趣中。但慢慢地，他感到一丝沮丧，觉得物理学的进展不够快。与此同时，他身边许多朋友——包括后来 Anthropic 的同事们——都在谈论一个让他一度非常怀疑的领域：人工智能（AI）。 “AI？人们不是已经研究了50年了吗？” Kaplan 当时的想法代表了很多人的心声。但最终，他被说服了。他将物理学家那种探寻宏大规律、提出最根本问题的思维方式带入了 AI 领域，并幸运地发现了一些足以改变游戏规则的东西。 AI 训练的“秘密配方”其实很简单 在我们惊叹于 Claude 或 ChatGPT 的强大能力时，可能会觉得它们的训练过程高深莫测。但 Kaplan 指出，其核心原理可以归结为两个基本阶段。 第一阶段：预训练 (Pre-training) 这就像让一个学生海量阅读。模型会学习庞大的人类书面文本（现在也包括图片等多模态数据），目标只有一个：预测下一个词。 比如，当你说“在座谈会上，发言人很可能……”时，模型会知道，“说某些话”是高概率的词，而“是一头大象”则是极低概率的。通过这种方式，模型不仅学会了语言，更重要的是，它理解了信息之间的内在关联和世界知识的结构。 一张非常复古的图，展示了早期GPT-3的预测界面 第二阶段：强化学习 (Reinforcement Learning) 预训练后的模型更像一个知识渊博但行为散漫的“书呆子”。它知道很多事，但不知道如何与人有效互动。这时，就需要强化学习来“调教”它。 在这个阶段，人类（比如众包工作者）会与模型进行对话，并对模型的不同回答进行比较和选择，告诉模型哪个回答更好。这个“更好”的标准通常是 Anthropic 奉行的“HHH”原则：有帮助的 (Helpful)、诚实的 (Honest)、无害的 (Harmless)。 通过这种反馈，模型会逐渐学会哪些行为是值得鼓励的，哪些是需要避免的。它从一个单纯的“预测机器”转变为一个有用的对话助手。 另一张复古的图，展示了早在2022年为早期Claude收集反馈的界面 “规模法则”：AI 进步的可预测引擎 Kaplan 从物理学带来的最大洞见，莫过于发现了 AI 发展中的“规模法则”（Scaling Laws）。 作为一个物理学家，他习惯于从宏观视角提出一些“看起来很傻”的问题。当时，“大数据”的概念很流行，他就问：“数据到底要多大才算大？它究竟有多大帮助？” 同样的，大家都说更大的模型表现更好，他就问：“究竟好多少？” 在探寻这些问题的答案时，他和团队幸运地发现了一个惊人的规律：当你扩大 AI 的训练规模（包括计算量、模型参数量、数据集大小）时，模型性能的提升是可预测的，其表现出来的趋势像物理学或天文学中的规律一样精确。 这张图展示了模型性能（Y轴的Loss）随着计算量、数据量和模型大小（X轴）的增加而平滑、可预测地下降 这个发现在当时（大约2019年）给了他们巨大的信心。当一个趋势在好几个数量级上都成立时，你就有理由相信它在未来很长一段时间内会继续成立。 而更妙的是，这种规模法则不仅存在于预训练阶段。研究者 Andy Jones 在研究一个名为“六贯棋”（Hex）的棋类游戏时也发现，AI 的棋力（用 ELO 等级分衡量）同样随着训练量的增加呈现出漂亮的直线增长。...