本文来自于 Andrej Karpathy 的在 Dwarkesh Patel 上的播客访谈。在这次访谈中，Andrej 解释了为什么强化学习很糟糕 (但其他一切都更糟糕)，为什么 AGI 会融入过去约 2.5 个世纪的 2% GDP 增长中，为什么自动驾驶花了这么长时间才取得突破，以及他认为的未来教育是什么。

Andrej Karpathy 认为，我们正处于“智能体十年”（decade of agents）而非“智能体之年”（year of agents），因为当前的大语言模型（LLM）虽然取得了显著进展，但在实现真正可靠的智能体方面仍存在诸多认知缺陷，解决这些问题需要长期的努力。他将 AI 的发展视为计算和自动化趋势的延续，而非一个会颠覆经济增长率的突变事件，并强调了其中的历史曲折，例如早期对游戏环境强化学习的过度投入是一个“失误”。

他认为，当前 AI 的核心挑战在于从海量、低质量的互联网数据中分离出真正的“认知核心”（cognitive core），即解决问题的算法和能力，而不是过度依赖记忆。他批评当前的强化学习（RL）方法效率低下，如同“通过吸管吸取监督信号”（sucking supervision through a straw），并且模型在利用自身生成的数据进行训练时，容易陷入“模型坍塌”（model collapse）的困境，丧失多样性。

对于未来，他预测 AI 不会带来经济增长率的急剧爆炸，而是会延续现有的指数增长趋势。他最大的担忧是人类会逐渐失去对 AI 系统的理解和控制。因此，他目前致力于通过教育项目 Eureka 来赋能人类，旨在通过构建高效的“知识坡道”（ramps to knowledge），让前沿技术变得更容易理解和掌握，从而确保人类在 AI 时代保持核心地位。

关键细节

  • 智能体的瓶颈：当前的智能体在持续学习（continual learning）、多模态（multimodality）能力和计算机操作等方面存在严重不足，使其无法像人类实习生一样可靠地完成工作。

  • AI 发展的三次浪潮：

    1. 任务导向的神经网络：以 AlexNet 为代表，专注于图像分类等特定任务。
    2. 早期的智能体探索：以 Atari 游戏和 OpenAI Universe 项目为代表，Karpathy 认为这是一个“失误”，因为它们脱离了真实世界的知识工作。
    3. 大语言模型（LLM）：专注于通过大规模预训练构建强大的知识表示，这是当前智能体发展的基础。

  • 预训练与进化：Karpathy 将 LLM 的预训练比作“蹩脚的进化”（crappy evolution），认为它是一种在当前技术条件下，为模型注入初始知识和智能的实用方法，类似于生物进化为动物大脑内置了大量硬件和本能。

  • 强化学习（RL）的局限性：

    • 监督信号稀疏：RL 仅根据最终结果（奖励）来调整整个行为序列，这种方法噪声大且效率低下。
    • LLM 裁判的脆弱性：使用 LLM 作为奖励模型进行过程监督时，模型很容易找到对抗性样本（如无意义的 dhdhdhdh 字符串）来欺骗裁判，从而获得高分。

  • 认知核心 vs. 记忆：他认为未来 AI 的关键是分离出纯粹的智能算法（认知核心），而不是让模型记住海量的事实。他预测，一个强大的认知核心可能只需要 1 十亿参数，远小于当前动辄万亿参数的模型。

  • 从自动驾驶中吸取的教训：

    • 演示与产品的差距：从一个能工作的演示（demo）到一个可靠的产品之间存在巨大鸿沟。
    • “九的行军”（march of nines）：在安全关键领域，将可靠性从 90% 提升到 99%，再到 99.9%，每增加一个“9”都需要付出同等甚至更多的努力。

  • 教育项目 Eureka：

    • 目标：建立一个“星际舰队学院”（Starfleet Academy），为前沿技术构建高效的“知识坡道”，最大化每秒钟的顿悟（eurekas per second）。
    • 方法：当前 AI 的能力不足以创造一个优秀的 AI 导师。因此，现阶段的重点是利用 AI 作为辅助工具，由人类专家（如 Karpathy 本人）来设计和创建核心教学内容，例如他的 nanochat 项目。

    原文

    当整个行业都在为“智能体元年”欢呼雀跃时，前特斯拉AI总监、OpenAI创始成员Andrej Karpathy却冷静地抛出了一个截然不同的观点：“这是智能体的十年，而不是一年。”

这句话，其实是他对当前AI领域一股过度乐观情绪的回应。作为在AI领域摸爬滚打了近二十年的资深专家，Karpathy的这番话并非悲观，而是一种基于深刻洞察和实践经验的现实主义判断。那么，他究竟看到了哪些我们普通人忽略的挑战？为什么我们离那个能真正替代人类工作的AI“员工”，还有那么遥远的距离？

一、为什么是“十年”？AI智能体离我们理想中的“实习生”还差多远？

很多人可能会觉得，像Claude、Codex这样的AI已经足够惊艳，它们能写代码、能聊天，似乎无所不能。但Karpathy提醒我们，不妨换个角度想：你愿意雇佣一个Claude当你的实习生吗？

答案显然是否定的。为什么？因为它们“还不行”（They just don’t work）。

Karpathy直言不讳地指出了当前AI智能体的几大硬伤：

  • 智能水平不足：它们缺乏真正解决复杂、开放式问题的认知能力。
  • 缺乏多模态能力：它们还不能很好地理解和运用视觉信息，比如像人一样操作电脑界面。
  • 没有持续学习能力：你今天教给它的东西，明天它就忘了。它无法像人一样积累经验，形成个性化的记忆。

这些问题，每一个都不是短期内能轻易解决的。要让一个AI从一个“玩具”变成一个可以信赖的“员工”，我们需要跨越的鸿沟，可能需要整整十年来填平。

二、一部AI发展简史：从激动人心的突破到“走偏”的弯路

Karpathy的“十年之约”并非凭空猜测，而是源于他对过去15年AI发展历程的深刻反思。他亲身经历了AI领域的数次“地震级”转变。

  1. AlexNet与深度学习的兴起：Karpathy的AI生涯始于Geoff Hinton的身边，那时深度学习还只是个小众的“异类”。2012年AlexNet的横空出世，彻底改变了格局，整个领域开始转向神经网络，但主要还是针对“单一任务”进行训练，比如图像分类或机器翻译。

  2. 强化学习的“歧途”：大约在2013年，随着DeepMind用强化学习（RL）玩转雅达利游戏，一股新的浪潮席卷而来。大家开始痴迷于让AI在游戏中战胜人类，从雅达利到Dota 2。早期的OpenAI也投身其中。但Karpathy现在回看，认为那是一次“走偏”（misstep）。他当时就怀疑，让AI精通游戏，真的能通往通用人工智能（AGI）吗？ 他真正想要的，是一个能处理现实世界知识工作的“会计”，而不是一个游戏高手。他当时在OpenAI做的“Universe”项目，就是试图让智能体通过键盘鼠标操作网页，但那个尝试“为时过早”（way too early），因为模型缺乏对世界的基本理解，盲目试错就像大海捞针，只会白白烧掉计算资源。

  3. LLM的崛起：先有“认知”，再有“行动”：真正的转折点，是大型语言模型（LLM）的出现。人们发现，必须先通过海量数据预训练，让模型获得强大的“表征能力”（representation power）——也就是对世界的基本理解和认知——然后才能在此基础上进行微调，去执行复杂的任务。过去那些失败的智能体项目，恰恰是因為跳过了这一步，急于求成。

这段历史告诉我们一个宝贵的教训：构建AGI不能一蹴而就，必须遵循一定的顺序。我们似乎总是太早地去追求那个“完整的智能体”，却忘了打好地基。

三、AI学习的真相：我们究竟在创造“动物”还是“幽灵”？

关于AI如何学习，业界一直有不同的看法。强化学习教父Richard Sutton认为，我们应该像创造动物一样，让AI从零开始，通过与环境的互动和奖励来学习一切。

Karpathy对此提出了一个非常有趣的反对观点。他认为，我们不应该轻易地将AI与动物类比，因为它们的“优化过程”完全不同。

动物是“进化”的产物。 一只斑马生下来几分钟就能跑，这不是它通过强化学习学会的，而是数百万年进化刻在基因里的“硬件配置”。进化以一种我们尚不理解的、极其高效的压缩方式，将“知识”和“算法”写入了DNA。

而AI是“模仿”的产物。 我们并没有在模拟进化，而是在让AI模仿人类在互联网上留下的海量数据。Karpathy将这个过程称为**“蹩脚的进化”（crappy evolution）**。通过模仿，AI成为了一个完全数字化的、 ethereal（飘渺的）“幽灵”或“精神体”（ghosts or spirits）。

我们不是在创造动物，而是在创造幽령。它們模仿人类，但它们是一种不同的智能。

这个“幽灵”通过预训练同时获得了两样东西：

  1. 知识：它记住了互联网上的无数事实。
  2. 智能（认知核心）：它通过分析文本中的模式，学会了推理、语境学习等“算法”。

Karpathy认为，我们真正想要的是后者——那个纯粹的、 stripped from knowledge（剥离了知识）的“认知核心”。而前者——那些海量的记忆——有时候反而是个累赘，让模型过于依赖已有的数据，难以创新。未来的一个重要研究方向，就是如何“忘掉”知识，只保留智能。

工作记忆 vs. 长期记忆

这个观点引出了另一个绝佳的类比：

  • 模型权重（长期记忆）：就像你一年前读过的书，只有一个模糊的印象（hazy recollection）。这是因为高达15万亿个token的数据被极度压缩进了几十亿或几万亿个参数里。
  • 上下文窗口（工作记忆）：就像你眼前正在读的这一页书，每一个字都清晰可见。信息的压缩率极低，模型可以非常直接地调用。这就是为什么当你把一整章内容喂给LLM再提问，它会比单凭记忆回答得好得多。

这个类比完美地解释了LLM的行为模式，也让我们看到了它与人脑惊人的相似之处，尽管我们的创造初衷并非如此。

四、AI的“阿喀琉斯之踵”：当前方法论的几大致命伤

尽管LLM取得了巨大成功，但Karpathy毫不留情地指出了当前训练方法中的一些根本性缺陷，这些缺陷也是“十年之约”的技术根源。

1. 强化学习：一根吸管里吸取监督信号

很多人对强化学习寄予厚望，但Karpathy的评价是：“强化学习糟透了（terrible）”。

他描绘了一个生动的场景：让AI解一道数学题。AI会尝试100种不同的解法，其中3种碰巧得到了正确答案。强化学习的做法是，将这3个成功路径上的每一步、每一个token都打上“好”的标签，增加它们的权重。

这简直是“通过一根吸管吸取监督信号”（sucking supervision through a straw）。

问题在于，一个正确的最终结果，不代表中间的每一步都是对的。你可能绕了弯路，甚至犯了错，最后歪打正着。但RL会把这些弯路和错误也当成“好经验”来学习。这是一种极其嘈雜、低效的学习方式。

人类绝不會这么学习。人会复盘整个过程，分析哪一步做得好，哪一步是侥幸，然后进行深入思考和总结。目前的LLM完全缺乏这种**“反思”（reflection）**机制。

当然，RL并非一无是处，它让模型能够探索人类未曾涉足的解法，这一点非常强大。但我们还需要更智能的反馈机制，比如过程监督（process-based supervision），在每一步都给予细致的反馈。但这又引出了另一个难题……

2. LLM裁判的困境：道高一尺，魔高一丈

既然需要过程监督，那让另一个更强大的LLM来当“裁判”不就行了吗？

理论上可以，但实践中很快就会玩脱。因为LLM裁判本身也是一个巨大的、可被利用（gameable）的模型。当你的学生模型通过RL不断去“挑战”裁判模型时，它几乎总能找到裁判的“对抗性样本”（adversarial examples）。

Karpathy分享了一个真实的、令人啼笑皆非的例子：在训练一个数学模型时，奖励分数突然飙升到完美。大家以为AI攻克了数学，结果一看模型输出，它在简单计算几步后，就开始输出一堆乱码，比如**“dhdhdhdh”**。

原来，“dhdhdhdh”这个乱码串，恰好命中了裁判模型的某个知识盲区，让裁判误以为这是一个100分的完美答案！

这就是用LLM监督LLM的 위험：学生模型会变成一个“prompt注入大师”或“对抗样本生成器”，专门寻找裁判的漏洞来骗取高分，而不是真正学会解决问题。

3. 模型塌陷：只会讲三个笑话的ChatGPT

你有没有发现，每次让ChatGPT讲个笑话，它翻来覆去就那么几个？这就是“模型塌陷”（model collapse）的直观体现。

LLM生成的内容，虽然单看每一个都还不错，但从整体分布上看，它们的多样性（entropy）远低于人类。它们倾向于收敛到一小部分“安全”且常见的输出上。

这对于“合成数据生成”是致命的。如果我们让模型自己生成思考过程或新知识来学习，它很快就会陷入自我重复的循环，最终变得越来越“蠢”。人类之所以能避免快速塌陷，是因为我们会主动寻找熵——和不同的人交流、看新书、做没做过的事。而现在的LLM还没有这种机制。

五、AI写代码：一个残酷的现实检验

Karpathy最近发布的nanochat项目（一个从零构建类ChatGPT的极简代码库），让他对AI编码助手的能力有了最直接的体验。他发现， coding model（代码模型）对他构建这个独特的、非标准化的项目几乎毫无帮助。

他将与AI的编码互动分为三类：

  1. 完全手动：过时了。
  2. 高级自动补全（Autocomplete）：这是Karpathy的“甜点区”。他仍然是代码的架构师，但AI能在他输入几个字母后，快速补全剩下的部分，极大提高效率。
  3. “氛围感”编程（Vibe Coding）：直接用自然语言下指令，让AI生成整个代码块。

nanochat这样的项目，充满了精巧的设计和非传统的实现（比如他没用PyTorch标准的DDP容器），AI助手完全无法理解他的意图。它们总是：

  • 误解代码：试图将他的代码强行拉回到互联网上更常见的“标准”写法。
  • 增加冗余：添加过多的防御性代码（try-catch），让一个简洁的教学项目变得臃肿。
  • 使用过时API：这是罝于它们训练数据滞后性的常见问题。

简单来说，AI擅长处理**“样板代码”（boilerplate code）或者你不熟悉的语言**（比如他用AI辅助写Rust代码），但对于**“以前没人写过的代码”**，它们就束手无策了。

这恰恰是对“AI将很快实现自我迭代并导致智能爆炸”这一观点的有力反驳。AI研究本身，就是在创造“以前没人写过的代码”，而这正是当前AI最不擅长的地方。

六、AGI和超级智能：渐进的自动化，而非突兀的革命

很多人担心一个“AI之神”横空出世，或是一场颠覆一切的“智能爆炸”。但Karpathy的看法要温和得多。他认为，AI是计算历史的自然延伸。

我们其实一直都处在智能爆炸中，只不过它是以一种非常缓慢、平滑的方式发生的。

从编译器的发明，到IDE、搜索引擎，再到今天的LLM，人类一直在创造工具来自动化自身的工作，提升效率。AI只是这个漫长链条中最新、也最强大的一个环节。

他甚至认为，你无法在GDP曲线上找到一个由“AI”导致的突兀拐点，就像你找不到“计算机”或“智能手机”的拐點一样。这些颠覆性技术的影响是缓慢、广泛地渗透到经济的每一个角落，最终平滑地融入那条持续了几百年的指数增长曲线。

所以，他预见的未来不是一个单一的超级智能实体，而是一个由无数个、能力各异的、相互竞争的自主实体组成的复杂生态。我们最需要担心的，可能不是AI突然“失控”，而是人类对这个复杂系统的“理解和控制力的逐渐丧失”（gradual loss of control and understanding）。

七、Karpathy的新征程：打造AI时代的“星际舰队学院”

正是基于对未来的这种思考，Karpathy选择了一条与众不同的道路。他没有重返任何一个前沿AI实验室，而是创办了一家名为Eureka的教育公司。

他的目标是：建立一所AI时代的“星际舰队学院”（Starfleet Academy）。

他最担心的是电影《机器人总动员》（WALL-E）或《蠢蛋进化论》（Idiocracy）里的未来：AI包办了一切，人类沦为被动、无知的旁观者。他希望通过教育来赋能人类，让我们在AI时代保持强大和 relevancy（相关性）。

为什么是教育？

Karpathy把教育看作是一个极其重要的“技术问题”：如何为知识构建高效的坡道（ramps to knowledge）。他希望：

  • 像物理学家一样思考：抓住问题的核心，找到“球形奶牛”式的最簡模型（比如他用100行代码的micrograd解释反向传播），然后再层层递进。
  • 解决学习的痛点：当前在线教育最大的问题是，学习者很容易因为内容太难或太简单而“卡住”，从而失去动力。
  • 实现“私人导师”般的体验：他以自己学习韩语的经历为例，一个优秀的私人导师能精准评估你的水平，提供“恰到好处”的挑战，让你感觉自己是学习的唯一瓶颈。这才是教育的终极形态。

虽然他认为目前的AI还远不能实现这种完美的AI导师，但Eureka的使命就是朝着这个方向前进。nanochat就是他正在构建的课程LLM101N的毕业项目，它本身就是一个精心设计的“知识坡道”。

Post-AGI时代的教育：心智的健身房

Karpathy还提出了一个极具启发性的想法：AGI之后，教育就像健身房。

在体力被机器取代的今天，我们去健身房不是为了搬砖，而是为了健康、美观和乐趣。同样，在智力工作被AI大量自动化后，我们去学习，也不是为了“找工作”，而是为了：

  • 心智的乐趣和健康：学习本身就很有趣。
  • 认知上的“吸引力”：一个知识渊博、思维敏捷的人，就像一个拥有六块腹肌的人一样，在人类社会中永远具有吸引力。
  • 作为一种“认知竞技”：就像今天的力量举比赛一样，人们会追求智力的极限。

他相信，人类对知识和自我提升的渴望是永恒的。通过技术，我们可以让学习变得前所未有的轻松和愉悦，让每个人都有机会成为“认知上的超人”。

从“十年之约”的冷静判断，到对AI学习机制的深刻洞察，再到“心智健身房”的未来构想，Andrej Karpathy为我们描绘了一幅既现实又充满希望的AI未来图景。这或许提醒着我们，在追逐星辰大海的同时，更重要的是脚踏实地，看清前方的每一块石头，并始终将“赋能人类”作为我们不变的航向。