Andrej Karpathy 深度解析:为什么AI智能体是“十年之约”,而非“一年之功”?
本文来自于 Andrej Karpathy 的在 Dwarkesh Patel 上的播客访谈。在这次访谈中,Andrej 解释了为什么强化学习很糟糕 (但其他一切都更糟糕),为什么 AGI 会融入过去约 2.5 个世纪的 2% GDP 增长中,为什么自动驾驶花了这么长时间才取得突破,以及他认为的未来教育是什么。 Andrej Karpathy 认为,我们正处于“智能体十年”(decade of agents)而非“智能体之年”(year of agents),因为当前的大语言模型(LLM)虽然取得了显著进展,但在实现真正可靠的智能体方面仍存在诸多认知缺陷,解决这些问题需要长期的努力。他将 AI 的发展视为计算和自动化趋势的延续,而非一个会颠覆经济增长率的突变事件,并强调了其中的历史曲折,例如早期对游戏环境强化学习的过度投入是一个“失误”。 他认为,当前 AI 的核心挑战在于从海量、低质量的互联网数据中分离出真正的“认知核心”(cognitive core),即解决问题的算法和能力,而不是过度依赖记忆。他批评当前的强化学习(RL)方法效率低下,如同“通过吸管吸取监督信号”(sucking supervision through a straw),并且模型在利用自身生成的数据进行训练时,容易陷入“模型坍塌”(model collapse)的困境,丧失多样性。 对于未来,他预测 AI 不会带来经济增长率的急剧爆炸,而是会延续现有的指数增长趋势。他最大的担忧是人类会逐渐失去对 AI 系统的理解和控制。因此,他目前致力于通过教育项目 Eureka 来赋能人类,旨在通过构建高效的“知识坡道”(ramps to knowledge),让前沿技术变得更容易理解和掌握,从而确保人类在 AI 时代保持核心地位。 关键细节 智能体的瓶颈:当前的智能体在持续学习(continual learning)、多模态(multimodality)能力和计算机操作等方面存在严重不足,使其无法像人类实习生一样可靠地完成工作。 AI 发展的三次浪潮: 任务导向的神经网络:以 AlexNet 为代表,专注于图像分类等特定任务。 早期的智能体探索:以 Atari 游戏和 OpenAI Universe 项目为代表,Karpathy 认为这是一个“失误”,因为它们脱离了真实世界的知识工作。 大语言模型(LLM):专注于通过大规模预训练构建强大的知识表示,这是当前智能体发展的基础。 预训练与进化:Karpathy 将 LLM 的预训练比作“蹩脚的进化”(crappy evolution),认为它是一种在当前技术条件下,为模型注入初始知识和智能的实用方法,类似于生物进化为动物大脑内置了大量硬件和本能。 强化学习(RL)的局限性: 监督信号稀疏:RL 仅根据最终结果(奖励)来调整整个行为序列,这种方法噪声大且效率低下。 LLM 裁判的脆弱性:使用 LLM 作为奖励模型进行过程监督时,模型很容易找到对抗性样本(如无意义的 dhdhdhdh 字符串)来欺骗裁判,从而获得高分。 认知核心 vs....