Jeff Dean

本文整理自诺贝尔奖得主 Geoffrey Hinton 与 Google 首席科学家 Jeff Dean 进行的深度对谈。对谈中他们回顾了 AI 的历史，从 AlexNet 的卧室显卡训练，到赌场竞拍出售公司，再到 ChatGPT 引爆的 AI 时代。他们还畅谈了算力觉醒、TPU 往事及 AI 对人类未来的终极预测。以下内容由我和 Gemini 3 Pro 共同整理完成。 想象一下这个场景：加州圣地亚哥的NeurIPS大会，聚光灯下坐着两个人。一位是刚刚获得诺贝尔奖、被尊称为“AI教父”的Jeffrey Hinton（杰弗里·辛顿），另一位是Google的首席科学家、Gemini项目的联合负责人Jeff Dean（杰夫·迪恩）。 这是一场“双Jeff”的对话。他们不仅仅是在聊技术，更是在复盘过去几十年里，现代AI是如何从在一个留学生的卧室里跑数据，一路狂奔到如今足以改变人类文明进程的庞然大物。 即便你是AI圈的老炮，这场对话里也藏着不少你没听过的内幕——比如当年那场在赌场里进行的疯狂竞拍，或者早在ChatGPT数年前，Google内部其实已经有8万员工在用聊天机器人了。 算力觉醒：一个迟到了几十年的领悟 故事得从很久以前说起。Geoffrey Hinton早在80年代中期就搞出了反向传播算法（Backprop），而Jeff Dean在1990年写本科论文时，就已经在尝试并行训练神经网络了。 只要稍微懂点行的人都会问：既然算法有了，并行计算的想法也有了，为什么AI爆发得这么晚？ Jeff Dean回忆起他的本科论文，当时他在32个处理器的机器上跑神经网络，结果发现效果并不好。但他犯了一个现在看来很“可爱”的错误：在增加处理器的时候，他没有增加模型的大小。 Hinton也坦承，自己在很长一段时间里都忽视了“算力”的重要性。早在80年代末，其实就已经有人证明了用并行计算跑语音模型比传统方法强，但大家（包括Hinton）都觉得那是大力出奇迹的笨办法，不如搞更精妙的算法。 直到2014年左右，Hinton才真正彻底“悟”了。AI的秘密其实简单得令人发指：模型更大、数据更多、算力更强，效果就会更好。 这是一个看似笨拙却无比有效的“缩放定律”（Scaling Law）。 传奇的开端：显卡、卧室和赌场 AI历史的转折点发生在2012年的AlexNet。这背后的故事比电影还精彩。 当时，Hinton的学生Alex因为不想写博士资格考试的文献综述，被Hinton逼着做ImageNet竞赛：每提高1%的准确率，就可以晚一点处理那个枯燥的考试。 于是，Alex买了两块GPU显卡，插在他父母家卧室的电脑上日夜训练。Hinton开玩笑说：“显卡钱是我们出的，但电费是他爸妈出的，我这是在帮学校省钱。”就这样，在卧室里诞生的AlexNet横扫了ImageNet，震惊了世界。 紧接着，高潮来了。那年冬天，为了收购Hinton和他的两个学生（Alex和Ilya）刚成立的空壳公司，几大科技巨头在NeurIPS大会期间的一个赌场酒店里展开了竞拍。 楼下是老虎机和赌桌，每当有人赢钱，铃声就大作；楼上，科技巨头们正以一百万美元为单位不断加价。虽然当时百度等公司也在竞价，但Hinton和学生们其实心里早有定数——他们想去Google，因为那是Jeff Dean在的地方，那是做研究最开心的地方。 最后，当价格高到一个疯狂的数字时，他们叫停了拍卖，选择了Google。 那个被黑莓错过的时代 在加入Google之前，其实还有一个让人唏嘘的插曲。Hinton的学生曾经把最新的语音识别技术推荐给了加拿大的国民企业——Research In Motion（黑莓手机的制造商）。 Hinton对他们说：“我们有比现在好得多的语音识别方案，免费教你们怎么做。” 结果黑莓傲慢地回复：“我们不需要语音识别，我们有全键盘。” 这个故事大概是那个时代最讽刺的注脚。后来，这项技术在Google落地，彻底改变了语音搜索的体验。 Google的秘密武器：TPU与被雪藏的聊天机器人 Jeff Dean在2013年做过一个简单的算术题：如果Google一定要把语音识别推给所有安卓用户，假设每人每天只用3分钟，Google当时的CPU算力得翻倍才撑得住。这意味着要买现在的两倍数量的服务器，这在财务上是不可接受的。 这个危机感直接催生了TPU（张量处理单元）的诞生。Jeff Dean在走廊里拦住CFO，硬是要了5000万美元预算，在连具体怎么用都还没完全想好的情况下，就把硬件搞出来了。现在回看，如果Google没有自研TPU，根本无法支撑如今庞大的AI训练需求。 至于大家最关心的——为什么Google起了大早却赶了晚集，让ChatGPT抢了先？ 其实，早在ChatGPT发布之前，Google内部就已经有一个拥有8万日活用户的聊天机器人了（基于Meena/LaMDA技术）。员工们用它写代码、写信、甚至写论文摘要。但是，因为偶尔出现的“幻觉”问题（胡说八道），Google觉得这不符合“搜索公司”对准确性的严苛要求，所以迟迟不敢对公众发布。 直到OpenAI发布ChatGPT，引发了著名的“红色预警（Code Red）”，Google才意识到：哪怕有瑕疵，用户也疯狂需要这样的工具。随后，分散在DeepMind和Brain的团队迅速合并，全力打造现在的Gemini。 “从此幸福生活，或者我们全部完蛋” 对于未来20年，这两位顶级大脑怎么看？ Geoffrey Hinton依然保持着他那种极度锋利且略带悲观的坦诚。当被问及AI将如何重塑世界时，他说了一句足以做书名的话： “如果有人真的把超级AI造出来了，结局只有两个：要么我们从此过上幸福快乐的生活，要么我们全部完蛋。” 但他随后补充了更具体的影响：...

本文记录了 Google 首席科学家 Jeff Dean 与红杉资本合伙人 Bill Korn（前 Google 工程负责人）之间关于人工智能（AI）发展、现状与未来的深度对话。Jeff Dean 分享了 Google 在 AI 领域，特别是大规模神经网络、硬件（如 TPU）、以及像 Gemini 这样的先进模型方面的见解。 主要内容 AI 的演进与规模化效应：AI 的发展经历了漫长的过程，大约从 2012 年开始，通过不断扩大神经网络的规模、增加数据量和提升计算能力（遵循“更大模型、更多数据、更好结果”的原则），取得了显著进展。 当前 AI 的能力与未来方向：目前的 AI 模型已具备解决复杂问题的能力，并且每年都在进步。多模态（处理文本、图像、音频、视频、代码等多种信息）和 AI 代理（Agents）是未来重要的发展方向，尽管后者目前部分仍处于早期阶段。 硬件与模型生态：专门为机器学习设计的硬件（如 Google 的 TPU）至关重要。未来顶尖的大型基础模型可能由少数几家投入巨资的公司主导，但通过蒸馏等技术可以创造出大量轻量级、专用模型。 AI 对科学及各行业的影响：AI 正在深刻影响科学研究，例如通过加速模拟过程（如天气预报、分子筛选）来促进科学发现。AI 也有潜力在不久的将来（可能一年内）达到初级工程师的工作水平。 未来模型的形态与计算范式：未来的 AI 模型可能会更加稀疏化、模块化（类似“专家混合”模型），并具备持续学习和动态调整的能力。计算范式也需重新思考，更加关注数据移动效率和低功耗高性能。 关键细节 AI 发展的起点： Jeff Dean 提到，AI 的显著发展始于大约 2012 年和 2013 年，当时开始能够使用大型神经网络解决视觉、语音和语言问题。 Google 在 2012 年训练了一个比当时其他模型大 60 倍的神经网络，使用了 16,000 个 CPU 核心。 AI 代理 (Agents)： Jeff Dean 认为 AI 代理有巨大潜力，通过正确的训练过程，最终能在虚拟计算机环境中完成许多人类目前能做的事情。 物理机器人代理也接近于从无法在复杂环境中工作到能在未来一两年内完成约 20 项有用任务的转变，并随着经验积累和成本优化，能力将大幅提升。 大型语言模型 (LLMs) 格局： 构建最前沿的模型需要巨大投资，因此顶尖模型玩家可能只有“少数几家”。 Google 拥有如 Gemini 2....

本篇文章主要记录一下 Dwarkesh Patel 在 2025 年 2 月 13 日 对 Jeff Dean 和 Noam Shazeer 的访谈。在开始详细记录本次访谈的核心内容之前，我想先给大家介绍一下两位嘉宾。 Jeff Dean Jeff Dean 是 Google 的首席科学家，在 Google 公司的 25 年里，他基本上参与了现代计算领域最具变革性的系统：从 MapReduce、BigTable、Tensorflow、AlphaChip 到 Gemini。他于1968年出生，早在加入 Google 之前，他曾在 DEC（数字设备公司）的西部研究实验室从事性能分析工具、微处理器架构和信息检索等方面的研究。1999年，Jeff Dean 加入 Google，当时他是公司的早期员工之一（据说他是第20号员工），并很快在 Google 的广告系统、网页爬虫、索引和查询服务系统等关键基础设施的设计与实现中发挥了举足轻重的作用。 在 Google 工作期间，Dean 与同事 Sanjay Ghemawat 合作，推出了许多标志性技术： • MapReduce：一种大规模数据处理的编程模型，奠定了 Google 后续分布式系统的基础。 • Bigtable：一种面向海量结构化数据的分布式存储系统。 • DistBelief/TensorFlow：Dean 领导的分布式深度学习系统，后被重构为如今广泛应用的开源机器学习框架 TensorFlow。 此外，Jeff Dean 在 2011 年参与创立了 Google Brain，致力于深度神经网络的研究，并在 2012 年成为其领导者。2018 年，他被任命为 Google AI 的负责人，而在 2023 年，随着 Google DeepMind 与 Google Brain 的整合，他又晋升为公司的首席科学家，直接负责公司整体的 AI 战略。...

本文探讨了程序员 Jeff 和 Sanjay 之间深厚的友谊及其对 Google 成功的推动作用。他们的紧密合作不仅体现在工作中，还在生活中展现了创意与效率的结合。两人的协作方式、互补的思维方式以及在编程中的默契，使他们成为了 Google 发展过程中不可或缺的搭档。 友谊与合作：Jeff 和 Sanjay 在 Google 之前就建立了深厚的友谊，他们常常一起度假，Jeff 的女儿们称 Sanjay 为“叔叔”。这种紧密的私人关系促进了他们在工作中的合作。 编程风格的互补：Jeff 更加外向和探索性，能迅速提出新想法，而 Sanjay 则专注于系统设计，编写出结构优美的代码。他们的合作使得编程过程更加高效，减少了创意瓶颈的发生。 重要项目：两人共同开发的 MapReduce 软件为 Google 带来了巨大的性能提升，使得程序员能够更高效地处理数据。该技术后来成为 Hadoop 的基础，广泛应用于大数据处理。 AI 的发展：Jeff 在 Google Brain 项目中的参与，使得神经网络技术得以迅速发展，最终取代了传统的搜索算法，标志着 Google 在 AI 领域的转折。 角色变化：随着时间的推移，Jeff 和 Sanjay 的角色逐渐分化。Jeff 负责更大的项目和团队管理，而 Sanjay 则专注于独立开发，继续为 Google 的技术决策提供支持。 持续的友谊：尽管工作节奏有所变化，两人仍保持联系，定期共进晚餐，回忆起早年的合作时光，展现了他们之间持久的友谊与默契。 谷歌崛起背后的友谊 “我们在 Google 之前就已经这么做了。” Jeff 说道。 “但我也不清楚为什么我们觉得坐在一台电脑前比两台更好。” Sanjay 说道。 “我常常从离两条街远的 D.E.C. 研究室走到他的 D.E.C. 研究室，” Jeff 说道。“中间还经过一家意式冰淇淋店。” “所以是因为那家冰淇淋店！” Sanjay 笑着说。 单身的 Sanjay 经常与 Jeff 及其妻子 Heidi 和两个女儿一同度假。Jeff 的女儿们称他为 Sanjay 叔叔，五个人通常在周五晚上一起吃饭。Sanjay 和 Jeff 的大女儿 Victoria 开始一起烘焙。“我看着他的女儿们一点点长大，” Sanjay 自豪地说。2004 年 Google 上市后，他们搬到了相距四英里的新居。Sanjay 住在旧山景城的一栋普通的三居室，而 Jeff 则亲自设计了他位于帕洛阿尔托市区附近的房子，还在地下室装了蹦床。在设计这栋房子时，他意识到虽然他喜欢规划空间设计，但没有耐心去处理那些他称之为“适合 Sanjay 的建筑细节”：如梁柱、螺栓和承重结构，这些都是支撑整体设计的基础部分。...