Jeff Dean

本文记录了 Google 首席科学家 Jeff Dean 与红杉资本合伙人 Bill Korn（前 Google 工程负责人）之间关于人工智能（AI）发展、现状与未来的深度对话。Jeff Dean 分享了 Google 在 AI 领域，特别是大规模神经网络、硬件（如 TPU）、以及像 Gemini 这样的先进模型方面的见解。 主要内容 AI 的演进与规模化效应：AI 的发展经历了漫长的过程，大约从 2012 年开始，通过不断扩大神经网络的规模、增加数据量和提升计算能力（遵循“更大模型、更多数据、更好结果”的原则），取得了显著进展。 当前 AI 的能力与未来方向：目前的 AI 模型已具备解决复杂问题的能力，并且每年都在进步。多模态（处理文本、图像、音频、视频、代码等多种信息）和 AI 代理（Agents）是未来重要的发展方向，尽管后者目前部分仍处于早期阶段。 硬件与模型生态：专门为机器学习设计的硬件（如 Google 的 TPU）至关重要。未来顶尖的大型基础模型可能由少数几家投入巨资的公司主导，但通过蒸馏等技术可以创造出大量轻量级、专用模型。 AI 对科学及各行业的影响：AI 正在深刻影响科学研究，例如通过加速模拟过程（如天气预报、分子筛选）来促进科学发现。AI 也有潜力在不久的将来（可能一年内）达到初级工程师的工作水平。 未来模型的形态与计算范式：未来的 AI 模型可能会更加稀疏化、模块化（类似“专家混合”模型），并具备持续学习和动态调整的能力。计算范式也需重新思考，更加关注数据移动效率和低功耗高性能。 关键细节 AI 发展的起点： Jeff Dean 提到，AI 的显著发展始于大约 2012 年和 2013 年，当时开始能够使用大型神经网络解决视觉、语音和语言问题。 Google 在 2012 年训练了一个比当时其他模型大 60 倍的神经网络，使用了 16,000 个 CPU 核心。 AI 代理 (Agents)： Jeff Dean 认为 AI 代理有巨大潜力，通过正确的训练过程，最终能在虚拟计算机环境中完成许多人类目前能做的事情。 物理机器人代理也接近于从无法在复杂环境中工作到能在未来一两年内完成约 20 项有用任务的转变，并随着经验积累和成本优化，能力将大幅提升。 大型语言模型 (LLMs) 格局： 构建最前沿的模型需要巨大投资，因此顶尖模型玩家可能只有“少数几家”。 Google 拥有如 Gemini 2....

本篇文章主要记录一下 Dwarkesh Patel 在 2025 年 2 月 13 日 对 Jeff Dean 和 Noam Shazeer 的访谈。在开始详细记录本次访谈的核心内容之前，我想先给大家介绍一下两位嘉宾。 Jeff Dean Jeff Dean 是 Google 的首席科学家，在 Google 公司的 25 年里，他基本上参与了现代计算领域最具变革性的系统：从 MapReduce、BigTable、Tensorflow、AlphaChip 到 Gemini。他于1968年出生，早在加入 Google 之前，他曾在 DEC（数字设备公司）的西部研究实验室从事性能分析工具、微处理器架构和信息检索等方面的研究。1999年，Jeff Dean 加入 Google，当时他是公司的早期员工之一（据说他是第20号员工），并很快在 Google 的广告系统、网页爬虫、索引和查询服务系统等关键基础设施的设计与实现中发挥了举足轻重的作用。 在 Google 工作期间，Dean 与同事 Sanjay Ghemawat 合作，推出了许多标志性技术： • MapReduce：一种大规模数据处理的编程模型，奠定了 Google 后续分布式系统的基础。 • Bigtable：一种面向海量结构化数据的分布式存储系统。 • DistBelief/TensorFlow：Dean 领导的分布式深度学习系统，后被重构为如今广泛应用的开源机器学习框架 TensorFlow。 此外，Jeff Dean 在 2011 年参与创立了 Google Brain，致力于深度神经网络的研究，并在 2012 年成为其领导者。2018 年，他被任命为 Google AI 的负责人，而在 2023 年，随着 Google DeepMind 与 Google Brain 的整合，他又晋升为公司的首席科学家，直接负责公司整体的 AI 战略。...

本文探讨了程序员 Jeff 和 Sanjay 之间深厚的友谊及其对 Google 成功的推动作用。他们的紧密合作不仅体现在工作中，还在生活中展现了创意与效率的结合。两人的协作方式、互补的思维方式以及在编程中的默契，使他们成为了 Google 发展过程中不可或缺的搭档。 友谊与合作：Jeff 和 Sanjay 在 Google 之前就建立了深厚的友谊，他们常常一起度假，Jeff 的女儿们称 Sanjay 为“叔叔”。这种紧密的私人关系促进了他们在工作中的合作。 编程风格的互补：Jeff 更加外向和探索性，能迅速提出新想法，而 Sanjay 则专注于系统设计，编写出结构优美的代码。他们的合作使得编程过程更加高效，减少了创意瓶颈的发生。 重要项目：两人共同开发的 MapReduce 软件为 Google 带来了巨大的性能提升，使得程序员能够更高效地处理数据。该技术后来成为 Hadoop 的基础，广泛应用于大数据处理。 AI 的发展：Jeff 在 Google Brain 项目中的参与，使得神经网络技术得以迅速发展，最终取代了传统的搜索算法，标志着 Google 在 AI 领域的转折。 角色变化：随着时间的推移，Jeff 和 Sanjay 的角色逐渐分化。Jeff 负责更大的项目和团队管理，而 Sanjay 则专注于独立开发，继续为 Google 的技术决策提供支持。 持续的友谊：尽管工作节奏有所变化，两人仍保持联系，定期共进晚餐，回忆起早年的合作时光，展现了他们之间持久的友谊与默契。 谷歌崛起背后的友谊 “我们在 Google 之前就已经这么做了。” Jeff 说道。 “但我也不清楚为什么我们觉得坐在一台电脑前比两台更好。” Sanjay 说道。 “我常常从离两条街远的 D.E.C. 研究室走到他的 D.E.C. 研究室，” Jeff 说道。“中间还经过一家意式冰淇淋店。” “所以是因为那家冰淇淋店！” Sanjay 笑着说。 单身的 Sanjay 经常与 Jeff 及其妻子 Heidi 和两个女儿一同度假。Jeff 的女儿们称他为 Sanjay 叔叔，五个人通常在周五晚上一起吃饭。Sanjay 和 Jeff 的大女儿 Victoria 开始一起烘焙。“我看着他的女儿们一点点长大，” Sanjay 自豪地说。2004 年 Google 上市后，他们搬到了相距四英里的新居。Sanjay 住在旧山景城的一栋普通的三居室，而 Jeff 则亲自设计了他位于帕洛阿尔托市区附近的房子，还在地下室装了蹦床。在设计这栋房子时，他意识到虽然他喜欢规划空间设计，但没有耐心去处理那些他称之为“适合 Sanjay 的建筑细节”：如梁柱、螺栓和承重结构，这些都是支撑整体设计的基础部分。...