Jeff Hinton

本文整理自诺贝尔奖得主 Jeff Hinton 与 Google 首席科学家 Jeff Dean 进行的深度对谈。对谈中他们回顾了 AI 的历史，从 AlexNet 的卧室显卡训练，到赌场竞拍出售公司，再到 ChatGPT 引爆的 AI 时代。他们还畅谈了算力觉醒、TPU 往事及 AI 对人类未来的终极预测。以下内容由我和 Gemini 3 Pro 共同整理完成。 想象一下这个场景：加州圣地亚哥的NeurIPS大会，聚光灯下坐着两个人。一位是刚刚获得诺贝尔奖、被尊称为“AI教父”的Jeffrey Hinton（杰弗里·辛顿），另一位是Google的首席科学家、Gemini项目的联合负责人Jeff Dean（杰夫·迪恩）。 这是一场“双Jeff”的对话。他们不仅仅是在聊技术，更是在复盘过去几十年里，现代AI是如何从在一个留学生的卧室里跑数据，一路狂奔到如今足以改变人类文明进程的庞然大物。 即便你是AI圈的老炮，这场对话里也藏着不少你没听过的内幕——比如当年那场在赌场里进行的疯狂竞拍，或者早在ChatGPT数年前，Google内部其实已经有8万员工在用聊天机器人了。 算力觉醒：一个迟到了几十年的领悟 故事得从很久以前说起。Jeffrey Hinton早在80年代中期就搞出了反向传播算法（Backprop），而Jeff Dean在1990年写本科论文时，就已经在尝试并行训练神经网络了。 只要稍微懂点行的人都会问：既然算法有了，并行计算的想法也有了，为什么AI爆发得这么晚？ Jeff Dean回忆起他的本科论文，当时他在32个处理器的机器上跑神经网络，结果发现效果并不好。但他犯了一个现在看来很“可爱”的错误：在增加处理器的时候，他没有增加模型的大小。 Hinton也坦承，自己在很长一段时间里都忽视了“算力”的重要性。早在80年代末，其实就已经有人证明了用并行计算跑语音模型比传统方法强，但大家（包括Hinton）都觉得那是大力出奇迹的笨办法，不如搞更精妙的算法。 直到2014年左右，Hinton才真正彻底“悟”了。AI的秘密其实简单得令人发指：模型更大、数据更多、算力更强，效果就会更好。 这是一个看似笨拙却无比有效的“缩放定律”（Scaling Law）。 传奇的开端：显卡、卧室和赌场 AI历史的转折点发生在2012年的AlexNet。这背后的故事比电影还精彩。 当时，Hinton的学生Alex因为不想写博士资格考试的文献综述，被Hinton逼着做ImageNet竞赛：每提高1%的准确率，就可以晚一点处理那个枯燥的考试。 于是，Alex买了两块GPU显卡，插在他父母家卧室的电脑上日夜训练。Hinton开玩笑说：“显卡钱是我们出的，但电费是他爸妈出的，我这是在帮学校省钱。”就这样，在卧室里诞生的AlexNet横扫了ImageNet，震惊了世界。 紧接着，高潮来了。那年冬天，为了收购Hinton和他的两个学生（Alex和Ilya）刚成立的空壳公司，几大科技巨头在NeurIPS大会期间的一个赌场酒店里展开了竞拍。 楼下是老虎机和赌桌，每当有人赢钱，铃声就大作；楼上，科技巨头们正以一百万美元为单位不断加价。虽然当时百度等公司也在竞价，但Hinton和学生们其实心里早有定数——他们想去Google，因为那是Jeff Dean在的地方，那是做研究最开心的地方。 最后，当价格高到一个疯狂的数字时，他们叫停了拍卖，选择了Google。 那个被黑莓错过的时代 在加入Google之前，其实还有一个让人唏嘘的插曲。Hinton的学生曾经把最新的语音识别技术推荐给了加拿大的国民企业——Research In Motion（黑莓手机的制造商）。 Hinton对他们说：“我们有比现在好得多的语音识别方案，免费教你们怎么做。” 结果黑莓傲慢地回复：“我们不需要语音识别，我们有全键盘。” 这个故事大概是那个时代最讽刺的注脚。后来，这项技术在Google落地，彻底改变了语音搜索的体验。 Google的秘密武器：TPU与被雪藏的聊天机器人 Jeff Dean在2013年做过一个简单的算术题：如果Google一定要把语音识别推给所有安卓用户，假设每人每天只用3分钟，Google当时的CPU算力得翻倍才撑得住。这意味着要买现在的两倍数量的服务器，这在财务上是不可接受的。 这个危机感直接催生了TPU（张量处理单元）的诞生。Jeff Dean在走廊里拦住CFO，硬是要了5000万美元预算，在连具体怎么用都还没完全想好的情况下，就把硬件搞出来了。现在回看，如果Google没有自研TPU，根本无法支撑如今庞大的AI训练需求。 至于大家最关心的——为什么Google起了大早却赶了晚集，让ChatGPT抢了先？ 其实，早在ChatGPT发布之前，Google内部就已经有一个拥有8万日活用户的聊天机器人了（基于Meena/LaMDA技术）。员工们用它写代码、写信、甚至写论文摘要。但是，因为偶尔出现的“幻觉”问题（胡说八道），Google觉得这不符合“搜索公司”对准确性的严苛要求，所以迟迟不敢对公众发布。 直到OpenAI发布ChatGPT，引发了著名的“红色预警（Code Red）”，Google才意识到：哪怕有瑕疵，用户也疯狂需要这样的工具。随后，分散在DeepMind和Brain的团队迅速合并，全力打造现在的Gemini。 “从此幸福生活，或者我们全部完蛋” 对于未来20年，这两位顶级大脑怎么看？ Jeffrey Hinton依然保持着他那种极度锋利且略带悲观的坦诚。当被问及AI将如何重塑世界时，他说了一句足以做书名的话： “如果有人真的把超级AI造出来了，结局只有两个：要么我们从此过上幸福快乐的生活，要么我们全部完蛋。” 但他随后补充了更具体的影响：...