这篇文章是来自于最近火热的腾讯科技对杨植麟的采访：月之暗面杨植麟复盘大模型创业这一年：向延绵而未知的雪山前进，核心内容基于 Claude 和 Gemini 提取后做了稍加整理。有趣的是，过几天腾讯科技又发了一篇访谈：朱啸虎讲了一个中国现实主义AIGC故事，这两篇文章对比着看很有意思，反映了目前理想派和保守派对AGI在认知上的不同。

核心认知

  1. “AI不是我在接下来一两年找到什么PMF,而是接下来十到二十年如何改变世界。”

解释:杨植麟强调AI不应只关注短期商业化,而是要着眼于长远地改变世界。

  1. “开源落后于闭源,这也是个事实。因为开源的开发方式跟以前不一样了,以前是所有人都可以contribute,现在开源本身还是中心化的。开源的贡献可能很多都没有经过算力验证。闭源会有人才聚集和资本聚集,最后一定是闭源更好,是一个consolidation。”

解释:杨植麟分析了目前开源模型发展落后闭源模型的原因,并预测未来闭源模型将主导。

  1. “要ride the wave。”

解释:顺应AI浪潮,把握时机创业。

  1. “AGI需要新的组织方式。”

解释:AGI的发展需要一种全新的组织形式,结合科研、工程和商业。

  1. “它需要人才聚集、资本聚集。”

解释:发展AGI需要优秀人才和大量资金的投入。

  1. “如果你能用scale解决的问题,就不要用新的算法解决。”

解释:强调scale法则,即通过扩大模型规模而非新算法来解决问题。

  1. “它(long context)是新的计算机内存。”

解释:长文本是新型计算机的内存,对发展AGI至关重要。

  1. “我觉得现在就有点像(视频生成的)GPT-3.5,是阶跃式提升。”

解释:Sora代表了视频生成能力的阶跃式突破。

  1. “AGI空间很大,在通用能力基础上去有差异化,这个更可能发生。”

解释:尽管通用能力会趋同,但未来可能出现差异化的AGI系统。

  1. “user scaling和model scaling需要同时做。最终在这两者之间完美结合。"(指技术理想和商业现实)

解释:伟大的AGI公司需要技术理想主义和现实商业考量的完美结合。

  1. “接下来会有两个大的milestone。"(统一世界模型和自主演化)

解释:未来两大里程碑是统一多模态的世界模型,以及无需人类数据输入的自主演化能力。

  1. “不能只满足做到GPT-4的效果。保持非共识思维，他多次强调要"找到非共识”

解释:不应只盲目追赶GPT-4,而要寻求更大突破。要有独特的思路和判断,不能被现有观点所束缚。这种非共识思维对于创新至关重要。

  1. “AGI最终会是一个跟所有用户co-work产生的东西。”

解释:AGI将通过与大量用户互动协作而逐步完善。

  1. “scaling law为什么能成为第一性原理?你只要能找到一个结构,满足两个条件:一是足够通用,二是可规模化。”

解释:解释了scale law成为AGI发展第一性原理的原因。

  1. “技术是这个时代唯一新变量,其他变量没变。”

解释:在当前时代,技术进步是唯一的新变量,其他条件并未改变。

  1. “AGI组织需科学、工程、商业三位一体”

解释:不能是纯研究机构,也不能是单纯的商业公司,AGI组织要将科研、工程和商业深度融合。

  1. “先进视觉模型将连接数字世界与物理世界”

解释:视觉模型的突破将最终使AI能感知并介入物理世界。

  1. “多模态是确定趋势,但统一架构还是难题”

解释:视频、图像等多模态能力必然到来,但找到真正统一的架构尚需时日。

  1. “会有更多的consolidation,会有更少的公司。”

解释:预计未来会有更多资源整合,而存活的AGI公司会减少。

  1. “我们应该学习OpenAI的技术理想主义。如果所有人都觉得你正常,你的理想是大家都能想到的,它对人类的理想总量没有增量。”

解释:赞赏OpenAI的技术理想主义精神,倡导创新思维。

在做的事情

根据这篇对杨植麟的采访,可以看出他主要在做以下几件事:

  1. 创办了一家名为"月之暗面(Moonshot AI)“的大模型公司,专注于追求人工通用智能(AGI)。

  2. 开发名为"Kimi"的大模型AI助手,支持20万汉字长文本输入,以探索长语境建模能力。

  3. 专注于模型本身的技术突破和扩展,而非仅仅应用落地。他认为模型规模扩展(model scaling)是通向AGI的关键。

  4. 招募顶尖AI人才,打造高密度人才团队。团队目前约80人。

  5. 持续融资以获得训练大模型所需算力资源。公司已经完成数轮融资,估值数十亿美元。

  6. 构建一个整合科学、工程和商业的AGI系统和组织,类似登月计划。通过产品和用户互动发现新的应用机会。

  7. 追求长期理想主义目标,而非短期应用落地。他认为AGI将在未来10-20年内改变世界。

总的来说,杨植麟专注于大模型的基础研究和技术突破,以期最终实现人工通用智能,而非过多关注短期商业化。

个人履历

教育背景:

  • 本科: 清华大学计算机系
  • 博士: 卡内基梅隆大学计算机学院

导师:

  • Ruslan Salakhutdinov (苹果公司AI负责人)
  • William W. Cohen (Google AI智能首席科学家)

学术成就:

  • 在ICLR、NIPS、ICML、KDD、ACL等顶级AI会议发表论文二十余篇
  • 在所有六个主流语言建模数据集保持世界第一名(State-of-the-art)
  • 获得2017 Nvidia先锋研究奖

工作经历:

  • Facebook AI Research
  • Google Brain
  • 月之暗面 (Moonshot AI) 创始人兼CEO

创业经历:

  • 2023年3月: 创立月之暗面 (Moonshot AI)
  • 2023年: 完成两轮融资，总额近20亿人民币
  • 2024年2月: 完成第三轮融资，估值超25亿美元

主要贡献:

  • 提出Transformer-XL和XLNet模型，对自然语言处理领域产生了重大影响
  • 创立月之暗面 (Moonshot AI)，致力于开发通用人工智能 (AGI)
  • 提出长文本 (Long Context) 是登月第一步的观点