OpenAI 研究主管 Mark Chen 深度揭秘 GPT-5:从合成数据到自进化 AI,我们聊了聊未来
在全世界的目光都聚焦于 GPT-5 之际,Matthew Berman 与 OpenAI 的研究主管 Mark Chen 进行了一次深度对话。在GPT-5发布前的紧张氛围中,他向我们揭示了这款万众期待的模型的诞生过程、核心技术突破,以及 OpenAI 对 AI 未来的宏大构想。 这不仅仅是一次技术发布,更像是一场风暴的序幕。那么,风暴中心的 OpenAI 内部究竟是怎样的景象? 发布前的“情绪过山车”与不变的初心 每次重大发布前,OpenAI 内部都像坐上了一趟“情绪过山车”。Mark 坦言,项目初期总是充满兴奋,中途则会陷入一种“内部不确定性”——“这个模型会足够好吗?能达到预期吗?”而当接近终点线,看到所有努力汇聚成型时,那种能量又会重新燃起。此刻,整个团队都迫不及待地想把 GPT-5 展示给世界。 尽管 OpenAI 已经成长为一家拥有成功产品的公司,但其总裁 Greg Brockman 仍然强调,OpenAI 的本质是一个研究实验室。作为研究主管,Mark 如何平衡研究与产品的关系? 他的回答简单而深刻:“研究就是产品。” 每一次重大的研究突破,最终都会转化为对用户有巨大价值和实用性的东西。而产品的成功,又反过来为更大胆的研究提供了资源。这是一种精妙的共生关系,缺一不可。他们希望研究能与世界产生连接,让人们真实地体验到他们正在构建的智能。 GPT-5的诞生:两大秘诀破解“数据荒”与“推理难题” 从 GPT-4 到 GPT-5,外界普遍认为,高质量的公开数据已经接近枯竭。这个假设基本正确,但并不完全。那么,OpenAI 是如何解决这个“数据稀缺”问题的呢? 1. 合成数据的崛起 除了持续寻找新的公开数据源和授权数据,GPT-5 的一大关键突破在于大量使用了合成数据——也就是由模型自己生成,而非人类编写的数据。 很多人质疑,用上一代模型的数据来训练新模型,性能提升会不会非常有限?Mark 认为,合成数据的潜力远不止于此。他们发现,合成数据可以比人类数据质量更高,并能在关键领域显著提升模型性能,而不仅仅是加深表面知识。 尤其是在代码生成这个 OpenAI 极其重视的领域,合成数据发挥了巨大作用。尽管 Mark 没有透露具体比例,但他承认,在 GPT-5 的训练数据中,合成数据的占比正“越来越多”。他相信,合成数据的技术是通用的,未来可以应用到几乎所有领域。 2. 预训练与推理的完美联姻 如果说 GPT-4 是将“预训练范式”(Pre-training Paradigm)规模化到极致的产物,那么 GPT-5 则是第一个将“预训练”和“推理范式”(Reasoning Paradigm)真正融合在一起的模型。 这听起来可能有点抽象,我们不妨这样理解: 预训练:像一个博闻强识的学者,能快速从海量知识库中提取信息,给出直接答案。 推理:像一个深思熟虑的侦探,面对复杂问题时,会花更多时间一步步思考、分析、推导,最终得出结论。 过去,这两个模式相对独立。而 GPT-5 的目标是让用户无需自己判断“这个问题需要快还是慢”,模型会智能地在需要时调用深度推理,在其他时候则提供闪电般的快速响应。将这两个模式无缝集成,背后是 OpenAI 后训练(Post-training)团队的大量工作,他们让推理模型变得更快、更稳健、更可靠。 如何“感觉”一个模型的好坏?顶尖研究员的“Vibe Check”清单 当一个模型训练到什么程度才算“准备好了”?Mark 说这有点像一门艺术,需要在追求完美和把握时机之间找到平衡。除了各种硬核指标,一个关键环节是“Vibe Check”(感觉测试)。...