ChatGPT

还记得 OpenAI 联合创始人 John Schulman 吗？他在去年 8 月份离开 OpenAI 加入了 Anthropic，然而仅仅六个月后，他又在今年 2 月再次离职加入了前 OpenAI CTO Mira Murati 的新创业公司 Thinking Machines Lab 。最近他和 OpenAI 前 Post-Training 负责人 Barret Zoph（他就是在去年 gpt-4o 多模态发布会上和 Mira 以及 Mark Chen 一起演示的那位兄弟，他也加入了 Mira 的公司）一起在斯坦福大学就 Post-Training 以及在 ChatGPT 的工作经验进行了分享，他把本次分享的文档共享到了 Google Docs 上，这次分享的内容对 AI 的初学者特别友好，先介绍了后训练的三个组成部分以及基础概念，然后介绍了 ChatGPT 的一些早期历史和演变以及遇到的问题，最后推荐了后训练相关的一些论文和博客，推荐大家看看。另外，我也用 geimini-2.0-flash-thinking 对本次分享做了一些摘要，也分享一下： 本次分享主要介绍了 ChatGPT 的后训练 (Post-Training) 过程，后训练是使基础模型 (Base Model) 转变为更像助手，并遵循正确输出格式的关键步骤，也是模型准备投入生产的最后阶段。相较于预训练 (Pre-Training)，后训练计算成本更低，迭代周期更快，并且使用了人类反馈强化学习 (RLHF) 来调整模型以适应用户偏好。后训练的核心在于教会模型使用工具、塑造模型个性，并引入拒绝回答和安全行为。模型的行为很大程度上依赖于预训练基础模型的泛化能力。 后训练主要包含三个组成部分： 监督微调 (SFT)，用于克隆人类或专家的行为； 奖励模型 (RM) 训练，用于建模人类偏好； 强化学习 (RL)，使用强化学习算法根据奖励模型进行优化，并在推理过程中结合非奖励模型的其他目标。 ChatGPT 的后训练经历了从简单到复杂的发展过程。最初的 ChatGPT 模型相对简单，仅有文本输入和文本输出。随着时间推移，功能和模型显著扩展，增加了多种模型尺寸、工具交互、安全措施、持续模型训练、多模态输入输出以及大规模人类数据的使用。为了有效管理这些变化，OpenAI 采用了 “主线模型设置” (mainline model setup) 来降低风险，并频繁整合和回滚变更。...

本文由微软数据科学家 Andreas Stöffelbauer 撰写，旨在以直观的方式解释大型语言模型（Large Language Models, LLMs）的工作原理，从基础的机器学习概念到 ChatGPT 的核心机制，帮助读者理解 LLMs 的训练过程、能力以及应用场景。作者通过分层讲解人工智能、机器学习、深度学习和 LLMs 的发展路径，揭示了这些模型如何从大规模数据中学习语言规律，并通过生成式方法实现自然语言处理任务。文章还探讨了 LLMs 的局限性（如“幻觉”现象）及其在未来改进的潜力。 关键细节 1. 人工智能的层次结构 人工智能 (AI)：涵盖所有智能机器的研究。 机器学习 (ML)：AI 的子领域，专注于从数据中发现模式。 深度学习 (DL)：机器学习的分支，处理非结构化数据（如文本、图像），依赖人工神经网络。 大型语言模型 (LLMs)：深度学习的应用，专注于文本数据处理。 2. 机器学习基础 核心目标：发现输入与输出之间的模式关系。 分类任务：如音乐流派分类，基于输入特征（如节奏和能量）预测输出类别。 复杂性提升：输入变量数量、类别数量的增加使模型复杂度上升，需要更强大的模型和更多数据。 3. 深度学习与神经网络 神经网络：模仿人脑结构，由多层神经元组成，能够建模高度非线性关系。 深度学习：通过多层神经网络处理复杂任务，如图像分类和情感分析。 规模化的突破：现代 LLMs（如 GPT-4）拥有数十亿到上万亿参数，能够处理极其复杂的输入输出关系。 4. 大型语言模型的核心机制 语言建模：通过预测下一词，学习语言的语法、语义和上下文关系。 训练数据：基于大量文本数据进行自监督学习，无需人工标注。 生成式 AI：通过逐词生成文本，实现自然语言生成。 5. ChatGPT 的三阶段训练 预训练：使用大规模文本数据训练模型预测下一词，掌握语言规则和世界知识。 指令微调：通过高质量的指令-响应对，训练模型理解并响应用户指令。 人类反馈强化学习 (RLHF)：优化模型输出，使其更符合人类价值和偏好。 6. LLMs 的应用与能力 文本生成：通过逐词预测生成连贯的文本。 任务解决： 零样本学习 (Zero-shot)：无需示例即可完成新任务。 Few-shot 学习：通过提供少量示例提升任务表现。 链式思维 (Chain-of-thought)：逐步推理解决复杂问题。 幻觉问题：LLMs 有时会生成错误信息，因其训练目标并非事实准确性。 7. LLMs 的未来与局限 潜在问题：幻觉现象、知识更新滞后、对真伪信息的区分能力不足。 改进方向：通过上下文补充、搜索引擎集成（如 Bing Chat）等方法增强模型的准确性和实时性。 发展潜力：LLMs 展现了超越训练数据的新兴能力（如零样本任务），未来可能进一步接近通用人工智能。 8....