OpenAI 于 2025年 3 月 20日 发布新一代语音转文本模型和文本转语音模型，这些新模型包括语音转文本 (speech-to-text) 和文本转语音 (text-to-speech) 模型，它们在性能、准确性和可定制性方面均有显著提升，为构建更自然、更有效的语音交互应用提供了有力支持。特别是，新的语音转文本模型在准确性和可靠性方面达到了新的行业标杆，尤其在处理口音、噪音环境和不同语速等复杂场景时表现更佳。同时，文本转语音模型首次允许开发者指导模型以特定的方式说话，从而实现更高程度的个性化和更丰富的应用场景。 新一代语音转文本模型： 推出了 gpt-4o-transcribe 和 gpt-4o-mini-transcribe 模型，相较于原有的 Whisper 模型，在词错误率 (Word Error Rate, WER) 上有显著改进，语言识别和准确性更高。在 FLEURS 基准测试中，这些新模型在多种语言上都展现出更低的 WER，表明其转录准确性和多语言覆盖能力更强。 新一代文本转语音模型： 推出了 gpt-4o-mini-tts 模型，该模型最大的亮点是其可指导性 (steerability)，开发者可以指示模型不仅说什么，还可以指定 如何 说，例如模仿 “富有同情心的客服人员” 的语气。这为客户服务、创意故事叙述等应用场景带来了更丰富的可能性。 技术创新： 这些模型的性能提升得益于多项技术创新，包括： 使用真实的音频数据集进行预训练 (Pretraining with authentic audio datasets)： 模型基于 GPT‑4o 和 GPT‑4o-mini 架构，并在专门的音频数据集上进行了广泛的预训练，从而更深入地理解语音的细微差别。 先进的知识蒸馏方法 (Advanced distillation methodologies)： 通过增强的知识蒸馏技术，将大型音频模型的知识转移到更小、更高效的模型中，利用自博弈 (self-play) 方法捕捉真实的对话动态。 强化学习范式 (Reinforcement learning paradigm)： 语音转文本模型集成了强化学习，显著提高了转录的准确性，降低了幻觉 (hallucination)，使其在复杂的语音识别场景中更具竞争力。 API 可用性： 这些新的音频模型已在 API 中向所有开发者开放，并与 Agents SDK 集成，方便开发者构建语音助手应用。对于需要低延迟语音对话的应用，推荐使用 Realtime API 中的 speech-to-speech 模型。 未来展望： 未来将继续投入于提升音频模型的智能性和准确性，探索允许开发者使用自定义声音的方法，并拓展到视频等多模态领域。同时，将继续与政策制定者、研究人员等就合成语音的挑战和机遇进行对话。 原文：在 API 中引入下一代音频模型 我们推出了一系列全新的音频模型，为语音 AI 智能体 (AI Agent) 提供强大支持，现在全球开发者均可使用。...

用户在使用由大模型驱动的应用时，例如ChatGPT（OpenAI）、Gemini（Google）、Deepseek、豆包（字节）和元宝（腾讯），常常会注意到一种引人入胜的“打字机效果”。文本似乎是一个字一个字（更准确地说，是一个token一个token）地逐渐显现，营造出一种类似人类实时打字的互动感和模型以人类似的方式即时生成响应的印象。虽然这种效果在用户界面上增强了交互体验，但它并非仅仅是一个视觉上的技巧，而是 大模型（LLM）底层文本生成方式的直接体现。 语言的基本单元——Token 要理解 LLM 如何产生这种“打字机效果”，首先需要认识到这些模型并非像人类那样直接处理词语，而是以更细粒度的单位——“token”为基础进行操作。文本可以按照不同的粒度进行切分和表示，这个过程称为 tokenization。之前写过一篇科普的文章《大模型中常说的 token 和 Tokenizer 是指什么？》专门介绍过这个知识，这里再稍微讲一下。 常见的 tokenization 方法包括：词语级别、字符级别和子词级别。词语级别的 tokenization 是最直观的方法，它根据空格和标点符号将文本分割成单独的词语。例如，“The quick brown fox jumps.”会被分割成。字符级别的 tokenization 则将文本中的每一个字符（包括字母、数字、空格和标点符号）都视为一个独立的 token。对于同样的句子，字符级别的 tokenization 会产生。 在现代LLM中，子词级别的 tokenization 是一种更为复杂且广泛应用的技术。这种方法旨在平衡词语级别和字符级别 tokenization 的优缺点，将词语分解成更小但更频繁出现的单元。例如，“unbreakable”可能会被分解成[“un”, “break”, “able”]。在子词tokenization的技术中，字节对编码（Byte-Pair Encoding, BPE）被包括 OpenAI、Gemini和 Deepseek 在内的许多主流 LLM 所采用。BPE 的优势在于能够有效地处理罕见词或词汇表外的词语，通过将它们分解成已知的子词来表示，同时还能减小模型的整体词汇量。在使用 LLM 时，用户输入的文本（即prompt）首先会经过 tokenization 处理，转换成模型能够理解的数字 token 序列。同样地，LLM 生成的输出也是一个 token 序列，需要通过 detokenization 的过程转换回人类可读的文本。 因此，用户所观察到的“打字机效果”本质上是这些生成的 token 被顺序地呈现或揭示的过程。根据 LLM 所采用的具体 tokenization 策略，在“打字”的每一个步骤中出现的可能是一个完整的词语、一个词语的片段（子词）甚至是单个字符。理解这一点对于解读模型的可视化输出至关重要。值得注意的是，由于不同的 LLM 可能使用不同的 tokenization 方法和维护着各自独特的 token 词汇表，因此在不同的平台之间可能会观察到“打字机效果”在粒度和视觉呈现上的细微差异。例如，一个模型可能倾向于以较大的文本块（完整的词语或频繁出现的子词）进行“打字”，而另一个模型由于采用了不同的 tokenization 策略，可能会呈现出更接近于逐字符出现的效果。另外，由于底层模型的输出直接与前端交互可能存在安全隐患问题，如暴露 API 密钥，通常采用“双重流式传输”模式，也就是 LLM 将数据流式传输到后端，然后后端再将数据重新流式传输到前端，大家最终看到的“打字机效果其实并不能真实的反映出底层 LLM 的 tokenization 策略。...

近年来，大型语言模型（Large Language Models，LLMs）以前所未有的速度发展，深刻地改变了人工智能的格局，并日益融入我们日常生活的方方面面。从智能助手到内容创作和代码生成，大语言模型展现出强大的能力。这些模型已经从科研实验室走向实际应用，成为各种技术产品中不可或缺的组成部分，其重要性和影响力正持续扩大。 当我们谈论大语言模型时，“大”这个字不仅仅指它们所学习的海量数据，更在于其内部庞大的变量，我们称之为“参数”。正是这些数量巨大的参数，赋予了模型理解和生成人类语言的能力。例如，DeepSeek 的模型拥有高达 6710 亿个参数，Qwen 的模型参数量也达到了 140 亿，而一些较小的模型则拥有约 5 亿个参数。这些数字上的巨大差异暗示着参数规模对模型的能力和资源需求有着显著的影响。 什么是“参数”？ 要理解大语言模型中的“参数”，首先需要了解它们所基于的底层技术：深度学习和人工神经网络。人工神经网络是一种受人脑结构和功能启发的计算系统。人脑由数以亿计的神经元相互连接构成，而人工神经网络则是由大量相互连接的计算单元（通常称为节点或神经元）组成，这些节点被组织成多个层次，包括输入层、隐藏层和输出层。 在大语言模型的语境下，“参数”指的是神经网络内部的变量，这些变量在模型的训练过程中被调整，以学习数据中的关系。这些参数主要包括以下两种类型： 权重 (Weights): 权重是分配给不同层级节点之间连接的数值，它们表示该连接在影响模型输出时的强度或重要性。权重的大小决定了前一层神经元的输出对下一层神经元的影响程度，通过调整这些权重，模型能够学习到训练数据中的复杂模式。 偏置 (Biases): 偏置是添加到神经元加权输入总和中的常数值。偏置允许激活函数在输入为零时也能被激活，为模型的学习提供了额外的自由度，使其能够学习更复杂的函数关系。 模型的训练过程本质上是一个不断调整这些参数的过程。通过分析大量的训练数据，模型会逐步调整其内部的权重和偏置，以最小化预测结果与真实结果之间的差异 . 想象一下，这些参数就像一个复杂机器上的无数个微调旋钮 。通过对这些旋钮进行精确的调整，机器（模型）才能更好地完成其任务。参数的值在训练结束后就被固定下来，它们实际上编码了模型从数据中学到的“知识” 。因此，参数的数量越多，模型能够学习和存储的语言模式和复杂关系就越丰富。 这里借用一下 OpenAI 前创始人、特斯拉前 AI 总监 Andrej Karpathy 大模型科普视频中的一个例子：Meta 开源的 Lama2 70B模型，可以被精简地理解为电脑文件系统目录中的两个核心文件：一个参数文件以及一个运行代码文件。 在这个模型中，每个参数都采用16位浮点数（即2个字节）来存储，累计起来，这个参数文件的体积达到了140 GB。这一数字不仅反映了模型的复杂性，也预示着其强大的处理能力。 接下来是运行代码文件，这部分可能令人意外地简洁，大约 500 行的 C 语言代码便足以实现整个神经网络的结构。然后我们将代码文件进行编译，并链接上参数文件，那么就形成了一个完整的 Llama2 70B 大模型。 规模的重要性：理解模型大小中的“B” 当我们谈论像 Qwen-14B 或 DeepSeek-671B 这样的大型语言模型时，其中的“B”代表的是“Billions”，即十亿 。这个字母清晰地表明，这些模型的参数数量级已经达到了非常惊人的程度。例如，谷歌发布的 Gemma 模型拥有 70 亿参数，这个数量几乎等同于全球人口。通常来说，模型拥有的参数越多，其学习复杂模式的能力就越强，从而能够更好地理解和生成更复杂的文本，并在各种语言任务中表现出更高的性能 。 值得注意的是，随着模型参数数量的增加，有时会出现所谓的“涌现能力” 。这意味着当模型的规模超过某个阈值时，它可能会突然展现出一些在较小模型中从未出现过的能力，例如进行更高级的推理、理解更抽象的概念，甚至执行一些它在训练过程中没有被明确指示要完成的任务。然而，模型规模的扩大也带来了挑战，例如训练和运行这些模型需要巨大的计算资源，并且需要更多的数据来有效地训练，以避免过拟合 。过拟合指的是模型在训练数据上表现非常好，但在面对新的、未见过的数据时性能却显著下降。 DeepSeek 的 671B 参数 DeepSeek-V3 是由中国人工智能初创公司 DeepSeek 开发的先进大语言模型，其参数量高达 6710 亿。如此庞大的规模使得 DeepSeek-V3 在数学、编码和复杂推理等具有挑战性的任务上，能够达到与 OpenAI 的 GPT-4 和 Anthropic 的 Claude 3 等领先的专有模型相媲美的性能。...

本文介绍了模型上下文协议（Model Context Protocol, MCP），这是一个旨在连接 AI 助手与数据源（如内容仓库、业务工具和开发环境）的新标准。MCP 的目标是帮助前沿模型生成更优质、更相关的响应。当前，尽管 AI 模型的能力迅速提升，但它们与数据的隔离是一个主要瓶颈。每个新的数据源都需要定制化的集成方案，使得构建真正互联互通的系统变得困难。MCP 通过提供一个通用的、开放的标准来解决这个问题，用单一协议取代碎片化的集成方式，从而更简单、更可靠地让 AI 系统访问所需的数据。 模型上下文协议（MCP）是一个开放标准，允许开发者在数据源和 AI 驱动的工具之间建立安全的双向连接。其架构包括：开发者可以通过 MCP 服务器暴露数据，或者构建连接到这些服务器的 AI 应用（MCP 客户端）。 今天发布了 MCP 的三个主要组件： 模型上下文协议规范和 SDK：为开发者提供构建 MCP 连接器的工具和指南。 Claude Desktop 应用中的本地 MCP 服务器支持：允许用户在本地环境中测试和使用 MCP 服务器。 MCP 服务器的开源仓库：提供预构建的 MCP 服务器，方便快速集成常见企业系统，如 Google Drive、Slack、GitHub、Git、Postgres 和 Puppeteer。 Claude 3.5 Sonnet 模型能够快速构建 MCP 服务器的实现，降低了组织和个人将重要数据集与 AI 工具连接的难度。Block 和 Apollo 等早期采用者已经将 MCP 集成到其系统中。Zed、Replit、Codeium 和 Sourcegraph 等开发工具公司也在利用 MCP 增强其平台，使 AI 代理能够更好地检索相关信息，理解代码任务的上下文，并生成更精确、更实用的代码。 MCP 的优势在于，开发者不再需要为每个数据源维护单独的连接器，而是可以基于统一的标准协议进行开发。随着生态系统的成熟，AI 系统在不同工具和数据集之间移动时能够保持上下文，从而构建更可持续的架构。 开发者可以立即开始构建和测试 MCP 连接器。所有 Claude.ai 计划都支持将 MCP 服务器连接到 Claude Desktop 应用。Claude for Work 客户可以开始在本地测试 MCP 服务器，将 Claude 连接到内部系统和数据集。未来还将提供用于部署远程生产 MCP 服务器的开发者工具包。...

本文的核心观点是，真正的 生成式 AI LLM 智能体 (agents) 正在到来，它们与目前常见的基于工作流的系统有着本质的区别。这些新型智能体能够进行规划、记忆，并有效地执行多步骤、长期的任务。与预定义规则和提示的工作流系统不同，真正的 LLM 智能体能够动态地指导自身流程和工具使用，从而克服了传统方法在可扩展性和长期效能方面的局限性，并有望在各个领域带来颠覆性变革。文章强调，要实现真正的 LLM 智能体，需要采用 强化学习 (RL) 与推理 (Reasoning) 相结合的方法，并克服数据和计算方面的挑战，以推动这项技术的民主化发展。 LLM 智能体的定义与兴起： 文章指出，OpenAI 在 2025 年 1 月发布的 DeepResearch 以及 Claude Sonnet 3.7 是真正的 LLM 智能体的早期例证。Anthropic 将 LLM 智能体定义为能够动态控制自身流程和工具使用的系统，这与通过预定义代码路径编排 LLM 和工具的工作流系统形成对比。 工作流系统的局限性： 文章批评了当前许多 “智能体” 系统，如 Manus AI，实际上是工作流系统，它们在规划、记忆和长期行动方面存在根本性缺陷，例如无法有效规划搜索策略、难以维持超过 5-10 分钟的任务、以及长期行动中容易累积错误。 “苦涩的教训” (Bitter Lesson)： 文章引用了 Richard Sutton 的 “苦涩的教训”，指出在 AI 智能体中硬编码知识和规则虽然短期内有效，但长期来看会阻碍进步。真正的突破来自于扩展计算规模，并基于搜索和学习的方法。这表明，依赖预定义提示和规则的工作流系统注定会遇到瓶颈。 RL + Reasoning 是制胜之道： 文章强调，真正的 LLM 智能体需要通过 强化学习 (RL) 进行训练，并结合推理能力。训练过程涉及生成草稿、评估结果 (通过验证器 verifiers) 以及迭代优化。DeepSeek 的 GRPO 算法和 vllm 技术被认为是实现高效 RL 训练的关键。 数据和计算的挑战与解决方案： 训练 LLM 智能体，特别是对于复杂任务如搜索，需要大量的行动序列数据。由于缺乏公开的 agentic 数据，文章提出了通过模拟 (emulation) 和合成数据生成来解决数据瓶颈的思路。例如，可以创建网络搜索的模拟环境，并利用 Common Crawl 等数据集进行训练。 LLM 智能体的应用前景： 文章展望了 LLM 智能体在搜索之外的应用，例如网络工程 (自动生成设备配置、分析网络拓扑) 和金融领域 (数据标准转换)。这些应用场景都超越了传统工作流系统的能力，需要智能体具备自主规划和动态决策的能力。 技术民主化的必要性： 文章最后指出，目前 LLM 智能体技术主要掌握在少数大型实验室手中，为了促进技术发展和应用普及，需要推动 LLM 智能体训练和部署的民主化，例如开放验证器、 GRPO 训练样本以及复杂的合成管线和模拟器。 原文：真正的 LLM Agents 即将到来 实际的大语言模型 AI 智能体 (LLM Agent) 即将到来。它们将被训练 现在“智能体”这个词随处可见。然而，在大语言模型 (LLM) 驱动的智能体研究领域，一项最重要的研究进展却几乎没有引起人们的注意。...

在大语言模型（LLM）领域，模型规模的持续增长是提升性能的关键途径之一。然而，简单地增加模型参数会带来计算成本的急剧上升。为了在扩大模型容量的同时控制计算负担，一种名为“混合专家模型”（Mixture of Experts，MoE）的架构应运而生，并在近年来受到了广泛关注。 MOE，全称 Mixture of Experts（混合专家），是一种机器学习技术，首次在 2017 年提出，主要用于语言建模和机器翻译任务。它并非一种全新的模型，而是一种架构设计思想，可以将其理解为一种特殊的神经网络层。与传统神经网络层不同，MoE 层包含多个“专家”（Experts）和一个门控网络，每个专家都是一个独立的神经网络，可以专注于处理特定类型的数据或任务，门控网络动态选择适合当前输入的专家，从而实现条件计算和专门化。想象一个医疗团队：每个医生（专家）专注于不同领域（如语法或语义），而总医生（门控网络）根据患者症状决定转诊给谁。这样，每个患者只与最相关的专家互动，节省资源。 Mixtral 8x7B 是 MOE 在 LLM 中的一个典型案例，总参数为 47 亿，活跃参数约为 13 亿。它有 8 个专家，每个专家在推理时可能被激活 2 个。这种设计使其在推理时高效，适合处理大规模语言任务。研究显示，它在领域内任务上表现优异，但在领域外任务上效率稍低。 MoE 的原理 MoE 层的核心组件 Experts（专家）： 多个独立的神经网络，例如前馈神经网络（FFN）。每个专家都具备处理特定类型数据的能力。 Gating Network（门控网络）： 一个路由网络，用于决定将哪些输入数据发送给哪些专家。它根据输入数据的特征，为每个专家分配一个权重，表示该专家处理该输入的概率或重要性。 Combining Function（组合函数）： 将被选中的专家的输出进行聚合，生成最终的 MoE 层输出。常用的组合方式包括加权平均。 MoE 的工作原理 输入： MoE 层接收来自上一层的输入数据。 门控网络： 门控网络分析输入数据，并为每个专家计算一个权重。权重越高，表示该专家越适合处理该输入。 专家选择： 根据门控网络的输出，选择一个或多个具有较高权重的专家。常见的选择方式包括 Top-K 选择，即选择权重最高的 K 个专家。 专家计算： 被选中的专家并行地处理输入数据，并生成各自的输出。 输出： 组合函数将这些输出进行聚合，生成 MoE 层的最终输出。 MoE 的优劣势 MoE 的优势 更大的模型容量： MoE 允许模型拥有更多的参数，从而提高模型的表达能力和学习能力。 稀疏激活： MoE 的一个关键优势是稀疏激活。对于每个输入，只有少数几个专家会被激活，这意味着计算量可以显著减少。 更好的可扩展性： MoE 架构易于扩展，可以通过增加专家数量来提高模型容量，而无需重新训练整个模型。 任务专用化： 不同的专家可以学习不同的任务或技能，从而使模型更具通用性和适应性。 高效扩展： MoE 通过稀疏激活和专家特化实现高效扩展。例如，Switch Transformers 等模型在能耗仅为 GPT-3 的三分之一的情况下，实现了与 GPT-3 同等的质量。[2] MoE 的挑战 训练难度： MoE 模型的训练比传统模型更具挑战性，需要仔细调整训练策略和超参数。 负载均衡： 如何确保每个专家都能得到充分的训练，避免某些专家过度使用而另一些专家利用不足，是一个需要解决的问题。常见的解决方案包括辅助损失和专家容量限制。 通信开销： 在分布式训练中，专家之间的通信可能会产生额外的开销。 内存需求： 所有专家都必须加载到 RAM 中，即使未使用（例如，Mixtral 8x7B 需要 VRAM 才能支持 47B 参数）。 Token 溢出： 当专家超出容量时，可能会删除 Token 或通过残差进行路由。 过拟合风险： 稀疏模型比传统密集模型更容易过度拟合，稀疏 MoE 层和密集 FFN 层的存在使统一方法复杂化。 MoE 的应用 MoE 已经在多个领域取得了显著成果，包括：...

近年来，大型语言模型（LLMs，Large Language Models）在自然语言处理领域取得了显著的进展。然而，这些模型通常具有庞大的参数量和计算复杂度，导致推理过程（即根据输入生成输出的过程）耗时且昂贵。缓存是一种常见的计算机技术，其核心思想是将计算结果或数据临时存储起来，以便后续重复使用，从而避免重复计算或数据访问，提高效率。在大模型中，缓存的原理也类似，只不过存储的内容和应用场景更加复杂。 在大型语言模型中提到的缓存（Caching），并不是直接缓存 system_prompt 或 user_prompt 的文本内容，而是缓存模型在计算过程中生成的中间计算结果，尤其是 Transformer 模型中的 键值向量（Key-Value Vectors，KV Cache）。不过，当输入的文本有相同前缀时，可以利用缓存避免重复计算。 1. 缓存的核心：键值向量（KV Cache） 在 Transformer 的自注意力机制中，每个词元（Token）会生成一对向量： Key（K）：用于计算其他词元对它的关注程度。 Value（V）：存储该词元的语义信息。 缓存的作用： 在生成文本时（例如逐词生成回答），模型会将已生成词元的 K 和 V 向量存储下来。当生成下一个词元时，直接复用这些历史向量，避免重新计算。 2. 前缀匹配与缓存复用 当用户输入的提示（Prompt）有相同的前缀时，模型可以利用缓存快速处理。 例如： 用户输入1： "法国的首都是哪里？法国的美食有哪些？" 用户输入2： "法国的首都是哪里？德国的首都是哪里？" 假设模型已经处理过 用户输入1 的前缀 "法国的首都是哪里？"，那么处理 用户输入2 时： 发现前缀 "法国的首都是哪里？" 和之前相同。 直接复用此前缀对应的 KV 缓存，无需重新计算这一部分的 K 和 V 向量。 只需计算新增部分 "德国的首都是哪里？" 的向量。 3. 具体例子 假设用户连续两次提问： 第一次提问： System Prompt: "你是一个百科全书助手。" User Prompt: "爱因斯坦提出了什么理论？" 模型行为： 计算 System Prompt 和 User Prompt 的所有词元，生成对应的 K 和 V 向量，并缓存。...

2025 年 3 月 12 日，OpenAI 发布了一系列新的 API 和工具，旨在简化开发者和企业构建实用且可靠的 “生成式 AI 产品” 代理（agents）。 Responses API Responses API 是构建 “生成式 AI 产品” 代理的新 API 原语，它结合了 Chat Completions API 的简洁性和 Assistants API 的工具使用能力。通过单个 Responses API 调用，开发者可以使用多种工具和模型轮次来解决复杂的任务。 Responses API 初始支持的内置工具包括： 网页搜索：使用 gpt-4o 和 gpt-4o-mini 模型时可用的工具，可以提供快速、最新的答案，并带有清晰且相关的来源引用。在 SimpleQA 基准测试中，GPT-4o 搜索预览和 GPT-4o mini 搜索预览分别获得了 90% 和 88% 的准确率。网页搜索 API 返回的结果包含来源链接。 文件搜索：可以从大量文档中轻松检索相关信息，支持多种文件类型、查询优化、元数据过滤和自定义重排序。定价为每千次查询 2.50 美元，文件存储为每月每 GB 0.10 美元，首 GB 免费。 计算机使用：由与 Operator 相同的 Computer-Using Agent (CUA) 模型驱动，可以自动化计算机上的任务。在 OSWorld 基准测试中，成功率为 38....

本文由 Epoch AI 官方博客发布，主要分析推理模型的影响。 推理模型的核心思想是在运行时让模型进行更长时间的思考，以找到问题的正确解决方案。这可以通过提示模型逐步思考，展示显式的思维链来实现。早期的 LLM 在简单地被要求长时间思考时表现出较差的扩展性，但通过应用强化学习 (RL) 方法，特别是在奖励模型正确答案的情况下，推理模型的推理质量得到了显著提高。这种方法即使不奖励中间推理步骤，也能促使模型学习生成长的推理链，从而提高推理质量。 推理模型的一个重要优势是能够生成高质量的合成训练数据，用于改进未来的推理模型甚至非推理模型。强化学习在推理模型中的成功应用表明，它可以有效地提高 LLM 的性能，并有可能将模型性能提升到超人水平。强化学习最适用于解决方案易于验证的任务，因为这类任务可以提供密集的奖励信号，从而促进高效训练。 未来几年内，在数学问题解决和定理证明领域，推理模型将取得显著进展，到 2027 年底，AI 有 3/5 的概率能够在自主证明任意数学定理方面超越顶尖人类数学家。推理模型最有可能成功应用于满足两个关键标准的任务：(1) LLM 预训练数据包含大量与执行任务相关的信息；(2) 解决方案可以低成本且可编程地验证。这些任务被称为 “纯推理任务”。 然而，许多经济价值高的任务可能不属于 “纯推理任务” 的范畴。对于视频编辑等任务，由于缺乏高质量的、与任务执行方式直接相关的数据，以及评估质量的反馈成本高昂，AI 在自动化这些任务方面将面临挑战。因此，尽管 AI 在逻辑推理等领域将取得巨大进步，但在自动化需要经验反馈和难以验证的任务方面，仍将面临重大挑战。 虽然推理模型提高了外部部署 AI 的效用，也增强了内部使用推理计算的效用（用于生成合成训练数据），但这两种效应可能会大致相互抵消，不会导致计算资源在内部开发和外部部署之间分配的根本性转变。基于以往类似创新的经验，推理模型对商业模式的影响将是平衡的，不会颠覆现有模式。 总而言之，推理模型将在未来几年的人工智能发展中发挥重要作用，特别是在自动化 “纯推理任务” 方面。然而，推理模型应被视为人工智能长期发展趋势的一部分，持续扩展 AI 可以执行的任务范围。要充分释放 AI 在自动化所有有价值的经济任务方面的潜力，还需要在多模态、自主性、长期记忆和机器人技术等领域取得更多突破。未来，多智能体协作等新的推理扩展方式可能会成为新的发展方向。 原文：推理模型的希望 过去一年中，也许最重要的 AI 进展是推理模型 (Reasoning Models) 的兴起——通过强化学习训练的大语言模型 (LLM)，用于解决复杂问题，例如 OpenAI 的 o1，DeepSeek-R1 和 Claude 3.7 Sonnet。这些模型已经展示了卓越的成功，显著增强了 AI 在数学问题解决、科学推理和编码方面的人工智能水平 (AI capabilities)。 在本文中，我旨在提出一个清晰的概念框架，以理解推理模型 (Reasoning Models) 可能对世界产生的影响。我的核心论点是，推理模型 (Reasoning Models) 的主要结果将是创造出在“纯推理任务”上具有狭义超人能力的 AI ——具有正确答案且可以低成本验证的抽象任务。例如，我猜测在未来三年内，可能会开发出能够胜过顶尖人类数学家证明任意数学定理的 AI。与此同时，我预测具有经济价值的 AI 性能将会滞后，可靠的 AI 智能体 (AI Agent) 的出现将明显晚于高质量的推理模型 (Reasoning Models)。...

本文的作者是 Gmail 的创始人 Paul Buchheit，本文核心观点是，伟大的产品不需要在所有方面都表现良好，而应该专注于少数几个关键属性并做到极致。 他认为产品设计成功的关键在于选择两到三个核心功能，并投入所有精力把这些功能做到非常出色，而其他次要功能可以暂时忽略。这种方法能够迫使产品团队找到产品的真正本质和价值。 iPod 的案例： 最初的 iPod 专注于三个关键属性： 1) 足够小巧，可以放入口袋； 2) 拥有足够大的存储空间，可以容纳数小时的音乐； 3) 易于与 Mac 同步。 尽管缺少无线功能、设备上编辑播放列表的功能以及对 Ogg 格式的支持等，iPod 仍然取得了巨大的成功，因为它在核心功能上做得非常出色。 Gmail 的案例： Gmail 在推出时也采用了类似的方法，专注于： 1) 速度快； 2) 存储所有邮件（在当时 4MB 配额是常态的情况下）； 3) 基于对话和搜索的创新界面。 Gmail 最初的功能非常精简，例如没有富文本编辑器，地址簿功能也极其简单，但这些次要功能的缺失并没有妨碍 Gmail 成为一款伟大的产品。 对 “更多功能=更好” 误区的批判： 作者认为，很多人在产品设计上犯错，是因为他们陷入了 “更多功能=更好” 的误区。 他们错误地认为，成功的产品必须拥有竞争对手产品的所有功能，甚至更多。 作者指出，如果一个产品需要 “一切” 功能才能变得好，那么它很可能缺乏创新性。 iPad 的启示： 文章提到了 iPad 发布初期，人们也像批评 iPod 一样，关注其 “缺失” 的功能，例如进程管理器、文件管理器、窗口管理器等。 作者认为，iPad 的价值可能在于它提供了一种快速、简单、可共享的互联网窗口，能够激发用户新的使用场景，例如在家中轻松浏览网页、共享照片、玩棋盘游戏，在办公室进行远程协作等。 iPad 的简洁性，使其像 iPhone 一样，成为一个无需思考即可使用的简单设备，与复杂笨重的笔记本电脑形成对比。 产品设计的核心原则： 对于新产品的创建，作者建议聚焦于三项或更少的关键功能，并投入至少 80% 的精力把这些功能做到极致。 对于那些需要长长的功能列表的市场（通常是企业级产品），可以考虑堆砌功能，但对于消费者产品，简洁和核心功能的卓越性才是关键。 免责声明： 作者的建议主要适用于消费者产品（购买者也是使用者），对于那些购买流程复杂、需要满足大量功能需求的市场，可能不适用。 原文：如果你的产品足够卓越，就不必仅仅满足于“好”的标准 Paul Buchheit 是 Gmail 的创建者。他最初在 2010 年以博客 post 的形式发表了这篇文章。...