Gpt-Oss-20b

OpenAI 在 2025 年 8 月 5 日最新发布了两个开源权重语言模型：gpt-oss-120b 和 gpt-oss-20b。这两个模型在保持低成本和高效率的同时，提供了顶尖的性能，特别是在推理和工具使用方面，并确立了开源模型安全性的新标准。 主要内容 发布高性能开源模型：OpenAI 发布了 gpt-oss-120b 和 gpt-oss-20b 两款模型，它们采用灵活的 Apache 2.0 许可证，旨在以低成本在消费级硬件上实现高效部署。 强大的推理与工具使用能力：这些模型经过优化，在推理任务上表现出色，性能可与 OpenAI o4-mini 等先进模型媲美，并具备强大的工具使用、少样本函数调用和思维链（CoT）推理能力。 安全是核心：OpenAI 将安全放在首位，通过全面的安全训练、评估以及创新的“最坏情况微调”测试来评估和降低潜在风险，为开源模型树立了新的安全标杆。 推动 AI 民主化与创新：通过开源这些模型，OpenAI 旨在赋能从个人开发者到大型企业的各类用户，在自有基础设施上运行和定制 AI，从而促进全球范围内的 AI 创新、研究和应用，扩大民主化的 AI 发展路径。 关键细节 模型性能与规格 gpt-oss-120b： 性能：在核心推理基准测试中接近 OpenAI o4-mini 的水平。 硬件要求：可在单张 80 GB GPU 上高效运行。 参数：总参数量为 117b，每次推理激活 5.1B 参数。 gpt-oss-20b： 性能：在通用基准测试中表现与 OpenAI o3-mini 相当。 硬件要求：仅需 16 GB 内存，适用于设备端应用和本地推理。 参数：总参数量为 21b，每次推理激活 3.6B 参数。 基准测试表现： 在编程（Codeforces）、数学竞赛（AIME）、健康（HealthBench）和工具调用（TauBench）等多个领域，两款模型均表现优异，甚至在某些方面超越了 GPT-4o 等专有模型。 技术架构与训练 架构：模型基于 Transformer 架构，并采用专家混合（MoE）技术来提高效率。它们还使用了分组多查询注意力（grouped multi-query attention）和旋转位置编码（RoPE），支持高达 128k 的上下文长度。 训练数据：主要使用以 STEM、编程和通用知识为重点的英文文本数据集进行训练。 后训练：采用了与 o4-mini 类似的后训练流程，包括监督微调和高算力强化学习阶段，以对齐 OpenAI Model Spec 并教授模型进行思维链（CoT）推理和工具使用。值得注意的是，模型的 CoT 未经直接监督，以便于研究和监控模型行为。 安全性措施 主动风险评估：OpenAI 通过对模型进行恶意的、针对特定领域（如生物和网络安全）的微调，来模拟攻击者行为并评估潜在风险。结果表明，即使经过恶意微调，模型也未能达到危险的能力水平。 安全训练：在预训练阶段过滤了与化学、生物、放射性和核（CBRN）相关的有害数据；在后训练阶段，通过蓄意对齐等技术教会模型拒绝不安全的提示。 社区参与：发起 50 万美元奖金的“红队挑战赛”（Red Teaming Challenge），鼓励社区共同发现和解决新的安全问题。 可用性与生态系统 获取方式：模型权重在 Hugging Face 上免费提供，并原生支持 MXFP4 量化。 工具与支持：同时开源了 harmony 提示格式渲染器、PyTorch 和 Apple Metal 的参考实现以及示例工具集。 广泛合作：与 Azure、Hugging Face、NVIDIA、AMD 等领先的部署平台和硬件厂商合作，确保模型可以被广泛、便捷地使用。微软还将在 Windows 设备上推出 gpt-oss-20b 的优化版本。 第三方评测 OpenAI gpt-oss 模型独立基准测试：gpt-oss-120b 是最智能的美国开源权重模型，智能程度落后于 DeepSeek R1 和 Qwen3 235B，但具有效率优势。...