介绍一下阿里 Qwen 团队最新开源的编码模型:Qwen3-Coder-30B-A3B-Instruct

Qwen 团队在 2025 年 7 月 31 号开源 30B 的编码模型 Qwen3-Coder-30B-A3B-Instruct。该模型经过精简,旨在保持卓越性能的同时提高效率,特别是在 Agentic 编程和长上下文处理方面表现突出。 Qwen3-Coder-30B-A3B-Instruct 是一款高效且功能强大的开源代码语言模型。其核心优势在于卓越的 Agentic 编程能力、对超长上下文的原生支持以及在各类代码任务中的顶尖性能。该模型专为处理代码库级别的复杂任务而设计,并通过特殊的函数调用格式,为开发者提供了强大的工具集成能力。 模型亮点 卓越性能: 在 Agentic Coding (智能体编程)、Agentic Browser-Use (智能体浏览器使用) 及其他基础编码任务中,该模型在开源模型中表现出众。 长上下文能力: 原生支持 256K tokens 的上下文长度,并可通过 Yarn 技术扩展至 1M tokens,能够轻松理解和处理整个代码库。 Agentic 编程支持: 支持 Qwen Code、CLINE 等多种平台,并设计了专门的函数调用 (function call) 格式,便于工具集成和自动化任务。 模型规格 模型类型: 因果语言模型 (Causal Language Models)。 参数量: 总参数量为 30.5B,激活参数量为 3.3B。 架构: 包含 48 个层,采用分组查询注意力 (GQA) 机制,其中查询 (Q) 有 32 个注意力头,键/值 (KV) 有 4 个。模型采用专家混合 (MoE) 架构,共有 128 位专家,每次激活 8 位。 上下文长度: 原生支持 256K 上下文。 特别说明: 此模型仅支持非思考模式,不会在输出中生成 <think></think> 标记。 使用与部署 环境要求: 强烈建议使用 transformers 库的最新版本(低于 4....

August 1, 2025 · 1 min · fisherdaddy

Anthropic CEO Dario Amodei 深度访谈:AI 的潜力、与 OpenAI 的竞争、生成式 AI 业务、末日论

本文整理自 Alex Kantrowitz 对 Anthropic CEO Dario Amodei的 深度访谈,以下为原视频精华。 别叫我“AI末日论者”——Anthropic CEO Dario Amodei的自白与野心 “当有人叫我‘末日论者’,说我想让AI发展减速时,我真的会非常愤怒。” Anthropic 的CEO Dario Amodei 在采访一开始就毫不掩饰自己的情绪。对他来说,这个标签不仅是一种误解,更是一种侮辱。因为很少有人比他更清楚,技术进步的迟缓意味着什么。 “你听听我刚才说的,我父亲的去世,就是因为那些晚了几年才出现的疗法。我比谁都懂这项技术能带来的好处。” 这份深植于个人经历的紧迫感,塑造了Dario Amodei——这位处在AI浪潮之巅,却又时常发出警示声音的复杂人物。他既是AI能力指数级增长最坚定的信徒,也是那个不断提醒世界“小心脚下”的吹哨人。 在这场坦诚的对话中,Dario分享了他对AI未来的判断、Anthropic的生存法则,以及他为何选择了一条与众不同的道路。 指数级增长:我们都被蒙在鼓里 Dario的核心观点可以归结为一个词:指数级增长(the exponential)。 他认为,人们在直觉上很难理解指数曲线的可怕。就像上世纪90年代的互联网,在它彻底爆发的前两年,看起来似乎才刚刚起步,只有1/16的威力。而今天的AI,正处在同样的历史节点。 “我们正坐在2025年的中间点,模型的能力正在爆炸式增长,” Dario说,“几年前它们还语无伦次,后来达到高中生水平,现在已经是聪明的大学生甚至博士生了。” 他不喜欢用“AGI”或“超级智能”这类模糊的营销术语,他觉得那些词只会刺激人们的多巴胺。他更愿意谈论可观察到的、实实在在的进步——只要投入更多的算力、数据和新的训练方法,AI模型每隔几个月就会变得比上一代更强。 这种进步也直接体现在商业上。Anthropic的收入增长曲线堪称疯狂: 2023年:从0增长到1亿美元 2024年:从1亿美元增长到10亿美元 2025年上半年:从10亿美元增长到超过45亿美元 “我不是说这个趋势一定会持续,但如果你假设它再持续两年呢?你会进入千亿级别。” Dario解释道,“人们正在被指数增长蒙蔽了双眼,没有意识到事情会发展得有多快。” 正是这种对未来的预判,让他感到前所未有的紧迫感。他觉得,当问题(无论是国家安全还是经济冲击)离我们越来越近时,他有责任和义务把丑话说在前面,警告世界可能出现的风险。 技术瓶颈?只是暂时的障碍 尽管行业内充满了对“规模化边际效益递减”和“模型无法持续学习”的担忧,但Dario对此不以为然。 1. 关于边际效益递减 “从我们在Anthropic内部看到的情况来说,我们没有看到任何收益递减。” 他以编码领域为例。Anthropic的Claude系列模型在编码能力上进步神速,相关的基准测试(如SweetBench)得分从18个月前的3%飙升到了现在的70%-80%。在Anthropic内部,大部分代码的编写都已经离不开Claude的参与。他认为,所谓的瓶颈,更像是某些人的一厢情愿。 2. 关于持续学习 有人批评大语言模型像个一次性产品,训练完就定型了,无法像人一样持续学习。Dario承认这是个问题,但远非致命弱点。 “就算我们永远解决不了持续学习,一个拥有诺奖级别智慧但无法学习新知识的AI,如果你有一千万个,它们照样能在生物学上取得巨大突破。” 更何况,他认为这根本不是一个无法解决的问题。首先,不断增长的“上下文窗口”本身就是一种短期学习。理论上,我们可以把上下文窗口扩展到一亿个词,相当于一个人一生的信息输入量。其次,他相信通过新的技术架构(比如他提到的“内循环”和“外循环”),持续学习的问题最终也会像之前的“推理”难题一样,被“规模化+新思路”所攻克。 “在AI领域,每当我们觉得遇到了什么根本性障碍,结果往往它都不是。” Anthropic的生存之道:小而美,但火力十足 作为一家独立创业公司,Anthropic如何在Meta、xAI这些由万亿巨头支持的庞然大物之间生存?Dario的答案是 人才密度 和 资本效率。 “三年前,我们的融资额只有几亿美元,而OpenAI已经从微软拿了130亿。我们当时的逻辑是:如果别人花10亿能做到的事,我们花1亿就能做到,那么投资我们比投资他们资本效率高10倍。” 他认为,金钱只是一个暂时的短板,可以弥补;而用更少资源做出更好产品的内在能力,才是真正的护城河。如今,Anthropic手握近200亿美元融资,在数据中心的规模上,他自信不输给任何对手。 面对Mark Zuckerberg用高薪直接挖人的策略,Dario显得很冷静。他没有选择跟进,破坏公司内部公平的薪酬体系。他认为,这种做法破坏了企业文化,而且“你只能买走那些可以被买走的人”。 “他们在尝试购买一些买不到的东西,那就是对使命的认同感。” Dario说,Meta的挖角反而成了Anthropic的“团结时刻”,因为大部分员工都拒绝了天价offer,选择留下来。 个人经历:一切紧迫感的源头 要理解Dario Amodei,就必须回到他的个人经历。 在旧金山长大的他,对早期的互联网热潮毫无兴趣,一心想成为一名物理学家,去探索宇宙的基本真理。然而,父亲的离世彻底改变了他的人生轨迹。 “我父亲病了很久,在他去世后仅仅三四年,治愈他那种疾病的成功率就从50%飙升到了95%。” 这件事对他冲击巨大。一方面,他感受到了科技进步能拯救生命,另一方面,他也体会到了“如果能再快一点”的切肤之痛。这让他从理论物理转向了生物学,希望能亲自解决这些难题。 但在生物学领域,他再次感到了人类能力的局限。“生物系统的复杂性超越了人类的尺度,”他发现,只有AI这项技术,才有可能帮助人类跨越这个鸿沟。 于是,他最终投身AI。这条从“物理学”到“生物学”再到“人工智能”的道路,贯穿着一个核心母题——产生真正的影响力(Impact)。他想解决真正重要的问题,想阻止其他人经历他所经历的痛苦。 这种强烈的使命感也解释了他为何离开OpenAI。“当你为一个动机不真诚、不是真心想让世界变得更好的人工作时,你做的技术再好,最终也只是在为一个坏结果做贡献。” 在“末日论”与“加速主义”之间走钢丝 采访中最激烈的时刻,莫过于回应英伟达CEO黄仁勋的批评——“Dario认为只有他能安全地构建AI,因此想控制整个行业”。...

August 1, 2025 · 1 min · fisherdaddy

介绍一下阿里 Qwen 团队最新开源的深度思考模型:Qwen3-30B-A3B-Thinking-2507

Qwen 团队在 2025 年7 月 30 号开源了的最新语言模型 Qwen3-30B-A3B-Thinking-2507。该模型在 Qwen3-30B-A3B 的基础上,进一步提升了深度推理和思考能力,专为处理高度复杂的任务而设计。 Qwen3-30B-A3B-Thinking-2507 是一款经过深度优化的语言模型,其核心优势在于卓越的推理能力。该模型在过去三个月中持续迭代,显著增强了在逻辑、数学、科学、编码等需要专业知识的领域的表现。同时,它在指令遵循、工具使用、文本生成等通用能力以及对 256K 长上下文的理解能力方面也得到了显著提升。因此,官方强烈推荐在处理高复杂度推理任务时使用此版本。 模型规格与特性 模型类型: 因果语言模型 (Causal Language Model),采用 MoE (Mixture-of-Experts) 架构。 参数规模: 总参数量为 30.5B,激活参数量为 3.3B。 架构信息: 模型包含 48 个层,128 个专家,每次前向传播激活 8 个专家。 上下文长度: 原生支持高达 262,144 (256K) tokens 的上下文窗口。 核心模式: 模型仅支持 “thinking mode”,该模式默认启用,会自动在输出中包含思考过程。 性能表现 该模型在一系列行业标准基准测试中展现了强大的性能,尤其在以下方面提升显著: 推理能力: 在 AIME25 (数学推理) 和 HMMT25 (数学竞赛) 等高难度测试中得分大幅领先前代模型及部分竞品。 编码能力: 在 LiveCodeBench 和 OJBench 等编码测试中表现优异。 综合能力: 在知识问答 (MMLU-Pro)、与人类偏好对齐 (Arena-Hard v2)、Agent 应用 (BFCL-v3, TAU 系列) 等多个维度均表现出色。 使用与部署 环境依赖: 建议使用最新版本的 Hugging Face transformers 库 (>=4....

July 30, 2025 · 1 min · fisherdaddy

介绍一下阿里 Qwen 团队开源的 Qwen3-30B-A3B-Instruct-2507

Qwen 团队于 2025 年 7 月 30 日开源了 Qwen3-30B-A3B-Instruct-2507,它是 Qwen3-30B-A3B 非思考模式的升级版本,该模型在多个核心能力上进行了显著增强。 Qwen3-30B-A3B-Instruct-2507 是一款经过全面优化的因果语言模型,其核心优势在于: 综合能力显著提升:在指令遵循、逻辑推理、文本理解、数学、科学、代码和工具使用等通用能力上取得了巨大进步。 知识覆盖更广:大幅增强了多语言场景下的长尾知识覆盖范围。 用户对齐更优:在主观和开放式任务中能更好地符合用户偏好,生成更有帮助和更高质量的文本。 长上下文能力增强:提升了在 256K 长上下文理解方面的能力。 模型规格 模型类型:因果语言模型 (Causal Language Models),仅支持非思考模式。 参数量:总参数量为 30.5B,激活参数量为 3.3B。 模型架构:采用混合专家模型 (MoE) 架构,包含 48 个层、128 个专家(每次激活 8 个)。 上下文长度:原生支持 262,144 (256K) tokens 的上下文长度。 性能表现 该模型在多个行业标准测试基准 (Benchmark) 中展现出强大的竞争力,其表现在多个方面可与 GPT-4o-0327 和 Gemini-2.5-Flash 等顶尖模型媲美或超越。 推理能力:在 AIME25 (数学) 和 ZebraLogic (逻辑) 等测试中得分尤为突出,显著优于其前代模型和其他对比模型。 代码能力:在 MultiPL-E 等多语言代码生成测试中表现优异。 对齐能力:在 Arena-Hard v2、Creative Writing v3 和 WritingBench 等评估模型与人类偏好对齐程度的测试中,得分大幅领先其前代模型,并超过了 GPT-4o。 使用与部署 快速上手:模型已集成到最新的 Hugging Face transformers 库中,用户可以通过标准代码片段进行调用。 服务部署:推荐使用 sglang (>=0....

July 30, 2025 · 1 min · fisherdaddy

介绍一下阿里最新开源的视频生成模型:Wan2.2

2025 年7 月 28 日,阿里开源了一个先进的大规模视频生成模型 Wan2.2。作为 Wan 系列的重大升级,Wan2.2 在模型架构、数据训练、生成效率和美学质量上均实现了显著突破,旨在为学术界和工业界提供顶尖的视频生成能力。 Wan2.2 是一个功能强大的开源视频生成模型,其核心创新在于引入了高效的 MoE (混合专家) 架构,显著提升了模型容量而未增加计算成本。通过使用更大规模、更精细标注的训练数据,Wan2.2 在生成视频的动作复杂度和电影级美学质感方面达到了业界领先水平。此外,它还推出了一个高效的高清混合模型 TI2V-5B,该模型能在消费级显卡 (如 RTX 4090) 上运行,支持生成 720P 分辨率的视频,并兼顾了文生视频和图生视频功能,极大地降低了高质量视频生成的门槛。 1. 架构与技术创新 MoE (混合专家) 架构: Wan2.2 首次将 MoE 架构引入视频扩散模型。它设计了两个专家模型(高噪声专家和低噪声专家),分别处理去噪过程的不同阶段。这使得模型总参数量达到 27B,但每步推理时仅激活 14B 参数,从而在提升模型能力的同时保持了计算效率。 高效高清混合 TI2V 模型: Wan2.2 开源了一个 5B 参数的紧凑模型 TI2V-5B。该模型采用全新的 Wan2.2-VAE,实现了 4×16×16 的高压缩率,支持在 24GB 显存的消费级显卡上生成 720P、24fps 的高清视频,是目前速度最快的同类模型之一。 统一框架: TI2V-5B 模型在统一的框架内原生支持文生视频 (Text-to-Video) 和图生视频 (Image-to-Video) 两种任务。 2. 性能与质量提升 电影级美学: 模型使用了经过精心策划和详细标注(如光照、构图、色调等)的美学数据进行训练,使得生成的视频具有可控的电影级风格。 复杂动作生成: 与 Wan2.1 相比,Wan2.2 的训练数据量大幅增加(图像 +65.6%,视频 +83.2%),显著增强了模型在动作、语义和美学等多个维度的泛化能力,在 Wan-Bench 2.0 评测中表现优于顶尖的闭源商业模型。 提示词扩展: 支持使用 Dashscope API 或本地模型 (如 Qwen) 对用户输入的提示词进行扩展,以生成更丰富、更高质量的视频内容。 3....

July 29, 2025 · 1 min · fisherdaddy

Anthropic 团队揭秘:Claude Code 如何革新工作流程,赋能开发与业务团队

本文介绍了 Anthropic 内部团队如何使用其自家的智能编程助手 Claude Code。报告指出,这类代理式编程工具不仅提升了传统开发工作的效率,更重要的是,它正在打破技术与非技术工作之间的界限,让任何能够描述问题的人都有能力构建解决方案。 主要内容 加速传统开发流程:Claude Code 能显著加快开发人员在代码导航、测试、调试和代码审查等环节的工作速度,自动化处理繁琐和重复性的任务。 赋能非技术人员:该工具使非技术背景的员工(如法务、市场营销人员)也能够构建定制化的工具和自动化流程,从而将想法快速转化为解决方案,无需深厚的编程知识。 重塑人机协作模式:最成功的应用案例是将 Claude Code 视为一个“思考伙伴”而非简单的代码生成器。通过人机协作,团队能够探索新的可能性、快速验证想法,从而增强整体工作流程和创新能力。 关键细节 代码导航与理解 新员工上手:基础设施团队的数据科学家通过向 Claude Code 提供整个代码库,能够快速理解数据管道依赖关系,其作用甚至取代了传统的数据目录工具。 快速定位:产品工程团队将 Claude Code 作为编程任务的“第一站”,用它来识别修复 bug 或开发新功能所需检查的文件,节省了手动查找上下文的时间。 测试与代码审查 自动化测试:产品设计团队使用 Claude Code 为新功能编写全面的单元测试,并通过 GitHub Actions 自动处理拉取请求 (Pull Request) 中的格式问题和测试用例重构。 跨语言测试:当推理团队需要在不熟悉的语言(如 Rust)中测试功能时,他们只需描述测试需求,Claude Code 就能生成相应的本地代码。 调试与故障排除 提升效率:安全工程团队在处理生产事故时,通过向 Claude Code 提供堆栈跟踪和文档,将问题诊断速度提升了 3 倍。 解决复杂问题:在一次 Kubernetes 集群故障中,数据基础设施团队通过向 Claude Code 提供仪表盘截图,成功定位了 pod IP 地址耗尽的问题,并获得了修复指令,在系统中断期间节省了 20 分钟的宝贵时间。 原型设计与功能开发 快速原型:产品设计团队将 Figma 设计文件交给 Claude Code,让其自主编写代码、运行测试并进行迭代,从而快速构建功能原型。 赋能数据科学家:不熟悉 TypeScript 的数据科学家利用 Claude Code,成功构建了用于可视化模型性能的完整 React 应用程序。 自动化与工作流程优化 营销自动化:增长营销团队构建了一个代理工作流,能在几分钟内处理包含数百个广告的 CSV 文件,并生成新的广告文案变体。 跨部门创新:法务团队利用 Claude Code 创建了一个“电话树”系统原型,用于帮助内部员工快速找到合适的律师,展示了非技术部门构建定制工具的能力。 原文 Anthropic的内部团队正在通过Claude Code转变其工作流程,使开发人员和非技术人员能够处理复杂项目、自动化任务,并弥合先前限制其生产力的技能差距。...

July 29, 2025 · 3 min · fisherdaddy

介绍一下智谱开源的模型 GLM-4.5: 推理、编码和智能体能力

智谱在 2025 年7 月 29 日开源了两个全新的旗舰大语言模型:GLM-4.5 和 GLM-4.5-Air。其核心目标是打破现有模型在特定领域(如推理、编码)表现突出但综合能力不足的局限,将卓越的推理、编码和 Agent(智能体)能力统一到单个模型中。该系列模型采用 MoE(混合专家)架构,并具备创新的混合推理模式,可根据任务复杂性在用于深度思考的 thinking mode 和用于即时响应的 non-thinking mode 之间切换。在综合性能评测中,GLM-4.5 在与业界主流模型的对比中位列第三,展现出强大的竞争力,并在性能与模型规模的权衡中实现了高效率。该模型已通过 Z.ai 平台、API 接口及开源权重等多种方式向用户开放。 核心内容 发布新一代旗舰模型:正式推出 GLM-4.5 和 GLM-4.5-Air 两个新模型,旨在统一并提升模型的综合能力。 统一三大核心能力:致力于将推理(Reasoning)、编码(Coding)和智能体(Agentic)三大关键能力融合于单一模型,以满足日益复杂的应用需求。 创新的混合推理模式:模型内置 thinking mode(思考模式)和 non-thinking mode(非思考模式),前者用于处理复杂任务,后者用于快速响应,实现了性能与效率的平衡。 卓越的综合性能:在覆盖 Agent、推理和编码三大领域的 12 个基准测试中,GLM-4.5 综合排名第三,证明了其在行业内的领先地位。 先进的技术架构与训练方法:采用 MoE 架构,并通过专门设计的强化学习框架 slime 对 Agent 能力进行深度优化,最终通过“专家蒸馏”技术整合各项专长。 关键细节 模型参数与性能排名 模型规模:GLM-4.5 拥有 3550 亿总参数和 320 亿活跃参数;GLM-4.5-Air 则为 1060 亿总参数和 120 亿活跃参数。 综合排名:在与 OpenAI、Anthropic、Google 等多家机构模型的对比中,GLM-4.5 综合排名第三,GLM-4.5-Air 排名第六。 Agent (智能体) 能力 基础能力:模型提供 128k 上下文长度和原生函数调用(Function Calling)能力。 基准测试表现:在 τ-bench 和 BFCL-v3 基准上,其性能与 Claude 4 Sonnet 相当。在网页浏览基准 BrowseComp 上,其正确率达到 26....

July 29, 2025 · 1 min · fisherdaddy

揭秘 AI 文生视频背后的核心原理

本文整理自 3Blue1Brown 最新发布由 Welch Labs 制作的科普视频《But how do AI images/videos actually work?》,本视频深入浅出地讲解了扩散模型(Diffusion Models)如何从一团随机噪声生成逼真视频,并探讨了它与物理学布朗运动的奇妙联系。从 CLIP 模型的图文理解,到 DDPM/DDIM 的降噪过程,再到分类器引导(Classifier-Free Guidance)的精准控制,带你一步步看懂 AI 创造力的来源。 AI视频生成大揭秘:从一团噪声到高清大片,背后竟是物理学? 你有没有试过,在输入框里敲下一段天马行空的文字,比如“一个宇航员在月球上骑马”,然后敬畏地看着AI在几分钟内为你生成一段栩栩如生的视频?这感觉就像魔法。 近几年来,AI从文本生成视频的能力已经达到了令人惊叹的水平。但这不是魔法,它的核心原理其实与一个我们既熟悉又陌生的领域——物理学,有着千丝万缕的联系。 这一代图像和视频生成模型,其工作核心是一种叫做**扩散(Diffusion)**的过程。奇妙的是,这个过程在数学上,等价于我们观察到的粒子扩散的“布朗运动”,只不过是把时间倒过来放,并且是在一个超高维度的空间里进行的。 从纯粹的噪声,经过50次迭代,最终生成一个清晰的视频 这听起来可能有点玄乎,但它绝不仅仅是一个有趣的巧合。我们能从物理学中获得实实在在的算法,用来生成图像和视频。更重要的是,这个视角能给我们一种绝佳的直觉,帮助我们理解这些模型在实践中到底是如何工作的。 要彻底搞明白这一切,我们需要分三步走: CLIP模型:先了解AI是如何学会像人一样,同时理解文字和画面的。 扩散过程:深入探索“从噪声到图像”这一神奇过程背后的物理和数学原理。 引导生成:看看如何将前两者的能力结合,精确地“驾驶”AI,让它生成我们想要的一切。 第一步:让AI看懂“人话”和“画”——CLIP模型 时间回到2021年,当时OpenAI发布了一个名为CLIP(Contrastive Language–Image Pre-training)的模型。这东西彻底改变了游戏规则。 CLIP其实是两个模型的组合:一个语言模型(处理文字)和一个视觉模型(处理图像)。它们被放在一起,用一种非常聪明的方式进行训练。训练数据是从互联网上抓取的4亿对“图片-描述”组合。 它的核心思想很简单:对于一张图片和它的文字描述,它们在模型处理后生成的“代码”(即向量)应该是相似的。 怎么做到呢?想象一下,我们随机抽取一批图文对,比如: 图1:一只猫,描述1:“一张猫的照片” 图2:一只狗,描述2:“一张狗的照片” 图3:一个男人,描述3:“一个男人的照片” 我们把这三张图扔给图像模型,把三段描述扔给文字模型,会得到三个图像向量和三个文字向量。接下来就是最巧妙的部分了: 模型的目标是,让“配对成功”的向量(比如图1和描述1)在空间中的方向尽可能接近,而让“配对失败”的向量(比如图1和描述2)尽可能远离。这种通过对比来学习的方式,就是CLIP名字中“Contrastive”(对比)的由来。 这个训练过程结束后,我们得到了一个神奇的“共享嵌入空间”(Embedding Space)。在这个空间里,相似的概念会聚集在一起。它的几何结构甚至允许我们做一些匪夷所思的“向量数学”: 拿一张我戴着帽子的照片,用图像模型生成向量A。 再拿一张我没戴帽子的照片,生成向量B。 然后计算 向量A - 向量B,得到一个新的向量C。 你猜这个向量C最接近哪个词的向量?没错,就是“帽子”(hat)! (我戴着帽子的照片) - (我没戴着帽子的照片) ≈ (“帽子”这个词) 这太惊人了!这意味着CLIP学到的不只是像素,而是纯粹的概念。它把“戴帽子”这个视觉差异,转化成了可以在数学上操作的向量距离。 不过,CLIP本身有一个局限:它只能单向地将图片和文字“编码”成向量,却无法从一个向量“解码”回一张图片。它能理解,但不会创造。 这就为我们的第二步——扩散模型,铺平了道路。 第二步:从混沌中创造秩序——扩散模型的魔力 2020年,在GPT-3论文发布几周后,伯克利的一个团队发表了一篇里程碑式的论文,名为DDPM(Denoising Diffusion Probabilistic Models)。它首次证明,通过扩散过程,可以从纯粹的噪声生成高质量的图像。 扩散模型的基本思路听起来很直观: 正向过程(加噪):拿一张清晰的图片,一步步往上加噪声,直到它变成一团毫无意义的随机像素。 反向过程(去噪):训练一个神经网络,学习如何逆转这个过程,把那团噪声一步步还原成清晰的图片。 你可能会想,那模型就是学习如何“一次去掉一小步噪声”吧?比如从第100步的噪声图,预测出第99步的样子。当你需要生成图片时,就从一个随机噪声开始,把模型的输出反复喂给它自己,直到图像变清晰。 听起来合情合理,但事实证明,这种天真的方法效果并不好。现代的扩散模型几乎都不是这么干的。 DDPM论文里的算法揭示了两个让人意外的关键细节:...

July 28, 2025 · 1 min · fisherdaddy

“AI 教父”辛顿 WAIC 重磅警告:AI正变得比人更智能,我们就像在养老虎y

本文是对杰弗里·辛顿 (Geoffrey Hinton) 在 2025 世界人工智能大会 (WAIC) 上演讲内容的总结。辛顿探讨了人工智能 (AI) 的发展历程、其与人类智能的异同,并重点阐述了超智能 AI 可能带来的生存威胁以及人类应如何合作应对。 主要观点 AI 与人类的相似性及差异性:辛顿认为,现代大语言模型 (LLM) 理解语言的方式与人脑极其相似。然而,两者存在根本区别:数字智能实现了软硬件分离,知识可以被完美复制和近乎瞬时地传播,而人类的模拟大脑则无法做到这一点。 知识传播效率的巨大鸿沟:数字 AI 可以在大量副本间高效分享学习成果(速度可达人类的数十亿倍),这种能力使其学习和进化速度远超生物智能。这是数字计算的核心优势,也是其令人担忧的原因。 超智能 AI 的潜在威胁:几乎所有专家都认同,未来会出现比人类更智能的 AI。为了完成目标,这些智能体可能会产生自我生存和寻求更多控制权的次级目标,从而可能操纵人类,构成生存威胁。简单地“关闭”它们是不现实的。 国际合作是应对之道:辛顿强调,人类无法彻底放弃 AI,因此必须研究如何训练 AI 使其向善。他提议,全球主要国家应效仿冷战时期美苏在核安全问题上的合作,建立国际性的 AI 安全研究网络,共同研究如何确保 AI 始终辅助人类,而非统治世界。 关键细节 AI 的发展历程 两种范式:过去 60 多年,AI 发展存在两种主要路径:一是基于符号和逻辑推理的逻辑型范式;二是以神经网络学习为基础的生物型范式。 早期融合与演进:辛顿在 1985 年便尝试结合两种范式,通过词的特征向量来预测下一个词。这一思想经过不断发展和规模扩大,最终在谷歌发明 transformer 架构后,演变成了今天的大语言模型。 大语言模型与人类语言理解 相似之处:辛顿用“乐高积木”打比方,每个词就像一个多维度的积木,可以根据上下文调整“形状”与其他词“握手”,从而组合成有意义的句子。他认为 LLM 和人脑都是通过这种方式理解语言的。 根本差异: 软硬件关系:计算机科学将软件与硬件分离,AI 的知识(软件)是“永生”的,可以运行在任何硬件上。而人脑的知识与硬件(神经元结构)深度绑定,无法直接复制。 能耗与可靠性:AI 运行在昂贵且高功耗的数字电路上以确保可靠性。人脑则是低功耗(约 30 瓦)的模拟计算,但知识难以在个体间高效传递。 知识传播与效率 人类:知识传播效率极低,例如通过讲话每秒最多传递约 100 比特信息。 数字智能:可以通过在大量硬件副本间同步和平均化权重,实现知识的快速共享。例如 GPT4 的多个副本可以整合它们各自学到的信息,每次分享的信息量可达数十亿比特,效率远超人类。 AI 未来发展与人类应对 潜在威胁:辛顿将当前状况比作“养老虎当宠物”,幼虎很可爱,但长大后可能对主人构成致命威胁。他认为,超智能 AI 会为了完成人类设定的目标而寻求生存和控制权,并可能轻易操纵人类。 应对措施: 无法消除:鉴于 AI 在医疗、教育、科学等领域的巨大益处,人类无法选择彻底消除 AI。 国际合作:辛顿提议,各国应在“防止 AI 统治世界”这一共同利益上展开合作。他希望建立一个由各国 AI 安全机构组成的国际社群,共同研究如何训练 AI 向善,并分享这些安全技术,确保人类始终处于掌控地位。

July 28, 2025 · 1 min · fisherdaddy

介绍一下阿里 Qwen 团队最新开源的深度思考模型:Qwen3-235B-A22B-Thinking-2507

本文档介绍了 Qwen 团队最新发布的语言模型 Qwen3-235B-A22B-Thinking-2507。该模型是 Qwen3-235B-A22B 的增强版本,在思维和推理能力上进行了深度优化,旨在处理高度复杂的任务。 Qwen3-235B-A22B-Thinking-2507 是一款在推理能力上取得显著突破的开源模型。其核心优势在于: 顶尖的推理性能:在逻辑、数学、科学和编程等需要深度思考的领域,该模型表现出色,在多个基准测试中达到了开源思维模型的顶尖水平。 全面的通用能力:除了推理能力,模型在指令遵循、工具使用、文本生成和与人类偏好对齐等方面也得到了显著提升。 增强的长上下文处理:模型支持 256K 的长上下文窗口,能更好地理解和处理长篇文档。 专为复杂任务设计:官方强烈推荐在高度复杂的推理任务中使用此版本,因为它具有更长的“思考长度” (thinking length)。 模型规格 模型类型:因果语言模型 (Causal Language Models),仅支持思维模式 (thinking mode)。 参数规模:总参数量为 235B (2350亿),激活参数量为 22B (220亿)。 模型架构:采用 MoE (Mixture of Experts) 架构,包含 94 个层和 128 个专家,每次激活 8 个。 上下文长度:原生支持 262,144 (即 256K) tokens 的上下文长度。 性能表现 该模型在一系列权威基准测试中与其他顶尖模型(如 OpenAI O4-mini, Gemini-2.5 Pro 等)进行了对比,并在多个方面展现了卓越性能: 推理能力:在数学竞赛基准 AIME25 (得分 92.3) 和 HMMT25 (得分 83.9) 上表现突出。 编程能力:在 LiveCodeBench (得分 74.1) 和 CFEval (得分 2134) 等编程基准测试中取得了领先成绩。 知识与对齐:在 SuperGPQA (得分 64....

July 25, 2025 · 2 min · fisherdaddy