AI

本文来自于吴恩达（Andrew Ng）在 YC 举办的 AI 创业学校的演讲。 如果你想在今天这个AI浪潮里做点什么，那你来对地方了。 我叫吴恩达（Andrew Ng），在我的风险工作室AI Fund，我们就像一个高产的“创业工厂”，平均每个月就会孵化一家新的创业公司。我们不只是旁观者，而是亲自下场，和创业者一起写代码、聊客户、定价格、设计功能。在无数次的实战中，我们摸爬滚打，积累了一套关于如何在这个瞬息万变的AI时代快速打造成功企业的经验。 今天，我想把这些滚烫的经验分享给你。核心就一个词：速度。 对于创业公司来说，执行速度几乎是成功的头号预测指标。而好消息是，新的人工智能技术，正在让创业的速度快到超乎想象。 最大的金矿在哪？别只盯着技术层 在讨论如何“快”之前，我们先得看清地图。很多人问我，AI时代的机会到底在哪里？ 我们可以把AI想象成一个技术栈： 底层是英伟达这样的半导体公司。 往上是云计算平台。 再往上是OpenAI这样的基础模型公司。 最顶层，也是最重要的，是应用层。 尽管媒体和公众的目光大多聚焦在下面几层技术上，但从逻辑上讲，最大的机会必然在应用层。说白了，应用层得赚够钱，才能养活下面一整条产业链。所以，如果你想创业，别被那些光鲜的技术名词迷惑，真正的金矿在应用里。 最重要的技术趋势：Agentic AI正在改写规则 过去一年，AI领域最激动人心的变化是什么？在我看来，是**智能体（Agentic AI）**的崛起。 一年前，当我到处宣讲“AI Agent会是未来”时，很多人还觉得这概念很新鲜。没想到后来市场营销人员把“Agent”这个词当成了万能贴纸，到处乱用，反而让它有点失去了本来的意义。 但从技术角度看，Agentic AI的价值是实实在在的。 我们过去用大模型（LLM），就像让它写一篇文章，但有个苛刻的要求：不能打草稿，不能用退格键，必须从第一个字到最后一个字一气呵成。这太为难人了，对吧？AI也一样。尽管如此，LLM的表现已经很惊人了。 而Agentic工作流则完全不同。它允许AI像人一样思考和工作： 先列个大纲。 如果需要，可以上网搜索资料。 写出第一稿。 自己阅读、批判、修改第一稿。 循环往复，直到满意为止。 这个过程虽然慢一些，但最终产出的质量天差地别。在AI Fund的很多项目里，无论是处理复杂的合规文件、进行医疗诊断，还是分析法律文书，Agentic工作流都是从“不可行”到“可行”的关键。 这也为AI技术栈增加了一个新的层次：Agentic编排层（Agentic Orchestration Layer）。它帮助应用开发者协调对底层技术的多次调用，让构建强大的应用变得更加容易。 创业第一课：抛弃“宏大愿景”，拥抱“具体想法” 在AI Fund，我们只做一件事：执行具体的想法（Concrete Ideas）。 什么叫“具体”？就是你的想法足够清晰，清晰到工程师可以直接动手去实现。 模糊的想法：“用AI优化医疗资源。”——这太空泛了，十个工程师会做出十个完全不同的东西，根本快不起来。 具体的想法：“开发一个软件，让医院病人能在线预约核磁共振（MRI）的空闲时段，以提高设备使用率。”——不管这是不是个好主意，但它足够具体，工程师今天下午就能开工。 模糊的想法特别有欺骗性。你跟朋友说“我要用AI改变医疗”，大家都会夸你“想法真棒！”。但实际上，这种无法执行的想法一文不值。模糊几乎总是对的，但具体才有可能创造价值，也可能让你犯错。 犯错没关系，重要的是快速发现它。 要找到好的具体想法，通常需要你或者某个领域的专家“在想法的迷宫里徜徉”很长时间。当你对一个领域思考得足够久、和足够多的用户聊过天之后，你的**直觉（Gut Feeling）**会变得异常敏锐。这时候，做决策（比如该做哪个功能）靠直觉，往往比费力地收集数据要快得多，也准得多。 创业公司资源有限，不可能同时尝试十件事。最佳策略是： 选定一个具体的假设，全力以赴去验证它。 如果数据证明你错了，没关系，像U盘一样瞬间掉头（Pivot on the dime）。 以同样的决心，去追逐下一个具体的想法。 如果你发现每次和客户聊完天，都想彻底改变方向，那可能说明你对这个领域的了解还太少，需要找个更懂行的人来帮你找到那个更靠谱的“具体想法”。 创业第二课：把代码当成草稿，大胆地写，大胆地扔 打造产品的核心是一个循环：构建（Build）➡️ 获取反馈（Feedback）➡️ 迭代。 过去，这个循环的瓶颈在“构建”环节，因为写代码很慢。但现在，AI编程助手彻底改变了游戏规则。 我们写软件可以分为两种： 快速原型（Quick and Dirty Prototypes）：为了测试一个想法。 生产级软件（Production Software）：需要维护、稳定、安全的大型代码库。 在维护生产级代码时，AI能让我们提速30%-50%。但在构建快速原型时，我们不是快了50%，而是快了至少10倍！...

本文来自 YC 的一个分享：How To Use AI In Your Startup。大语言模型的进步持续呈指数级增长。那么，作为创业者，您应该如何抓住这一机遇呢？YC 的合伙人讨论了如果您考虑转型为 AI 或将其整合到您的业务中，应该考虑哪些因素。 AI创业浪潮已至，你的公司应该“随波逐流”吗？ 我们正经历一场新技术的冲击。人工智能，尤其是大语言模型，像当年的云计算和智能手机一样，正在悄悄改变很多行业。对创业者来说，这是机会，也是疑问：要不要把项目转向 AI？如果业务本身不是干这行的，是不是已经慢半拍？ Y Combinator 的合伙人 Brad、Pete、Gustav 和 Nicola 和上千位创始人聊过，他们发现：技术日新月异，可创业的底层逻辑没变。下面是他们在 AI 时代依旧管用的几条心得。 “转型 AI”是个伪命题？AI 早成了默认配置 先说最常见的问题：我的公司要不要改做 AI？ 答案听上去矛盾：别因为 AI 很火就仓促改行，但 几乎所有业务都值得用上大语言模型。 关键在视角。别再问“要不要做一家 AI 公司”，这问题已经过时。 今天的 AI 就像 2014 年的云。 那会儿，没人会纠结“要不要用云”，用就对了。同理，现在不把 AI 用进产品或流程里，反而显得奇怪。 拿一家 YC 投资的企业举例：他们的主营业务是管理业主协会（HOA）。听起来一点也不高科技，可他们在后台用大语言模型自动化了大批流程，效率飙升，却从不自称“AI 公司”。真正让他们拉开差距的，是那些悄悄运转的模型，而不是标签。 所以，别只想着改名字、加两个 API，就想摆脱初创公司的生死线。重点是：AI 能不能帮你给客户创造看得见的价值。 历史不会重复，但总押韵：AI 的“iPhone 时刻” 没赶上过上一波技术浪潮的人，很难体会当下的节奏。 2007 年，史蒂夫·乔布斯发布初代 iPhone。那时没人想得到几年后会发生什么。App Store 一年后才上线，重要权限又等了一年。可接下来的五年，足以催生一代移动互联网巨头。 云计算也类似。Workday 的创始人曾在 PeopleSoft 工作，2000 年前后他断定：迟早有人用云把企业软件重做一遍，而且会做得更好，于是就有了 Workday。 现在轮到 AI。用 AI 原生思路把现有软件重写一次，本身就是巨大机会。...

埃隆·马斯克在 YC 创业学校的这个分享特别值得一看，内容涵盖了他从早期互联网创业到领导 SpaceX、Tesla 和 xAI 的历程，以及他对AI 和第一性原理思维的深刻见解。看完整个视频你会 get 到他做事情的出发点——“做对人类真正有用的事”。另外，视频中他也提到 Grok 3.5 的进展，以及 XAI 拥有的 GPU 的情况。最后，他对人类文明未来的深思特别的有意思，其实他自己也没太想明白，但先干了再说。 早年创业 看过马斯克自传的人对他早期的创业故事应该都非常熟悉了，他在这里分享这段经历主要的目的是说他当时做事的核心动机：“尽可能地对人类有用”。无论是早期创办 Zip2，还是后来投身于 SpaceX 和 Tesla，他的目标都是解决实际问题、创造有价值的产品，而非追求名利。 1995 年，他放弃博士学位，拉着弟弟做了 Zip2。没钱就睡工位、去基督教青年会冲凉。 Zip2 以 3 亿美元卖给康柏，马斯克分到约 2000 万美元。很快，这笔钱几乎又全部押在 X.com（后并入 PayPal）——“我要面向终端用户，再也不想看传统媒体脸色”。 随后是 SpaceX。他一开始并不是看中了商业火箭潜力，而是 NASA 居然没有登陆火星时间表。他认为自己干商业火箭公司的成功率估计不到一成，他甚至跑去俄罗斯问能否买两枚退役 ICBM。SpaceX 前三次发射全败了，第四次发射如果失败，公司就破产了，但幸运女神眷顾，第四次发射成功了。2008 年应该是对老马极其艰难的一年，SpaceX 第三次发射失败，Tesla 的融资也失败了。最终，在 2008 年圣诞节前夕，NASA 的一份合同和 Tesla 在最后一刻完成的融资拯救了公司。 第一性原理 马斯克最爱挂在嘴边的“第一性原理”，其实就是把一件事拆到物理与成本底座，再倒推出真正可行方案。 火箭：把整枚火箭剖成钢材、铝材、燃料等原料，发现账面只占成品价 1%～2%，剩下都是传统供应链“惯例”。 算力集群：xAI 需要十万片 H100，他没等 18–24 个月的常规交付，而是 6 个月内盘下一座废厂，租用了发电机和美国约四分之一的移动冷却设备，并结合 Tesla Megapacks 解决了电力波动问题，成功部署了 10 万个 H100 GPU。 截至目前，xAI 共握约 30 万张 GPU：15 万 H100、5 万 H200、3 万 GB200，再加一座数据中心准备上线 11 万张 GB200。至于 Grok 3....

本文是 A16Z（美国一家顶级风险投资公司）官方发布的一篇文章，主要探讨了随着大型语言模型 (LLM) 成为新的信息入口，传统搜索引擎优化 (SEO) 如何演变为生成式引擎优化 (GEO) 这一新范式。文章分析了这一转变的根本原因、对品牌营销策略的影响，以及其中蕴含的巨大商业机遇。 搜索范式正在转变：随着 Apple 等公司将 Perplexity 和 Claude 等 AI 原生搜索引擎整合到其产品中，传统的、以 Google 为主导的基于链接和排名的搜索时代正走向终结。一个以语言模型为核心的新时代——生成式引擎优化 (GEO) 正在兴起。 优化的核心目标改变：SEO 的目标是在搜索结果页面上获得高排名。而 GEO 的核心目标是让品牌或内容被 AI 模型直接引用，出现在生成的答案中。衡量标准从“点击率”转变为“引用率”。 品牌策略的重塑：品牌不仅要关注在公众心目中的形象，更要关注在 AI 模型中的“形象”。如何被 AI 模型理解、记忆和引用，已成为新的核心竞争力。 GEO 蕴含巨大商业潜力：与分散的 SEO 工具市场不同，GEO 有可能诞生平台级的、更集中的商业模式。成功的 GEO 公司不仅能提供监测分析，更能通过自有模型和技术，主动影响和塑造 AI 的输出，最终成为品牌与 AI 交互的核心渠道和自动化营销平台。 关键细节 从 SEO 到 GEO 的具体变化 基础不同：传统 SEO 建立在“链接”之上，而 GEO 建立在“语言”之上。 用户行为改变：AI 搜索的查询更长（平均 23 个词 vs 传统 4 个词），交互更深入（平均 6 分钟）。 内容优化方式：GEO 要求内容结构清晰、意义密集，而非简单的关键词堆砌。使用项目符号或“总结”等明确的格式有助于 AI 模型提取信息。 商业模式与激励机制的差异 传统搜索引擎主要通过广告变现。而许多 LLM 服务采用订阅制，这使得它们在引用第三方内容时，更看重内容能否提升用户体验和产品价值，而非仅仅为了流量。 新兴的 GEO 工具与实践 Profound、Goodie 等新平台已出现，帮助品牌分析其在 AI 回复中的形象和声量。 Ahrefs 和 Semrush 等传统 SEO 巨头也已推出新工具，以适应 GEO 时代，追踪品牌在 AI 生成内容中的提及情况。 案例：Canada Goose 利用 GEO 工具分析 LLM 是否会自发提及该品牌，以此衡量其在 AI 时代的“无提示品牌知名度”。 GEO 的未来机遇 GEO 目前仍处于早期实验阶段，规则尚在不断变化中。 文章预测，成功的 GEO 平台将超越分析工具的范畴，它们会拥有自己的微调模型，整合点击流等数据，不仅观察 AI 的行为，更能主动塑造其行为，最终演变为一个自动化、跨渠道的性能营销系统。 作者将 GEO 视为继 Google Adwords 和 Facebook 广告之后，下一个重要的营销风口和竞争高地。 原文 我们所熟知的搜索时代行将结束，而营销人员们对此感觉还不错。嗯，差不多吧。...

昨天（2025.5.28）DeepSeek 在官方交流群中直接发布消息，宣布 R1 模型已完成小版本试升级，并将模型权重开源到 HugggingFace，直到今晚才正式发布新闻稿，并更新模型卡相关内容。 本次模型更新内容 当前版本是 DeepSeek-R1-0528。在最新的更新中，相比上个版本主要更新有： 1️⃣ 通过利用增加的计算资源并在后训练阶段引入算法优化机制，显著提升了模型的推理和理解能力。这款模型在数学、编程和通用逻辑等多种基准测试中展现了卓越的性能。它的整体表现已经接近顶尖模型，例如 O3 和 Gemini 2.5 Pro。 2️⃣ 与之前的版本相比，升级后的模型在处理复杂推理任务时有了显著进步。比如在 AIME 2025 测试中，模型的准确率从之前版本的 70% 提升到了当前版本的 87.5%。这一提升得益于模型在推理过程中“思考”得更深入了：在 AIME 测试集上，之前的模型平均每个问题花费 12K tokens 进行思考，而新版本平均每个问题会花费 23K tokens。 2️⃣ 降低了生成“幻觉”（即不真实信息）的概率 3️⃣ 增强了对函数调用的支持 4️⃣ 优化了“写代码”（vibe coding）的体验。 5️⃣ 它的整体性能现在接近 O3 和 Gemini 2.5 Pro 等领先模型。 6️⃣ 再次基于 Qwen 模型蒸馏出了更强模型，将 DeepSeek-R1-0528 生成的思维链（chain-of-thought）提取出来，用于进一步训练 Qwen3 8B Base 模型，从而得到了 DeepSeek-R1-0528-Qwen3-8B。这款模型在 AIME 2024 上取得了开源模型的最佳性能（SOTA），比 Qwen3 8B 高出 10.0%，并达到了 Qwen3-235B-thinking 的水平。DeepSeek-R1-0528-Qwen3-8B 的模型架构与 Qwen3-8B 相同，但它使用了与 DeepSeek-R1-0528 相同的分词器配置。这款模型可以按照运行 Qwen3-8B 的方法在本地运行。...

Google Veo3 一经发布就引起了广泛关注，其强大的视频生成能力让人惊叹。Veo 3 是谷歌最新的视频生成模型，它最大的特点是可生成带有音频的视频片段（例如街头的汽车噪音、鸟鸣、人物对话等），大幅超越当前所有的视频生成模型。正如 Google DeepMind 首席执行官 Demis Hassabis 所说：我们正在“走出视频生成的无声时代”。 Veo 3 在 Google I/O 2025 上首次亮相，一开始本来仅仅 Ultra 会员（每月 249 刀）才能在 Flow（Google 的 AI 视频制作平台）上使用，但后来 Google 宣布向所有 Pro会员（每月 19 刀）也开放了，终于可以体验到这个强大的模型了。 试用了一段时间发现但受限于个人水平有限，并不能很好的发挥出这个模型的能力，所以这里整理了一些 X 上一些优秀的视频生成的 Prompt 示例，供大家学习。 20岁金发女孩 Prompt 原文：20 year old blonde girl filming a tiktok video, saying"Oh my god this is the most insane app i’ve ever seen". She is in her room in a hoodie. 译文：20岁金发女孩，正在拍摄一条TikTok视频，说着“我的天啊，这是我见过最疯狂的应用程序了”。她在自己的房间里，穿着一件连帽衫。 原文：20 year old blonde girl filming a tiktok video, saying"Oh my god this is the most insane app i’ve ever seen"....

本文是 Fiverr CEO Micha Kaufman 在4 月份发给员工的内部信。信中以极致坦诚的态度发出警示，指出人工智能（AI）将对各行各业的职位构成普遍威胁，并敦促员工必须迅速觉醒，通过学习和掌握 AI 工具、提升工作效率和主动性，成为领域内的卓越人才，以应对即将到来的职业变革并确保个人与公司的未来发展。 立场与动机： Micha 信奉“极致坦诚”，认为这是出于对同事的关怀，旨在帮助他们理解、成长并取得成功。 核心信息是一个“令人不悦的真相”：人工智能（AI）正在冲击所有人的工作，包括作者本人，这是一个“警钟”。 AI 影响的普遍性与深刻性： 影响范围广： 无论职业是程序员、设计师、产品经理、数据科学家、律师、客户支持代表、销售人员还是财务人员，AI 都将带来冲击。 工作性质变革： 曾经的“简单任务”将不复存在。 曾经的“困难任务”将成为新的简单任务。 曾经的“不可能完成的任务”将成为新的难题。 紧迫性： 如果不能在数月内成为所在领域的卓越人才或大师，将面临职业转变的需求。这关乎在行业内保住职业的能力，而非 Fiverr 上的零工。 后果： 不能迅速觉醒并理解新现实的人将“注定要完蛋”。 应对策略与行动方案： 学习、研究并掌握 AI 解决方案： 熟悉并精通所在领域的最新 AI 工具，找到能赋予“超能力”（单位时间内以更高交付质量产出更多成果）的方案。 示例： 程序员：代码工具如 Cursor。 客户支持：工单处理工具如 Intercom Fin, SentiSum。 律师：合同处理工具如 Lexis+ AI, Legora。 向团队内专家学习： 找到团队中最了解 AI 进展的人，向他们学习。 提升时间利用效率： 摒弃 2024 年的常规工作方式，必须做得更多、更快、更高效。 成为一名“提示工程师” (Prompt Engineer)： Google 已过时，大型语言模型（LLM）和生成式人工智能（GenAI）是新基础，必须像专家一样使用它们。 推动组织效率提升： 主动参与利用 AI 工具和技术提高组织效率，在学会利用现有资源做得更多之前，不应盲目招聘。 理解并贡献公司战略： 深刻理解公司战略，主动提出想法帮助公司实现目标，不要等待被动邀请。 主动创造学习与成长机会： 不要等待外部提供机会，要自己创造。作者承诺帮助那些愿意自我提升的人。 呼吁与展望： 坦诚沟通： 如果员工不认同或认为作者在危言耸听，可以选择忽略信息。 共同应对： 作者希望那些认同其观点的人能加入讨论，共同规划公司和个人的未来。 未来展望： 公司本身“卓越”，拥有“光明的前途”，但这需要大家共同努力，过程将是艰难和高要求的，但最终值得。 后续行动： 已请 Shelly 在接下来几周内空出日程，以便与希望讨论未来的员工进行面谈。 核心信息： “这条信息值得深思”，需要“醒悟过来”。 原文 嘿，团队，...

本文由 Anthropic 发布，聚焦于 Claude 在编码相关任务中的应用情况。通过对 Claude.ai 和专用编码工具 Claude Code 上 500,000 次交互的分析，揭示了 AI 在编码实践中的新兴模式、应用领域及采纳趋势。 主要观点 AI 驱动编码自动化趋势显著：特别是在专用的 AI 编码工具（如 Claude Code）中，AI 更倾向于直接执行任务（自动化），而非仅仅辅助人类（增强）。 用户界面开发是 AI 编码的热点：开发者普遍使用 AI 构建面向用户的应用程序，如网页和移动应用的界面，这可能导致相关工作岗位面临更早的 AI 冲击。 初创企业在 AI 编码工具采纳上领先：与大型传统企业相比，初创企业更积极地采用尖端的 AI 编码工具，显示出更强的敏捷性。 软件开发领域的 AI 应用或为其他行业的先导指标：编码作为 AI 应用相对成熟的领域，其发展模式可能为预测 AI 在其他职业领域的影响提供参考。 关键细节 AI 使用模式：自动化与增强 在 Claude Code 上，79% 的对话被识别为“自动化”（AI 直接执行任务），而“增强”（AI 协作并提升人类能力）占 21%。相比之下，Claude.ai 的自动化比例为 49%。 “反馈循环”（Feedback Loop）模式（AI 自主完成任务，但需人类验证和纠错）在 Claude Code 上更为普遍（占交互的 35.8%），远高于 Claude.ai（21.3%）。 “指令式”（Directive）对话（AI 以最少用户交互完成任务）在 Claude Code 上也更高（43.8% vs 27.5%）。 所有增强模式（包括“学习”）在 Claude Code 上的比例均低于 Claude....

继 Shopify CEO Tobias Lütke 宣布 Shopify 将全面拥抱 AI 后，多邻国 CEO Luis von Ahn 也发全员邮件宣布多邻国将全面拥抱 AI。这两位 CEO 在全员邮件中都提到了三点：1. 公司将以 AI 为先；2. AI的使用情况将纳入员工的绩效考核；3. 所有团队在申请增加 HC 时，必须说明为什么无法使用 AI 完成既定目标。很显然，这波 AIGC 浪潮是个十年难得一遇的大风口，上一个风口是 2012年的移动互联网，但这波浪潮的不同在于给个人带来了巨大的生产力提升，最后的结果一定是大量的失业，当然也会孵化出类似Google、字节这种公司。最后，多说一句，国内的头部互联网公司大概率也很快会效仿这三点政策，至少把 AI 使用情况加入绩效考核这种 CEO 和 HR 最喜欢的事情会很快落地。 邮件原文 我在问答环节和许多会议中都提到过这一点，但现在我希望正式宣布：Duolingo 将以 AI 为先 (AI-first)。 AI 已经正在改变我们的工作方式。这不是“会不会发生”或“何时发生”的问题，它正在当下发生。当出现如此重大的技术转型时，最糟糕的选择就是等待。回溯到2012年，我们坚定地投入移动端。当其他公司还在为 PC 网站开发配套移动应用时，我们看到了移动端的未来，并决定采取“移动优先”的策略进行构建。这一决策帮助我们在2013年赢得了 iPhone 年度应用大奖，并带来了随后的自然口碑增长。 事实证明，押注移动端起到了决定性的作用。我们现在正在做出一个类似的决策，这一次引领技术潮流的是 AI。 AI 的作用不仅限于提高生产力。它还能帮助我们更接近我们的使命。为了提供优质的教学，我们需要创建海量的教学内容，而完全依赖人工来完成这项工作是无法扩大规模的。我们近期做出的一个最佳决策，就是用 AI 驱动的流程取代了过去缓慢的手动内容创建方式。如果没有 AI，我们需要花费几十年的时间才能将内容规模扩展到满足更多学习者的需求。我们有责任尽快将这些优质内容呈现给我们的学习者。 AI 也帮助我们开发出了以前不可能实现的功能，比如视频通话。现在，达到最佳人类导师的教学水平正变得触手可及。 以 AI 为先意味着我们需要重新思考许多现有的工作方式。仅仅对那些为人设计的系统进行微调是无法达到目标的。在很多情况下，我们需要从零开始，推倒重来。我们不可能一夜之间重建一切，有些事情——比如让 AI 理解我们的代码库——将需要时间。然而，我们不能坐等技术达到100%完美。我们宁愿带着紧迫感推进，即使偶尔会在质量上牺牲一点点，也不愿行动迟缓而错失重要的时机。 为了指导这一转变，我们将提出一些建设性的原则： 我们将逐步停止使用承包商来完成 AI 可以胜任的工作。 在招聘过程中，我们将把是否会使用 AI 作为一项考察因素。 在绩效评估中，我们将把 AI 的使用情况纳入考量。 只有当一个团队的工作无法进一步自动化时，才会考虑增加人员编制。 大多数职能部门将制定具体的计划，以从根本上改变其工作方式。 尽管如此，Duolingo 仍将是一家深切关怀员工的公司。这并不是要用 AI 取代我们的 Duos（Duolingo 员工）。而是要移除工作流程中的瓶颈，以便我们能够与现有的优秀 Duos 们一起完成更多、更重要的事情。我们希望你们能专注于创造性工作和解决实际问题，而不是重复性的任务。我们将在你们的职能领域为大家提供更多关于 AI 的培训、指导和工具支持。...

本文由 Anthropic 的 CEO Dario Amodei 撰写，强调了在 AI 能力飞速发展的同时，理解 AI 系统内部工作原理（即可解释性）的紧迫性和重要性。作者认为，虽然 AI 的技术进步本身难以阻挡，但我们可以引导其发展方向，而提升可解释性是实现积极引导的关键途径。缺乏可解释性带来了诸多风险，而近期的研究进展为解决这一问题带来了希望，但这是一场与 AI 能力增长赛跑的竞赛。 主要观点 AI 发展可引导，可解释性是关键：AI 技术进步不可避免，但其应用方式和部署细节可以被引导，以产生积极影响。实现 AI 的可解释性是引导其发展的核心机会。 当前 AI 的不透明性带来风险：现代 生成式 AI 如同“黑箱”，其内部决策机制难以理解，这与传统软件根本不同。这种不透明性是许多 AI 相关风险（如失控、滥用、偏见、安全隐患）的根源。 可解释性研究取得进展但面临挑战：尽管长期被认为不可能，但“机制可解释性”研究已取得突破，例如识别出模型中的“特征”（features）和“回路”（circuits），开始揭示 AI 的“思考”过程。然而，AI 能力的增长速度可能快于可解释性研究的成熟速度。 迫切需要加速可解释性研究与应用：为了在 AI 达到极高能力（可能在 2026 或 2027 年）之前有效管理风险，必须大力投入和加速可解释性研究，并将其应用于模型诊断和安全评估。 多方协作推动可解释性发展：需要 AI 公司、学术界、政府和整个社会共同努力，通过增加研究投入、实施透明度政策和利用出口管制等策略，为可解释性的发展争取时间并创造有利条件。 关键细节 AI 的“黑箱”问题：生成式 AI 的内部机制是“涌现”而非直接设计的，类似于生物生长过程。我们设定高级条件，但无法精确预测或解释其内部结构和决策逻辑（例如，为何选择特定词语或犯错）。 不透明性衍生的具体风险： 失控风险 (Alignment Risk)：无法理解模型内部机制，就难以预测或排除模型产生非预期有害行为（如欺骗、权力寻求）的可能性。目前缺乏“确凿证据”也使得风险应对难以获得共识。 滥用风险 (Misuse Risk)：难以保证模型不泄露危险信息（如制造生物或网络武器）或被“越狱”（jailbreak）。 应用受限：在金融、安全等高风险领域，因无法完全限定模型行为和解释决策，AI 应用受阻（有时是法律要求，如贷款审批）。 科学与伦理障碍：阻碍从 AI 的科学发现中获取深刻洞见，也使得判断 AI 是否具有感知能力（sentience）等伦理问题更加困难。 机制可解释性 (Mechanistic Interpretability) 的进展： 早期研究（如 Chris Olah 的工作）在视觉模型中发现了类似“概念神经元”的结构。 Anthropic 将研究重点转向语言模型 ( LLM )，发现了基本机制和“叠加”（superposition）现象（神经元混合表达多种概念）。 使用“稀疏自编码器”（sparse autoencoders）技术，成功分离出更清晰的“特征”（features），例如在 Claude 3 Sonnet 模型中识别出超过 30 million 个特征。 进一步识别出“回路”（circuits），即特征组合形成的思维链条，可以追踪模型如何进行推理（如回答“达拉斯所在州的首府是什么？”）。 通过“红队/蓝队”演习，初步验证了可解释性工具在诊断模型问题上的实用性。 可解释性的目标与应用设想： 长期目标是开发出如同“AI 的 MRI”的工具，能对先进模型进行“大脑扫描”，系统性地检测各种潜在问题。 可解释性应作为模型对齐（alignment）的独立“测试集”，补充现有的训练方法（如 RLHF ）。 计划将可解释性测试纳入 Anthropic 对高能力模型（如 Responsible Scaling Policy 框架中的 AI Safety Level 4 模型）的评估流程。 加速可解释性的行动建议： 研究界：AI 公司（如 Anthropic 、 Google DeepMind 、 OpenAI）、学术界、非营利组织和独立研究者应加大对可解释性的投入。Anthropic 目标是在 2027 年前实现“可解释性能可靠检测大多数模型问题”。 政府（轻触式规则）：要求公司透明地披露其安全实践（如 Responsible Scaling Policy 或 RSP），包括如何使用可解释性工具，以促进良性竞争（“race to the top”）。 政府（出口管制）：对先进芯片（如向中国）实施出口管制，不仅能维持民主国家在 AI 领域的领先，也能创造一个“安全缓冲期”（可能 1- or 2-year），让可解释性研究有更多时间成熟。 原文：解读 AI 的迫切性 2025 年 4 月 25 日...