Posts

本文由 OpenAI 发布于 2024 年 9 月 12 日。 OpenAI o1 系列模型是新一代通过强化学习训练的大型语言模型，专门用于处理复杂的推理任务。o1 模型在回答问题之前会进行思考，能够在回应用户之前生成一系列内部推理链。o1 模型在科学推理方面表现出色，在 Codeforces 编程竞赛中排名前 11%，并在美国数学奥林匹克竞赛 (AIME) 预选赛中跻身美国前 500 名选手，同时在物理、生物和化学问题的基准测试 (GPQA) 中超越了博士生水平的准确性。 API 中目前有两种推理模型： o1-preview：o1 模型的早期预览版，擅长利用广泛的世界知识来解决复杂问题。 o1-mini：o1 的更快且成本更低的版本，尤其适合处理不依赖广泛知识的编程、数学和科学任务。 虽然 o1 模型在推理能力上取得了重大进展，但并不打算在所有应用场景中取代 GPT-4o。 对于需要图像输入、函数调用或快速响应的应用，GPT-4o 和 GPT-4o mini 模型仍然是更合适的选择。不过，如果你正在开发的应用需要深度推理且可以接受较长的响应时间，那么 o1 模型可能是一个理想的选择。我们很期待看到你用这些模型创造出什么！ 🧪 o1 模型目前处于测试阶段 目前，o1 模型正处于测试版阶段，功能有所限制。仅限五级开发者访问（在此处查看你的使用等级），并且速率限制较低（20 RPM）。我们正在努力增加更多功能、提高速率限制，并计划在未来几周内向更多开发者开放！ 快速入门 o1-preview 和 o1-mini 模型可以通过聊天完成端点访问。 from openai import OpenAI client = OpenAI() response = client.chat.completions.create( model="o1-preview", messages=[ { "role": "user", "content": "Write a bash script that takes a matrix represented as a string with format '[1,2],[3,4],[5,6]' and prints the transpose in the same format....

OpenAI 于 2024 年 9 月 12 日推出了 o1 和 o1-mini 模型，显著提升了 AI 推理能力。o1 专注复杂推理任务，表现优异，特别是在数学竞赛中达到顶尖水平；而 o1-mini 则提供高性价比推理，在 STEM 领域表现突出。这一进展标志着 OpenAI 向 AGI 迈出重要一步。除了模型的推出，OpenAI 还发布了2篇报告：Introducing OpenAI o1-preview、OpenAI o1-mini，通读这两篇报告，可以对 o1 和 o1-mini 有更深入的了解，我这里摘要了其中的核心内容。 o1 模型能力 一种通过强化学习训练的大语言模型，能够执行复杂的推理任务。o1 会在回答前先进行思考——它可以在回复用户之前生成较长的内部思维链。 强化学习算法 OpenAI 的大规模强化学习算法通过模型的思维链教会模型如何以高效的数据利用率进行推理。随着强化学习训练时的计算量增加，以及测试时模型思考时间的延长，模型 o1 的性能会持续提升。这种方法在扩展过程中的限制与大语言模型 (LLM) 的预训练有显著不同。 思维链方式 就像人类在回答困难问题前可能需要长时间思考一样，o1 在解决问题时也会使用“思维链” （chain of thought）的方式。通过强化学习，o1 不断优化这种思维链，改进其解决问题的策略。它能够识别并修正自己的错误，将复杂的步骤分解成简单的部分，并在当前方法无效时尝试不同的路径。这个学习过程极大地提升了模型的推理能力。 考试成绩表现 在 2024 年的 AIME（专为挑战美国顶尖高中生设计的数学竞赛）考试中，GPT-4o 平均只解决了 12%（1.8/15）的题目，而 o1 在每题只使用一个样本的情况下，解决了 74%（11.1/15）；使用 64 个样本取共识后，解决率提高到 83%（12.5/15）；通过对 1000 个样本进行评分排序，解决率进一步提升到 93%（13.9/15）。13.9 分的成绩足以让 o1 排名进入全国前 500 名，并超过了美国数学奥林匹克的入选线。...

本文是 Anthropic 官方文档给出的一些 LLM 术语的解释，我这里将其翻译为了中文，并增加了 LLM 中一些常见的术语词。 LLM 大语言模型（LLM, Large Language Model）是一种具有大量参数的 AI 语言模型，能够执行多种复杂且实用的任务。这些模型通过大量文本数据进行训练，能够生成类人文本、回答问题、总结信息等。Claude 是基于大语言模型的对话助手，并通过人类反馈强化学习（RLHF, Reinforcement Learning from Human Feedback）进一步训练，以更有帮助、诚实且无害。 Pretraining 预训练（Pretraining）是语言模型在大规模无标注文本数据集上进行的初始训练过程。以 Claude 为例，自回归语言模型会根据文档中的上下文来预测下一个词。预训练模型本身并不擅长回答问题或遵循指令，通常需要复杂的提示工程来引导出预期的行为。通过微调（Fine-tuning）和人类反馈强化学习（RLHF），这些预训练模型可以进一步优化，从而在广泛任务中变得更加有用。 Fine-tuning 微调（Fine-tuning）是通过额外数据进一步训练预训练模型（Pretraining）的过程。这会使模型开始模仿微调数据集中的模式和特征。微调可以帮助模型适应特定领域、任务或写作风格，但需要仔细考虑微调数据的质量及其对模型性能和潜在偏见的影响。 SFT (Supervised Fine-Tuning) SFT 是一种用于语言模型优化的技术，它通过使用标注好的数据集对模型进行进一步训练。相比预训练过程中的无监督学习，SFT 专注于让模型在特定任务上表现更好。在监督微调中，模型根据人为标注的输入和输出对进行学习，从而提高其在回答问题、完成任务或遵循指令等特定场景中的表现。SFT 经常用于帮助模型理解更复杂的任务要求，使其生成的输出更加符合预期。 LORA（Low-Rank Adaptation） LORA 是一种微调大型预训练语言模型的技术。它通过在模型的某些权重矩阵上引入低秩分解来降低模型更新所需的参数数量。传统的微调需要更新模型的所有参数，而 LORA 只微调一部分参数，这大大减少了微调的计算成本和存储需求，同时保持了模型的性能。LORA 在特定任务或数据集上的微调表现良好，因为它可以灵活地适应新的任务要求，而不需要重新训练整个模型。 QLORA（Quantized Low-Rank Adaptation） QLORA（量化低秩适应）是一种用于大语言模型的微调技术，它通过对模型权重进行低秩分解和量化来减少微调的计算开销，同时保持性能。这种方法能够在保持模型准确性的同时，显著降低内存需求和计算复杂度，因此特别适用于在有限的资源下微调超大规模模型。 QLORA 的主要特点是： 低秩适应（Low-Rank Adaptation, LORA）：通过对模型权重的低秩分解，QLORA 可以仅对少量参数进行微调，这样可以在节省计算资源的同时仍能有效捕捉任务相关的模式。 量化（Quantization）：QLORA 使用 4-bit 或更低精度的量化技术来减少模型的存储和计算要求。量化技术通过缩减模型中存储和处理的参数位数，能够降低硬件负载，而不显著影响模型的性能。 高效微调：QLORA 可以在不完全重训练模型的情况下进行微调，尤其适用于资源受限的场景，例如边缘设备或中小型研究团队。 QLORA 技术的出现使得对大型预训练模型进行特定任务的微调变得更加可行。 RLHF（Reinforcement Learning from Human Feedback） 来自人类反馈的强化学习（RLHF, Reinforcement Learning from Human Feedback）是一种用于训练预训练语言模型的技术，使其行为更加符合人类的偏好。这种训练方式可以帮助模型更有效地执行指令，或表现得更像聊天机器人。人类反馈的过程包括对多个文本样本进行排序，强化学习会鼓励模型倾向于生成与高排名样本相似的输出。Claude 已通过 RLHF 进行训练，使其成为一个更加有用的助手。更多详情可以参考 Anthropic 的论文: Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback。...

本文探讨了当前互联网消费领域的创新机会，并指出我们正进入一个类似于 1994-1998、2003-2007 和 2008-2012 的新时期。在这个新时期，技术的进步将推动新一代消费级应用的诞生。文章提出了几个可能的创新方向，包括“合成专家”、“消费化的创造力”、“新浏览器”和“AI 伴侣”，并分析了这些方向的潜力和挑战。 历史背景： 互联网消费公司往往在技术突破后迅速崛起。例如，1990年代初的网络浏览器诞生后，Yahoo、Amazon、Google 等公司相继成立；高速度互联网普及后，LinkedIn、Facebook、YouTube 等平台出现；iOS 应用商店和 Facebook 平台开放后，Airbnb、Uber、Instagram 等应用迅速发展。 2010年代对消费互联网公司不太友好，部分原因是缺乏技术上的重大突破（加密货币可能是个例外）。 当前的技术机会： 合成专家：AI 技术的发展将使得某些服务变得非常便宜，并可能催生出“合成专家”类产品。这些产品可能以导师、教练或治疗师的形式出现，帮助用户学习新技能或支持情感需求。 消费化的创造力：AI 降低了创作门槛，使得更多创意领域变得对普通消费者友好。例如，Midjourney（图像）、Suno 和 Udio（音乐）、Runway（视频）等公司已经取得了突破。未来，软件开发、时尚设计、游戏开发等领域也可能会变得更加消费化。 新浏览器：浏览器可能成为用户与 AI 助手交互的主要应用，因为它是用户花费最多时间的地方。AI 提供商可能会与现有浏览器合作或收购它们，以获得用户的注意力。文章特别提到 Arc 浏览器可能成为 OpenAI 或 Anthropic 的收购目标。 AI 伴侣：AI 伴侣能够深入了解用户，提供个性化的建议和情感支持，甚至帮助用户更好地理解自己。尽管这种技术可能带来便利，但也可能让人们减少对人际关系的依赖。 总的来说，作者认为这些新兴的技术方向将带来新的消费互联网机会，但同时也提醒我们要谨慎对待这些技术对人类关系的潜在影响。 1994年的重现 2024年8月25日 随着技术的突破，最大的消费级互联网公司纷纷成立。 网络浏览器的诞生（Nexus 于1991年推出，Mosaic 于1993年，Netscape 于1994年）： Yahoo（1994年），Amazon（1994年），Ebay（1995年），Craigslist（1995年），Expedia（1996年），Paypal（1998年），Google（1998年）。 高速互联网的普及： LinkedIn（2003年），FB（2004年），YouTube（2005年），Reddit（2005年），Twitter（2006年），Spotify（2006年），Dropbox（2007年）。 Facebook 平台（2007年）+ iOS 应用商店（2008年）： Airbnb（2008年），Pinterest（2009年），Whatsapp（2009年），Venmo（2009年），Uber（2010年），Instagram（2010年），Snapchat（2011年），Tinder（2012年）。 2010年代对消费级互联网公司来说相当艰难。虽然有很多因素影响了消费者市场（例如，Facebook 撤销了 API，开始掠夺合作伙伴，并证明它可以成功击退、复制或收购潜在威胁……），但最简单的解释是，2010年代缺乏像之前那样推动消费市场发展的技术突破（加密货币可能是个例外）。 显而易见，我们已经进入了一个新的消费者机会期——类似于1994-1998年、2003-2007年和2008-2012年。 我们可以在哪些领域期待出现新的突破性消费应用呢？这里有几个想法： 合成专家 自动化的好处是服务变得极其便宜，但负面影响是，那些原本因为这些服务昂贵而依赖劳动的人会面临什么命运。 先从好的一面说起。在未来不远的某个时刻，我预计我们会看到类似“合成专家”的产品。 这些专家可能像导师一样，帮助我们学习新技能，比如烹饪、语言学习、高中物理、编程、象棋。它们也可能像教练或培训师，甚至是帮助我们满足情感需求的治疗师…… 创造力的普及 过去几年里，我们看到一些在不同创意表达领域取得突破的公司：Midjourney（图像），Suno 和 Udio（音乐），Runway（视频）。 我猜测有些创意领域，虽然目前还不太适合大众使用，但随着 AI 降低了进入门槛，最终会变得更加亲民。 比如软件开发——通过像 val.town、Claude 或 websim 这样的工具——可能会成为一个突破点。时尚设计、家具设计、游戏开发、硬件设计等领域也可能如此。我从未设计过自己的家具或开发过视频游戏，但我敢打赌，将来某一天我会尝试。...

在选择合适的模型时，需要在准确性、延迟和成本之间找到平衡。首先应优先优化准确性，达到目标后再优化成本和延迟。本文提供了一个实用指南，帮助用户在不同模型之间做出明智的选择，并通过一个假新闻分类器的示例展示了如何应用这些原则。 准确性优先 设定明确的准确性目标，例如在客户服务场景中，90%的电话需要在首次交互中正确分类。 开发评估数据集，以衡量模型在这些目标下的表现。 使用最强大的模型（如 GPT-4o）来优化准确性，记录所有响应以便后续使用更小的模型进行蒸馏。 成本和延迟优化 一旦达到准确性目标，可以通过以下方法优化成本和延迟： 使用更小的模型（如 GPT-4o-mini）进行零样本或少样本测试，确保在较低成本和延迟下维持准确性。 使用蒸馏技术对更小的模型进行微调。 实际示例 通过开发一个假新闻分类器，设定目标为90%的准确性、每千篇文章成本低于 $5、每篇文章处理时间少于2秒。 通过三次实验，最终使用微调的 GPT-4o-mini 达到了所有目标，成本仅为初始模型的2%。 结论 通过从 GPT-4o 切换到微调后的 GPT-4o-mini，性能相当但成本大幅降低。这一过程强调了先使用强大的模型达到准确性目标，然后再通过微调更小的模型来优化成本和延迟的策略。 如何选择合适的模型 选择合适的模型，无论是 GPT-4o 还是较小的 GPT-4o-mini，都需要在 准确性、延迟 和 成本 之间进行权衡。本指南为您提供关键原则，并通过一个实际例子帮助您做出明智的决策。 核心原则 选择模型的原则很简单： 首先优化准确性： 优化准确性，直到达到目标准确率。 其次优化成本和延迟： 在维持准确率的前提下，选择最便宜且最快的模型。 1. 首先关注准确性 首先为您的用例设定一个明确的准确性目标，确定达到“足够好”的准确率即可投入生产。可以通过以下方式实现： 设定明确的准确性目标： 明确您的目标准确率统计指标。 例如，90% 的客户服务电话需要在首次互动时得到正确分类。 开发评估数据集： 创建数据集，用以衡量模型的实际表现。 继续以上的例子，收集 100 个交互实例，记录用户的请求、LLM 的分类结果、正确的分类结果，以及分类是否正确。 使用最强大的模型进行优化： 从最强的模型入手，以确保达到目标准确率。记录所有响应，供后续更小的模型蒸馏使用。 使用检索增强生成 (retrieval-augmented generation) 来提高准确性。 使用微调 (fine-tuning) 来优化模型的一致性和行为。 在这个过程中，收集提示与生成对 (prompt and completion pairs)，用于评估、少样本学习或微调。这一过程被称为 提示优化 (prompt baking)，有助于未来生成高质量的示例。 想了解更多方法和工具，请查看我们的 准确性优化指南。 设定一个现实的准确性目标 通过评估模型决策的财务影响来设定一个合理的准确性目标。例如，在假新闻分类的场景中：...

本文讨论了创业者在公司扩展过程中面临的管理挑战，特别是与传统管理模式的冲突。作者通过引用 Airbnb 创始人 Brian Chesky 的经验，指出传统的“经理模式”在初创公司扩展时往往无效，甚至有害。相反，作者提出了“创始人模式”的概念，认为创始人应该继续以更直接、更深入的方式参与公司运营，即使公司规模扩大。虽然目前对“创始人模式”的理解还不成熟，但已有成功的案例证明其有效性。 传统管理模式的缺陷： 传统观点认为，随着公司规模扩大，创始人应逐渐退居幕后，依赖高管团队来管理公司。这种模式通常被总结为“雇佣优秀的人并给他们足够的空间工作”。 然而，许多创始人，包括 Brian Chesky，发现这种模式在实际操作中效果不佳，导致公司业绩下滑。 创始人模式的提出： 作者提出，创始人应保持对公司运营的深入参与，而不仅仅依赖高管团队。这种模式被称为“创始人模式”。 这种模式类似于 Steve Jobs 在苹果公司采用的方式，例如他每年都会与公司中最重要的 100 人举行一次特别的会议，而这些人并不一定是公司中职位最高的。 创始人模式的潜在挑战： 虽然创始人模式可能更有效，但它也更复杂，涉及到更多的直接参与和决策。这种模式可能会因人而异，甚至在同一家公司内，不同时期的实施方式也会有所不同。 文章还警告说，创始人模式可能会被误用。例如，一些创始人可能会借此为不愿意合理授权辩护，或者非创始人管理者可能会错误地尝试模仿创始人的行为。 未来展望： 作者希望未来能更好地理解和定义创始人模式，从而帮助更多的初创公司在扩展过程中保持成功。同时，他也意识到随着创始人模式的普及，可能会出现新的问题和挑战。 创始人模式 2024年9月 上周在 YC 的一场活动中，Brian Chesky 做了一场让所有在场者都记忆深刻的演讲。我事后与大多数创始人交流时，他们都表示这是他们听过的最好的演讲。Ron Conway 生平第一次忘记了做笔记。我并不打算在这里试图重现它，而是想谈谈它引发的一个问题。 Brian 的演讲主题是，关于如何经营大公司的传统智慧其实是错误的。随着 Airbnb 的扩展，一些出于好意的人建议他必须以某种方式管理公司以便扩张。这些建议可以乐观地总结为“雇佣优秀的人并给他们足够的空间去完成工作”。他照做了，但结果却十分糟糕。于是他不得不自己摸索更好的方法，其中部分灵感来自于研究 Steve Jobs 如何经营 Apple。目前来看，这些方法似乎确实有效。Airbnb 现在的自由现金流利润率已经位居硅谷前列。 在这场活动中，许多我们曾资助过的最成功的创始人都表示，他们也经历了类似的情况。他们同样被告知要用这种方式管理公司，但最终却对公司产生了负面影响。 为什么大家都在对这些创始人传达错误的建议？这对我来说是个谜。在反复思考后，我找到了答案：他们所收到的建议，其实是针对如何管理一个自己没有创立的公司——如何在你只是一个职业经理人时管理公司。但这种方法效果远逊于创始人自己的管理方式，对创始人来说，这种模式显得无效和不自然。因为创始人能够做到一些经理人无法做到的事情，而不去做这些事对创始人来说确实是错误的。 实际上，经营公司的方式有两种：创始人模式和经理人模式。到目前为止，即使在硅谷，大多数人也默认为初创公司扩展时必须转向经理人模式。但我们可以从那些尝试了经理人模式的创始人的失望中，以及他们努力摆脱这种模式的成功中，推断出另一种模式的存在。 据我所知，目前还没有专门讨论创始人模式的书籍。商学院甚至对它一无所知。到目前为止，我们只能依赖那些个别创始人通过自身实践所摸索出来的经验。然而，现在我们知道我们在寻找什么，我们可以更有针对性地去探寻。我希望在未来几年里，创始人模式能够像经理人模式一样被广泛理解。我们已经可以猜测出它在某些方面会有所不同。 经理人被教导的管理公司方法，似乎类似于模块化设计：你将组织结构中的各个部门视为一个个黑箱。你告诉直接下属该做什么，他们则负责具体执行。但你不会深入干预他们的工作细节。那样会变成微观管理，这是被认为不好的行为。 雇佣优秀的人并给他们足够的空间去完成工作。用这种方式描述听起来很有吸引力，不是吗？然而，实际上，许多创始人都发现，这往往意味着：雇佣一些看似专业的骗子，然后让他们把公司推向深渊。 我在 Brian 的演讲中，以及与其他创始人的对话中，注意到了一个共同的主题——被“误导”的感觉。创始人们感觉自己被两方面误导了：一方面是那些告诉他们必须像经理人一样管理公司的人，另一方面是当他们这样做时，公司内部的人对他们的反馈。通常情况下，当你周围的人都不同意你的意见时，你的默认假设应该是自己错了。但在这里，这是一个罕见的例外。没有自己做过创始人的风险投资人并不清楚创始人应该如何管理公司，而 C 级高管们则通常是极为擅长“向上管理”的高手。 无论创始人模式的具体内容是什么，很明显它将打破 CEO 只能通过直接下属与公司接触的传统原则。“跳级”会议将成为常态，而不再是一个如此不寻常以至于需要特别命名的做法。而一旦你放弃了这一限制，你就有无数的选择可以尝试。 例如，Steve Jobs 曾经每年为他认为是 Apple 最重要的100人举办一次休闲会，而这些人并不一定是组织结构图中职位最高的。你能想象在普通公司中做到这一点需要多大的决心吗？然而，试想一下这种做法可能带来的好处。它能够让一个大公司重新拥有初创公司的氛围。如果这些休闲会没有效果，Steve 应该不会年复一年地继续举办这些活动。但我从未听说有其他公司这么做。那么这是一个好主意还是一个坏主意？我们仍然不知道。这说明我们对创始人模式了解得有多么有限。 显然，创始人不可能继续用他们在公司只有20人时的方式来管理2000人的公司。某种程度的授权是必然的。自主权的边界在哪里，以及这些边界的明确程度，可能会因公司而异。甚至在同一家公司内部，随着管理者逐渐赢得信任，这些边界也会有所变化。因此，创始人模式将比经理人模式更为复杂，但它的效果也会更好。从个别创始人摸索前行的例子中，我们已经看到了这一点。 实际上，我关于创始人模式的另一个预测是，一旦我们弄清楚它的本质，我们会发现许多创始人其实早已在无意识中接近了这一模式——尽管他们的做法可能被许多人视为古怪，甚至更糟。 奇妙的是，想到我们对创始人模式的了解还如此之少，这本身就是一种鼓舞人心的念头。看看创始人们已经取得的成就，而他们是在面对不当建议的逆风中取得这些成就的。想象一下，如果我们能够告诉他们如何像 Steve Jobs 那样经营公司，而不是像 John Sculley 那样，他们又能取得怎样的成就呢？...

本文是 Django 的共同创建者，同时担任工程主管的 Jacob Kaplan-Moss 所写。软件项目的估算是一个众所周知的难题，许多项目经常出现成本超支和进度延误的情况。然而，尽管估算困难，作者强调了估算的重要性，并认为放弃估算可能会限制职业发展。准确的估算是可以学习和掌握的技能，它能够帮助建立信任并促进职业的进一步发展。Jacob Kaplan-Moss 分享了一种软件项目时间估算的技术。他的方法的核心特点是同时捕捉时间和不确定性，以便为项目制定更准确的时间表。他的技术包括将工作分解为较小的任务、估算不确定性、计算预期和最坏情况的时间、必要时进行精细化，以及跟踪估算的准确性以便不断改进。 估算的挑战： 软件项目估算普遍困难，研究表明许多 IT 项目成本超支超过 200%，并且平均延误近 70%。 大型软件项目尤其容易超支，预算超过 1500 万美元的项目平均超支 66%，进度延误 33%。 “无估算”方法的局限性： 尽管有“无估算”方法和 Agile 方法试图避免时间单位的估算，但在某些情况下，准确的时间估算是不可避免的。例如，销售团队可能需要一个具体的时间表来完成交易，或者其他团队可能依赖于特定功能的交付时间。 估算的重要性： 估算是职业发展的关键技能，能够准确地给出时间表并按时交付任务有助于建立信任。对于希望在技术职业中更进一步的人来说，掌握估算技能至关重要。 估算是可以学习的技能： 估算是一项可以通过实践和反复校准来学习的技能。通过反复的项目分解和时间估算，工程师可以逐渐提高估算的准确性，并了解团队的工作节奏和代码库的复杂性。 我的估算技术： 任务分解：Kaplan-Moss 建议将工作分解为不同复杂度的小任务，并使用实际的日历时间（而非理想化的“程序员时间”）来估算每个任务的完成时间。任务复杂度分为小（1天）、中（3天）、大（5天）和超大（10天）四种。 估算不确定性：在初步估算的基础上，他建议通过应用一个“如果事情出错”的乘数来捕捉不确定性。这个乘数根据不确定性水平（低、中、高、极高）从 1.1 到 5.0 不等。这样可以得到预期时间和最坏情况的时间。 计算时间：通过任务复杂度和不确定性乘数，计算出每个任务的预期时间和最坏情况时间。例如，一个中等复杂度且高不确定性的任务预期需要 3 天，但最坏情况下可能需要 6 天。 精细化估算：如果估算范围过大，他建议通过进一步分解大任务或减少不确定性来精细化估算。可以通过研究、短期试验（spikes）或直接动手完成部分任务来减少不确定性。 跟踪准确性：最后，他强调在项目进行过程中跟踪实际用时，并与估算时间进行比较。这种反馈循环有助于不断改进未来的估算精度。 其他估算技术：Kaplan-Moss 还提到了其他几种估算技术，如 PERT（程序评估与审查技术）、基于证据的调度（Evidence-based scheduling）和水果沙拉 Scrum（Fruit-salad scrum），并指出这些技术也捕捉了时间和不确定性，但采用了不同的方法。 软件项目估算 众所周知，估算软件项目的难度非常大。哈佛商业评论 (HBR) 的一项研究发现，每六个 IT 项目中就有一个成本超支超过 200%，且延迟几乎 70%。麦肯锡 (McKinsey) 的另一项研究发现，IT 项目的平均预算超支 45%，时间超出计划 7%。研究还指出，大型软件项目的问题尤为严重：预算超过 1500 万美元的软件项目，平均预算超支 66%，时间延迟 33%。 实际上，任何在软件行业工作过一段时间的人都经历过类似的情形。你可能曾自信地说“这应该只需要几天时间”，但一个月后却发现自己仍未完成。软件项目估算总是难免遇到霍夫施塔特定律 (Hofstadter’s Law)：“事情总是比你预期的时间更长，即使你考虑了霍夫施塔特定律。” 遗憾的是，许多人看到这种模式后，觉得估算软件项目太困难，干脆选择放弃。有一种被称为“无估算” (No Estimates) 的立场认为我们应该完全停止对软件项目进行时间估算。很多敏捷方法采用了任意的评分系统——如故事点 (Story Points)、T 恤尺码等——这些系统的设计目的就是为了避免给出具体的时间估算。...

BosonAI 联合创始人、亚马逊前首席科学家，人工智能框架 MXNet 的作者之一：李沐，今年8月份在母校上海交大做了一场演讲，主要分享了他对大语言模型（LLM）的技术现状、未来趋势的预测以及个人职业生涯的感悟。因为他的创业方向是为客户做定制的LLM，他应该是我们熟知的大牛中离LLM最近的人之一，包括数据准备/清晰、预训练、后训练、LLM部署、机房建设、提供 serving、GPU/带宽/电力瓶颈等等。所以，他的演讲会给出很多有关LLM的一线认知，这里我摘出了其中他提到的一些核心认知。 核心认知 语言模型可以分为三块：算力、数据和算法。所以语言模型也好，整个机器学习模型也好，本质上就是把数据通过算力和算法压进中间那个模型里面，使得模型有一定的能力，在面对一个新的数据时，它能够在原数据里面找到相似的东西，然后做一定的修改，输出你要的东西。 这一次（浪潮里）的语言模型和上一次深度学习（浪潮里）的模型有一个比较大的区别 —— 上一次是，我炼一个什么丹就治一个什么病，这次我希望这个东西炼出来会有灵魂在里面，它能解决你很多问题，这其实是技术一代代往前进。 硬件 带宽：让芯片靠得更近一些 因为就现在的模型训练而言，很难让一个机器搞定所有事情，所以要做分布式训练，通常瓶颈就在带宽上。 我们现在的带宽是一根光纤承载 400Gigabits，下一代就是 double，变成 800Gigabits。 英伟达的 GB200 这个卡就可以把 GPU 都放一起，那么它们之间的通讯会变得更好一些。你可以理解成：之前我们做多核，把单核封装到一个芯片里面，现在是说多核不够，我要做多卡，多卡以前是分布在一个房间里面，现在是多卡也要尽量放在一起，这是一个趋势。就是一块芯片那么大，早就做不上去了，这是台积电等面临的工艺难题，现在是尽量把这些东西弄得近一些。 还有一个通讯是 GPU 和 CPU 之间的 PCIe，它每几年也在翻倍，但是确实会慢一些。 内存：制约模型尺寸的一大瓶颈 现在的语言模型，核心是把整个世界的数据压进模型里面，那模型就被搞得很大，几百 GB 的样子。在运行的时候，它的中间变量也很大，所以它就需要很多的内存。现在我们可以做到一个芯片里面封装近 192 GB 的内存。下一代带宽会更高一点。 很有可能在未来几年之内，一个芯片就 200GB 内存，可能就走不动了。这个要看工艺有没有突破。 内存大小会是模型上限的一个制约，而不是算力。内存不够，模型就做不大。在这一块，虽然英伟达是领先者，但其实英伟达是不如 AMD 的，甚至不如 Google 的 TPU。 算力：长期来看会越来越便宜 机器学习好的一点是，你可以用 4 位浮点数，硬件会变小，它对带宽的利用率也会变低，因为每次计算它只有那么多浮点数在里面。所以我们最近几代优化都来自浮点数的精度的降低。这是它给硬件带来的好处。 当你把模型做得更大的时候，你会发现资源是问题，就是供电。 最大的一个芯片要耗一千瓦，一千块芯片就是一兆瓦，整个校园都未必能用上一兆瓦的电。 关于算力价格。从理论上来说，在公平的市场里面，每次算力翻倍，价格会保持不变。但因为英伟达垄断的原因，短期内算力翻倍，价格可能会有1.4倍的提升。长期来看算力会变得越来越便宜。 算力这块，你可以用别的芯片，但是这些芯片用来做推理还 OK，做训练的话还要等几年的样子，英伟达还是处在一个垄断的地位。 今天训练一个模型，一年之后它的价值会减半。很多时候，大家不要去想我现在能搞多大的模型，一年之后，这个模型会贬值。我想说，大模型不是特别有性价比的东西。你要想清楚，从长期来看，你的模型能带来什么价值，让你能够保值。 模型 我觉得语言模型已经达到了较高的水平，大约在 80 到 85 分之间。 音频模型在可接受的水平，处于能用阶段，大约在 70-80 分之间。 但在视频生成方面，尤其是生成具有特定功能的视频尚显不足，整体水平大约在 50 分左右。 语言模型：100B 到 500B 参数会是主流 每次预训练，无论是 OpenAI 还是别的模型，基本都是用 10T 到 50T token 做预训练。开源的话基本也在 10T token 以上。这个数据量我觉得差不多了，不会再往一个更大的尺寸去发展。原因是，人类历史上的数据比这个多是多，但是看多样性、质量的话，我觉得 10T 到 50T 这个规模就差不多了。 我觉得比较好的一线的模型就是 500B，超过 500B 不是训练不动，而是做 serving 很难。在谷歌历史上，他们就没有让 500B 以上的模型上过线。OpenAI 没有对外说，但我觉得 OpenAI 历史上没有上线过有效大小超过 500B 的模型。当然 MoE 不算，我是说换算成稠密模型的话 语音模型：延迟更低、信息更丰富 GPT-4o 出来之后，大家对于语音模型产生了浓厚的兴趣。端到端的方案有两个优点: 1....

本文探讨了程序员 Jeff 和 Sanjay 之间深厚的友谊及其对 Google 成功的推动作用。他们的紧密合作不仅体现在工作中，还在生活中展现了创意与效率的结合。两人的协作方式、互补的思维方式以及在编程中的默契，使他们成为了 Google 发展过程中不可或缺的搭档。 友谊与合作：Jeff 和 Sanjay 在 Google 之前就建立了深厚的友谊，他们常常一起度假，Jeff 的女儿们称 Sanjay 为“叔叔”。这种紧密的私人关系促进了他们在工作中的合作。 编程风格的互补：Jeff 更加外向和探索性，能迅速提出新想法，而 Sanjay 则专注于系统设计，编写出结构优美的代码。他们的合作使得编程过程更加高效，减少了创意瓶颈的发生。 重要项目：两人共同开发的 MapReduce 软件为 Google 带来了巨大的性能提升，使得程序员能够更高效地处理数据。该技术后来成为 Hadoop 的基础，广泛应用于大数据处理。 AI 的发展：Jeff 在 Google Brain 项目中的参与，使得神经网络技术得以迅速发展，最终取代了传统的搜索算法，标志着 Google 在 AI 领域的转折。 角色变化：随着时间的推移，Jeff 和 Sanjay 的角色逐渐分化。Jeff 负责更大的项目和团队管理，而 Sanjay 则专注于独立开发，继续为 Google 的技术决策提供支持。 持续的友谊：尽管工作节奏有所变化，两人仍保持联系，定期共进晚餐，回忆起早年的合作时光，展现了他们之间持久的友谊与默契。 谷歌崛起背后的友谊 “我们在 Google 之前就已经这么做了。” Jeff 说道。 “但我也不清楚为什么我们觉得坐在一台电脑前比两台更好。” Sanjay 说道。 “我常常从离两条街远的 D.E.C. 研究室走到他的 D.E.C. 研究室，” Jeff 说道。“中间还经过一家意式冰淇淋店。” “所以是因为那家冰淇淋店！” Sanjay 笑着说。 单身的 Sanjay 经常与 Jeff 及其妻子 Heidi 和两个女儿一同度假。Jeff 的女儿们称他为 Sanjay 叔叔，五个人通常在周五晚上一起吃饭。Sanjay 和 Jeff 的大女儿 Victoria 开始一起烘焙。“我看着他的女儿们一点点长大，” Sanjay 自豪地说。2004 年 Google 上市后，他们搬到了相距四英里的新居。Sanjay 住在旧山景城的一栋普通的三居室，而 Jeff 则亲自设计了他位于帕洛阿尔托市区附近的房子，还在地下室装了蹦床。在设计这栋房子时，他意识到虽然他喜欢规划空间设计，但没有耐心去处理那些他称之为“适合 Sanjay 的建筑细节”：如梁柱、螺栓和承重结构，这些都是支撑整体设计的基础部分。...

本文介绍了如何高效地对 Llama 3.1 模型进行监督微调，特别是使用 Unsloth 库进行 8B 模型的微调。文章强调，Llama 3.1 的发布缩小了闭源和开源模型之间的性能差距，微调该模型可以实现更好的性能和定制化，且成本更低。作者提供了监督微调的全面概述，比较了与提示工程的不同，并详细介绍了主要技术及其优缺点。 监督微调（SFT）概述： SFT 是一种改善和定制预训练 LLM 的方法，通过在较小的数据集上重新训练基础模型，使其能够更好地执行指令和回答问题。 SFT 可以提高模型的整体性能，增加新知识，或适应特定任务和领域。 SFT 技术： 全微调：对预训练模型的所有参数进行重新训练，效果最佳但需要大量计算资源。 LoRA（低秩适应）：只训练小的适配器，减少内存使用和训练时间，非破坏性。 QLoRA：LoRA 的扩展，提供更高的内存节省，适合 GPU 内存受限的情况，但训练时间更长。 微调 Llama 3.1 8B 的过程： 使用 Unsloth 库进行高效微调，支持单 GPU 设置，提供更快的训练速度和更低的内存使用。 训练使用了 mlabonne/FineTome-100k 数据集，经过处理后应用 ChatML 模板。 训练参数和过程： 训练使用 A100 GPU，耗时约 4 小时 45 分钟，建议在资源有限的情况下加载数据集的子集以加快训练。 主要超参数包括学习率、批量大小、训练轮数等，使用 AdamW 8-bit 优化器。 模型评估与保存： 训练完成后，通过简单的提示测试模型性能，并使用 Unsloth 提供的保存方法将训练好的模型上传到 Hugging Face Hub。 文章还提到量化模型的不同格式以便于在推理引擎中使用。 后续步骤建议： 评估模型性能，进行偏好对齐，量化以提高推理速度，或在 Hugging Face Space 部署模型。 使用 Unsloth 超高效微调 Llama 3....

Cursor 是什么 Cursor 是名为 Anysphere 的初创公司开发的基于 AI 驱动的代码编辑器。Anysphere 是在 2022 年由 Michael Truell、Sualeh Asif、Arvid Lunnemark 和 Aman Sanger 在麻省理工学院就读期间共同创立。该公司的愿景是致力于构建极其高效的人类人工智能系统。首先要打造的是未来工程师：一位人类人工智能程序员，其效率比任何一位工程师都要高一个数量级。 2023 年 9 月该公司筹集了由 OpenAI Startup Fund 领投的 1100 万美元种子轮融资，前 GitHub 首席执行官 Nat Friedman、Dropbox 联合创始人 Arash Ferdowsi 和其他天使投资者参与了投资。其中，OpenAI 投资 800 万美元，占该轮融资的 72.7%。 据消息称 2024 年 8 月该公司又获得了重要的 6000 万美元的 A 轮融资，估值达到 4 亿美元主要投资者包括 Andreessen Horowitz、Thrive Capital 和 Stripe 的 CEO Patrick Collison。 作为 GitHub Copilot 的新兴竞争对手，Cursor 在去年推出后受到大量开发者的追捧与喜爱，最近一段时间 Cursor 在国内外开发圈子里又再度大火，X 上不少人表示已经把 GitHub Copilot 付费停了，转投 Cursor。出于好奇，我也体验了一下，这里记录一下 Cursor 的使用的心得和体验。...

本文由 Rich Sutton 撰写，强调了在人工智能（AI）研究中，利用计算能力的通用方法是最有效的。这一结论主要归因于摩尔定律，即计算成本的持续下降。尽管研究者们倾向于依赖人类知识来提高短期性能，但长期来看，依赖计算能力的提升才是关键。文章通过计算机国际象棋、围棋、语音识别和计算机视觉等领域的案例，说明了过度依赖人类知识的方法最终会限制进步，而真正的突破往往源于对计算能力的有效利用。 计算机国际象棋： 1997 年，计算机通过深度搜索击败了国际象棋世界冠军卡斯帕罗夫。尽管研究者们希望基于人类理解的复杂方法能获胜，但简单的搜索方法最终显示出更大的有效性。 计算机围棋： 类似的情况在围棋中也出现。研究者们最初投入大量精力试图避免搜索，依赖人类知识，但最终通过大规模搜索和自我对弈学习取得了成功。 语音识别： 1970年代，DARPA 赞助的语音识别比赛中，基于人类知识的特殊方法未能胜出，统计方法（如隐马尔可夫模型）获得了成功。深度学习的兴起进一步表明，依赖计算和学习的统计方法在语音识别中占据主导地位。 计算机视觉： 早期的视觉识别方法侧重于寻找边缘和特征，而现代深度学习神经网络则采用卷积等更为通用的方法，表现出更好的效果。 总结教训： AI 研究者常常试图将人类知识嵌入到系统中，短期内有效但长期会导致停滞。真正的进步来自于通过搜索和学习来扩展计算能力。 研究者应认识到，思维内容的复杂性无法简单化，应该构建能够捕捉复杂性的元方法，而不是试图将已有发现直接嵌入AI系统中。 痛苦的教训 Rich Sutton 2019年3月13日 从70年的AI研究中，我们学到的最重要的一课是：利用计算资源的通用方法最终是最有效的，且远胜其他方法。其背后的根源在于摩尔定律的延伸，即计算成本的持续指数级下降。大多数AI研究都是在假设智能体的计算能力固定的前提下进行的（在这种情况下，借助人类知识是提升性能的主要途径），但在稍长于常规研究周期的时间内，计算能力必然会大幅增长。研究人员为了在短期内见效，往往选择依赖领域专家的知识，然而从长远来看，唯一重要的还是如何最大化利用计算资源。这两种方法理论上并不冲突，但实际中常常是对立的。花在一种方法上的时间会挤占另一种方法的研究，而研究者对某种方法的投入往往带有心理上的偏好。基于人类知识的方法通常会使系统变得更复杂，从而削弱了其利用计算资源的能力。AI研究领域中，研究者往往是经历了多次失败后，才领悟到这一“痛苦的教训”，这里回顾一些经典的案例很有启发意义。 在计算机象棋领域，1997年击败世界冠军卡斯帕罗夫的方法主要依赖于大规模深度搜索。当时，大多数象棋AI研究者对这种方式感到不满，因为他们一直专注于基于人类对象棋结构理解的方法。当一种简单的搜索策略结合专用硬件和软件，证明其效果远胜于人类知识驱动的方法时，这些研究者无法接受。他们声称“蛮力”搜索可能赢了这一局，但这并不是一个通用策略，也不符合人类下棋的方式。这些研究者希望基于人类知识的方法取胜，结果却让他们失望。 类似的研究进展也出现在计算机围棋领域，只是时间上晚了20年。起初，大量研究尝试通过利用人类知识或围棋的特殊规则来避免搜索，但随着大规模搜索的有效应用，这些努力都变得无关紧要，甚至产生了负面影响。另一个重要的因素是通过自我对弈学习价值函数（这一点在其他许多游戏中也适用，甚至在1997年击败世界冠军的象棋程序中，只是学习并未起主要作用）。自我对弈学习和一般意义上的学习，像搜索一样，能够充分发挥计算资源的威力。搜索和学习是AI研究中利用大规模计算资源的两大关键技术。在计算机围棋领域，与象棋类似，研究者们最初将精力放在如何通过人类理解来减少搜索需求，但最终接受搜索和学习后才取得了更大的成功。 在语音识别领域，20世纪70年代有一场由DARPA赞助的竞赛。参赛者中包括了许多基于人类知识的特殊方法，如对单词、音素和人类声道的理解。而另一派则是基于隐马尔可夫模型（HMM）的新方法，这些方法更依赖统计计算。最终，统计方法胜过了基于人类知识的方法。这场胜利引发了整个自然语言处理领域的变革，统计学和计算逐渐占据主导地位。深度学习在语音识别中的崛起是这一趋势的最新发展。深度学习方法更少依赖人类知识，更多依赖大规模计算和海量数据训练，极大提升了语音识别的效果。与游戏领域类似，研究者们总是试图让系统模仿他们的思维方式，将人类知识嵌入系统中，但事实证明，当摩尔定律带来的计算能力大量涌现，且有了更好的利用方式后，这种做法是无效的，甚至浪费了大量研究者的时间和精力。 在计算机视觉领域，也有类似的模式。早期方法将视觉理解为寻找边缘、通用圆柱体或基于SIFT特征。然而如今，这些方法已经被淘汰。现代深度神经网络仅依赖卷积和某些不变性概念，且效果远超前人。 这是一个重要的教训。作为一个领域，我们还没有完全吸取这课，因为我们仍在重复类似的错误。要认识到并有效避免这些错误，我们需要理解这些错误背后的吸引力。我们必须吸取这个“痛苦的教训”：试图模拟我们自认为的思维方式，从长远来看是行不通的。这一教训基于几个历史事实：1）AI研究者往往试图将知识直接嵌入智能体中，2）这种方法在短期内总是有效且令人满意，3）但从长远来看，这种方法会停滞甚至阻碍进一步进展，4）突破性进展最终通过相反的方法实现，即通过搜索和学习扩展计算能力。这种成功往往伴随着苦涩，因为它取代了人们更偏好的以人为中心的路径。 从这个“痛苦的教训”中应当汲取的一点是，通用方法的巨大潜力，这些方法可以随着计算能力的增加而不断扩展。搜索和学习是两种在这方面表现出无限扩展性的技术。 另一个从“痛苦的教训”中得出的普遍原则是，心智的实际内容极其复杂且难以简化；我们应该停止试图用简单的方法去理解心智内容，如空间、物体、多智能体或对称性的简单模型。这些都是外部世界中任意且本质上复杂的一部分，不应被直接嵌入系统中，因为它们的复杂性是无穷无尽的；相反，我们应该只嵌入能够发现和捕捉这种任意复杂性的元方法。这些方法的核心在于它们能够找到良好的近似解，但这个寻找过程应该由我们的元方法完成，而非我们手动设计。我们需要的是像我们一样能发现新知识的AI智能体，而不是简单地包含我们已有知识的系统。嵌入已有的发现只会使我们更难理解发现过程的本质。

本访谈发生于 2024 年 4 月 9 日，在 2024 年8 月 13 日在 Youtube 上放出录播视频，但因为其中提到的 Google AI 落后的大实话而引起网络热议，视频没过两天就被下架了，我上传了一份在 X 上，感兴趣大家可以看原视频。这里也有一个我用 AI 制作的带中文字幕版，也可以测合着看 。 施密特讲他每六个月都会调整一次对 AI 的看法，他举了一个例子：“六个月前，我还确信前沿 AI 模型与其他模型的差距在缩小，所以我在一些小公司投入了大量资金。现在我就不敢确定了。” 短期内人工智能的发展（1-2年） 上下文窗口的扩展、Agent、文本到行动（Text to Action） 上下文窗口 上下文窗口可以理解为短期记忆。长上下文窗口很好的解决了 LLM 的时效性问题。 当前的模型通常18个月的时间来训练，准备 6 个月，训练 6 个月，微调 6 个月，所以他们的信息总是过时的，而长上下文窗口可以反馈最新发生了什么给 LLM，它可以变得像 Google 一样实时。 Agent Agent的定义：执行某种任务的东西。另一种定义是内存中的一个LLM的状态。 施密特建立了一个基金会，资助了一家非盈利组织，有个工具叫ChemCrow，它是一个基于 LLM 的系统，用于学习化学知识。有个实验室晚上用它进行测试、然后把测试结果让 LLM 学习，目前他们会运行这个系统，生成关于蛋白质的化学假设，这对化学和材料科学领域都是一个巨大的加速器，这就是Agent。 文本到行动 文本到行动的定义：从自然语言到Python语言，也就是根据人类描述自动写程序。 文本到行动可以理解为有大量廉价的程序员，如果每个人都有一个自己专属的AI程序员的话，会发生什么呢？ 假设你不喜欢Google，那么可以让 AI 程序员给你 copy 一个 Google 程序：搜索网页、用户界面、写好文案 。很多人认为，包括Google在内的现有公司在这种攻击下是脆弱的 。 他还列举了一个TikTok的例子，“给我做一个 TikTok 的复制品。吸引所有用户，拿下所有音乐，加上我的偏好，30 秒内做出来并发布。如果一个小时内不火，就做出类似的调整继续尝试。” 施密特认为当agent和文本到行动可以规模交付时，它会对世界产生没有人能理解的影响。这个影响远大于社交媒体所造成的影响。这三件事情（上下文窗口的扩展、agent、文本到行动）的结合将在下一个浪潮中发生。 这种不确定性还体现在所需投资的规模上。头部 AI 公司正在讨论“100 亿、200 亿、500 亿甚至 1000 亿美元”的需求。Sam Altman 认为可能需要“约 3000 亿美元，甚至更多”。这些数字不仅代表资金投入，还意味着巨大的能源消耗，可能会重塑地缘政治格局。只靠美国没有足够的电力来支撑这件事。所以，美国应该和加拿大搞好关系，因为他们那有大量的水和电。至于钱，需要让阿拉伯国家来资助。...

本文是 OpenAI 安全系统团队负责人 Lilian Weng 所写，主要探讨了大型语言模型（LLMs）中的外部幻觉（Extrinsic Hallucinations），即模型生成的内容未能与提供的上下文或世界知识相一致。幻觉问题被细分为两种类型：上下文幻觉和外部幻觉。外部幻觉关注的是模型输出是否基于预训练数据集，并强调模型需要具备事实性和在不知情时能够承认不知道的能力。文章还讨论了幻觉的成因、检测方法以及改进策略。 幻觉的定义与类型： 上下文幻觉：模型输出应与上下文中的源内容一致。 外部幻觉：模型输出应基于预训练数据集，且应与外部世界知识相符合。 幻觉的成因： 预训练数据问题：预训练数据量庞大，通常来自公共互联网，可能包含过时或错误的信息。 微调新知识：在微调阶段引入新知识可能导致模型学习速度较慢，并增加幻觉的可能性。 幻觉检测方法： FactualityPrompt：通过维基百科文档作为事实基础来评估模型输出的真实性。 FActScore：将生成内容分解为多个原子事实，并分别验证其真实性。 改进策略： 检索增强生成（RAG）：通过检索相关文档来为模型生成提供支持信息。 自我反思检索增强生成（Self-RAG）：模型在生成内容时自我反思并检索相关文档。 验证链（CoVe）：模型生成初步响应后，通过设计验证问题进行事实检查。 评估基准： 文章提到了一些用于评估模型幻觉的基准数据集，如 TruthfulQA、FactualityPrompt 和 SelfAware。 LLM 中的外部幻觉 在大语言模型 (LLM) 中，"幻觉" 通常指的是模型生成不真实、捏造、不一致或无意义的内容。这个术语被广泛用于描述模型犯错的情形。在这里，本文将"幻觉"的问题范围限定在模型输出是虚构的，并且无法通过给定的上下文或世界知识加以验证的情况。 幻觉可以分为两类： 上下文幻觉：模型输出应该与上下文中的源内容保持一致。 外部幻觉：模型输出应基于预训练数据集中的知识。然而，考虑到预训练数据集的庞大规模，每次生成时检索并识别潜在冲突的成本过高。如果我们将预训练数据集视为世界知识的代理，我们实际上是在尝试确保模型输出的内容是事实，并且能够通过外部世界知识进行验证。更重要的是，当模型不清楚某个事实时，它应当如实承认。 本文的重点在于外部幻觉。为了避免幻觉，LLM 需要做到以下两点：(1) 输出内容基于事实，(2) 在适当的情况下承认自己不知道答案。 幻觉的成因是什么？ 一个标准的 LLM 通常会经历预训练和后续的微调（如对齐优化）的过程，因此我们将在这两个阶段探讨幻觉产生的原因。 预训练数据问题 预训练数据集的规模非常庞大，其目的是涵盖几乎所有书面形式的世界知识。由于大多数数据来自公开的互联网，难免存在过时、缺失或错误的信息。模型在最大化对数似然的过程中可能错误地记住这些信息，导致在生成时出现错误。 引入新知识的微调 通过监督微调 (Supervised Fine-Tuning) 和 RLHF 对预训练模型进行微调是提高模型特定能力（如指令遵从性）的常见方法。然而，在微调阶段引入新知识几乎是不可避免的。 微调通常消耗的计算资源较少，因此关于通过小规模微调来可靠地学习新知识这一点存在争议。Gekhman 等人（2024） 研究了微调 LLM 是否会促进幻觉的产生。他们发现：(1) LLM 在学习包含新知识的微调样本时比其他与模型现有知识一致的样本要慢；(2) 一旦这些新知识被模型学会，模型产生幻觉的可能性反而增加。 在一个闭卷问答数据集（如 EntityQuestions）上，我们可以通过随机少样本示例和设置不同解码温度的方式，估计模型准确生成正确答案的概率。他们根据这一概率将数据分为四类：已知 组（其中包括高度已知、可能已知和弱已知三种子类别）以及 未知 组。 图 1. 闭卷问答示例的知识分类，基于模型输出正确答案的可能性。（图片来源：Gekhman 等人 2024） 实验中，一些基于开发集准确率的有趣发现可作为幻觉的代理指标：...

本文探讨了 Alayna 如何与 Unstructured 合作，通过其无服务器 API 推出了一种新的 AI 幻灯片和课程生成器，旨在帮助教师节省准备时间，提升教学质量。该产品利用多模式 RAG 技术，使教师能够将 PDF 教材无缝转换为引人入胜的幻灯片演示，并为学生提供更具互动性的学习体验。 教育挑战：教师面临时间不足的问题，急需创新工具以简化课堂准备工作。 产品介绍：Alayna 的 AI 幻灯片和课程生成器允许教师根据个体学习风格创建高质量课程，支持从 PDF 中提取图像和文本。 技术优势：Unstructured 的无服务器 API 能够处理多模式数据（文本、图像和表格），使得从教科书中提取有意义的数据成为可能。 功能展示：教师可上传教科书 PDF，系统自动生成包含相关图像和表格的幻灯片。这一功能自 7 月 8 日推出后，获得了教育工作者的积极反馈。 学习效果：研究表明，结合视频、文本、音频和互动内容的课程材料可提高信息保留率达 60%。 可扩展性：Alayna 选择无服务器架构以提高处理效率，能够同时处理多页文档，适应请求量的增加。 未来展望：Alayna 与 Unstructured 的合作为教育者提供了重要工具，期待未来在教育领域的进一步创新和发展。 Unstructured 案例研究: 多模态 RAG 技术在从 PDF 生成幻灯片的应用 教师往往缺乏充分的时间来准备课堂，因此，为他们寻找创新的解决方案以简化工作流程，对维持学校教育质量至关重要。Alayna 的使命是利用人工智能 (AI) 技术，使教师能够更多地专注于教学，而减少行政任务的负担。为实现这一目标，Alayna 与 Unstructured 合作，提升其产品功能，并将多模态 RAG (Retrieval-Augmented Generation) 技术引入其平台。本案例研究探讨了 Alayna 如何通过 Unstructured 提供的无服务器 API，作为核心数据摄取和预处理方案，推出其最新的 AI 幻灯片与课程生成器功能。 ^ 来自 Alayna 最新 TikTok 演示的示例幻灯片集 Alayna 利用 AI 技术提升教育内容的创作和传递。其核心产品 AI 幻灯片与课程生成器，帮助教育工作者创建高质量、互动性强且符合个体学习风格和目标的课程。该产品可以将 PDF 文件无缝转换为互动的幻灯片演示文稿，并通过 Unstructured 进行图像与文本的自动提取。他们还为教育工作者提供了 AI 副驾驶 (AI Copilot)，帮助处理日常教学任务。...

本文提出了一种实用的三步法来高效阅读研究论文，旨在帮助研究人员提高阅读效率，减少无效的时间浪费。作者强调，尽管阅读论文是一项重要技能，但通常未被系统教授，导致许多研究人员在阅读过程中感到挫败。三步法的每一步都有特定的目标，帮助读者逐步深入理解论文的内容。 三步法概述： 第一步：快速浏览，获取论文的总体印象，通常耗时五到十分钟。主要步骤包括阅读标题、摘要和引言，查看章节标题，快速浏览数学内容，阅读结论，以及查看参考文献。 第二步：深入阅读，关注论文的主要内容，但忽略细节，如证明。此步骤应记录关键点和不理解的术语，通常耗时约一小时。 第三步：全面理解，尝试重新实现论文中的工作，挑战每个假设，关注细节。此步骤可能需要数小时，适合需要深入理解论文的读者。 文献调查： 使用学术搜索引擎查找高引用的相关论文，进行初步阅读。 查找共享引用和重复作者名，识别关键论文和研究者。 浏览顶级会议的最新论文，进行多次阅读，确保全面了解领域内的重要研究。 相关工作： 文中提到了一些相关的资源和文献，供读者进一步学习如何撰写论文和进行评审。 通过这种系统的方法，研究人员可以更有效地处理大量文献，提升自己的研究能力和效率。 如何阅读论文 2016年2月17日版本 S. Keshav David R. Cheriton计算机科学学院，滑铁卢大学 加拿大滑铁卢，安大略省 [email protected] 摘要 研究人员经常需要花费大量时间阅读研究论文。然而，这项技能却很少被正式教授，导致了许多不必要的时间浪费。本文提出了一种实用且高效的“三遍法”来阅读研究论文，并详细介绍了如何利用这一方法进行文献综述。 1. 引言 研究人员阅读论文的原因有很多，例如为会议或课程评审论文，保持自己在领域内的知识更新，或者对新领域进行文献综述。一个典型的研究人员每年可能要花费数百小时在论文阅读上。 高效地阅读论文是一项至关重要却很少有人教授的技能。因此，初学的研究生通常只能通过反复试验来自行掌握。在这个过程中，他们往往浪费了大量时间和精力，并常常感到沮丧。 多年来，我使用了一种简单的“三遍法”来避免在阅读论文时陷入细节之前就先获得全局视角。这种方法让我可以预估审阅一组论文所需的时间。此外，我可以根据需求和时间来调整论文评估的深度。本文将介绍这一方法及其在文献综述中的具体应用。 2. 三遍法 核心思想是，阅读论文时应该分三次完成，而不是从头到尾一气呵成。每次阅读都有特定的目标，并在前一次的基础上逐步深入：第一次阅读让你对论文有一个总体的了解；第二次阅读让你掌握论文的内容但不涉及细节；第三次阅读则帮助你深入理解论文。 2.1 第一次阅读 第一次阅读是一种快速浏览，用于获得论文的整体概况。你还可以决定是否需要继续进行更深入的阅读。这次阅读通常需要大约五到十分钟，包含以下步骤： 仔细阅读标题、摘要和引言 阅读章节和小节标题，忽略其他内容 浏览数学内容（如果有），以确定其理论基础 阅读结论 浏览参考文献，标记出你已经阅读过的那些 在完成第一次阅读后，你应该能够回答以下五个 $\mathit{C}$ ： 类型 (Category)：这篇论文属于哪种类型？是测量研究？现有系统的分析？还是研究原型的描述？ 背景 (Context)：这篇论文与哪些其他论文相关？分析问题时用了哪些理论基础？ 正确性 (Correctness)：论文的假设看起来是否合理？ 贡献 (Contributions)：论文的主要贡献是什么？ 清晰度 (Clarity)：论文写得清晰明了吗？ 基于这些信息，你可以决定是否继续深入阅读（也避免了不必要的打印，节省纸张）。你可能会因为论文不符合你的兴趣，或是对该领域了解不足以至于难以理解，或者作者的假设不合理而选择不再继续阅读。对于那些与你研究领域不直接相关的论文，第一次阅读通常已经足够，但这些论文可能在未来某个时候会变得相关。 顺便提及，当你写论文时，大多数评审者（和读者）通常只会进行一次阅读。因此，务必要选择结构清晰的章节和小节标题，并撰写简明扼要且内容全面的摘要。如果评审者在一次阅读后无法理解论文的主旨，那么论文很可能会被拒绝；如果读者在五分钟内无法理解论文的要点，那么这篇论文很可能不会再被阅读。正因为如此，一个通过精选图表来总结论文内容的“图形化摘要”是一个非常好的想法，且越来越多地出现在科学期刊中。 2.2 第二次阅读 第二次阅读时，你需要更仔细地阅读论文，但可以忽略诸如证明等细节。在阅读过程中，记下关键点或在页边记录注释会有帮助。奥格斯堡大学的Dominik Grusemann建议，“记下你不理解的术语，或者你可能想问作者的问题。”如果你是作为论文评审人，这些注释将有助于你撰写评审意见，并在程序委员会会议中支持你的评审意见。 仔细查看论文中的图表和其他插图，尤其是图表。检查坐标轴是否正确标记，结果是否显示了误差线，以确保结论的统计显著性？这些常见的错误能够区分出仓促的、粗糙的工作与真正优秀的工作。 记得标记尚未阅读但相关的参考文献，以供进一步阅读（这是学习论文背景的好方法）。 对于有经验的读者来说，第二次阅读应当花费最多一小时。完成这次阅读后，你应该能够掌握论文的内容。你应该能够将论文的主要观点及其支持证据向他人总结。这种细节程度适用于你感兴趣但不属于你研究专长的论文。 有时即使在第二次阅读结束后，你仍然无法完全理解论文。这可能是因为该主题对你来说较为陌生，带有不熟悉的术语和缩写，或是作者使用了你不熟悉的证明或实验技术，从而使得论文的主要内容难以理解。也有可能是因为论文写得不够清楚，存在未经证实的论断或大量前向引用。或者可能只是因为时间太晚，你已经疲惫不堪。此时你可以选择：（a）将论文放在一边，希望不需要理解这些内容也能在职业生涯中取得成功，（b）稍后返回阅读，也许是在阅读了相关背景材料之后，（c）坚持下去，继续进行第三次阅读。 2.3 第三次阅读 要彻底理解一篇论文，尤其是作为评审人时，往往需要进行第三次阅读。第三次阅读的关键是尝试“虚拟地重现”论文中的工作：即在与作者相同的假设下，重新创建该工作。通过将这种重现与实际论文进行比较，你可以轻松地识别出论文的创新点及其隐藏的缺陷和假设。 这次阅读需要极大的细节关注。你应该识别并质疑每个陈述中的每个假设。此外，你还应该考虑自己将如何展示某个特定的想法。这种对实际与虚拟的比较能够让你对论文中的证明和表达技巧有更深刻的理解，并可能将这些技巧纳入自己的工具库。在这次阅读中，你还应该记下未来工作的灵感。 对于初学者来说，这次阅读可能需要很多小时，甚至对于有经验的读者来说，也需要一到两个小时以上。在完成这次阅读后，你应该能够从记忆中重建论文的整体结构，并能够识别出其优缺点。特别是，你应该能够指出隐含的假设、缺失的相关工作的引用，以及实验或分析技术中的潜在问题。 3. 进行文献综述 进行文献综述时，你的论文阅读技巧将受到严峻考验。这通常需要你阅读数十篇论文，可能是一个你不熟悉的领域。你应该读哪些论文呢？以下是如何利用三遍法来帮助你进行文献综述。...

本文由 OpenAI 发布于2024 年 8 月 6 日 我们在 API 中引入了结构化输出功能——模型输出现在能够可靠地遵循开发者提供的 JSON Schema。 去年在 DevDay 开发者大会上，我们推出了 JSON 模式，帮助开发者构建更加可靠的应用程序。尽管 JSON 模式提高了生成有效 JSON 输出的可靠性，但并不能确保模型的响应会完全符合指定的 Schema。今天，我们引入了 API 的结构化输出功能，确保模型生成的输出能够严格匹配开发者提供的 JSON Schema。 生成结构化数据是 AI 在当今应用中的一个核心应用场景。开发者使用 OpenAI API 构建功能强大的助手，这些助手能够通过函数调用获取数据并回答问题，提取结构化数据用于数据录入，并创建允许大语言模型 (LLM) 执行操作的多步骤智能工作流。开发者通常会使用开源工具、提示工程和反复请求来确保模型输出与他们系统的格式互操作。结构化输出通过限制 OpenAI 模型的输出，使其严格遵循开发者提供的 Schema，并训练模型更好地理解复杂的 Schema，从而解决了这一问题。 在我们对复杂 JSON Schema 的评估中，启用了结构化输出的 gpt-4o-2024-08-06 模型获得了满分 100%。相比之下，gpt-4-0613 的得分不足 40%。 通过结构化输出， gpt-4o-2024-08-06 在我们的评估中实现了 100% 的可靠性，完美匹配输出模式。 如何使用结构化输出 我们在 API 中提供了两种形式的结构化输出： 函数调用：通过工具实现的结构化输出，可以在函数定义中设置 strict: true 来启用。此功能适用于所有支持工具的模型，包括 gpt-4-0613、gpt-3.5-turbo-0613 及之后的模型。启用后，模型的输出将严格匹配提供的工具定义。 Request POST /v1/chat/completions { "model": "gpt-4o-2024-08-06", "messages": [ { "role": "system", "content": "You are a helpful assistant....

最近计划抽时间写一个文档相关的翻译类项目，调研了几个主流的开源 PDF 转 Markdown 项目，从最终的效果来看，MinerU 的 Magic-PDF 当之无愧是当前最佳的选择，缺点就是速度慢。 项目：zerox 代码：https://github.com/getomni-ai/zerox 介绍：一种非常简单的PDF文档解析方法 逻辑：使用 PyMuPDF 将 pdf 文件中的每一页转换为图片，并将图片给 LLM ，让其转换为 markdown 格式 使用的prompt： Convert the following PDF page to markdown. Return only the markdown with no explanation text. Do not exclude any content from the page. 优劣势 优点：在纯文字、表格等场景下，效果还不错 缺点 ：在有配图的情况下，配图会被丢失掉，用<img>之类的占位表示图片 项目：gptpdf 代码：https://github.com/CosmosShadow/gptpdf 介绍：使用视觉大语言模型（如 GPT-4o）将 PDF 解析为 markdown。方法非常简单(只有293行代码)，但几乎可以完美地解析排版、数学公式、表格、图片、图表等。每页平均价格：0.013 美元 逻辑： 用PyMuPDF识别中其中的线条（page.get_drawings()）、图片（page.get_image_info()）、文本区域 用一些策略做一些合并，最终得到一个只有表格和图片的区域 将这些区域截图后存储在本地 在原图上用红色框和序号标注好，送给GPT识别，最终的结果是个markdown格式 使用的prompt 使用markdown语法，将图片中识别到的文字转换为markdown格式输出。你必须做到： 1. 输出和使用识别到的图片的相同的语言，例如，识别到英语的字段，输出的内容必须是英语。 2. 不要解释和输出无关的文字，直接输出图片中的内容。例如，严禁输出 “以下是我根据图片内容生成的markdown文本：”这样的例子，而是应该直接输出markdown。 3. 内容不要包含在```markdown ```中、段落公式使用 $$ $$ 的形式、行内公式使用 $ $ 的形式、忽略掉长直线、忽略掉页码。 4....

在 Character.AI，掌握提示工程的艺术和科学至关重要。随着每日生成数十亿个提示，采用一种强大且可扩展的提示设计方法显得尤为必要。本文作者提倡从传统的“提示工程”转向“提示设计”，通过开发 Prompt Poet 工具，使开发者和非技术用户能够更高效地设计和管理提示，提升用户与 AI 模型的交互质量。 提示设计的重要性：构建有效的提示需要考虑多种因素，包括对话模式、实验、角色、用户属性、记忆和整个对话历史等。随着 LLM（大语言模型）上下文窗口的扩大，提升提示设计的效率显得尤为重要。 Prompt Poet 工具：该工具结合了 Python 的 f-strings 和 YAML，使提示的设计和管理更加灵活和易于使用。Prompt Poet 允许用户在不编写代码的情况下高效创建和迭代提示模板，节省了大量的字符串操作时间。 模板处理过程：提示模板的处理分为两个主要阶段： 渲染：使用 Jinja2 处理输入数据，执行控制流逻辑并验证数据。 加载：输出为结构化的 YAML 文件，便于管理和使用。 示例模板：提供了基本的问答机器人模板，展示了如何使用 Jinja2 语法和 YAML 结构来创建灵活的提示。 上下文长度管理：通过设置截断优先级，Prompt Poet 可以有效管理对话历史，确保在上下文长度受限时保留重要信息。 设计选择：Prompt Poet 库提供了多种功能，包括提示属性的设置、令牌化和截断等，优化了响应的效率和延迟。 结论：Prompt Poet 代表了提示工程的重大进步，简化了复杂和个性化提示的创建过程，使开发者和用户能够更专注于提示设计，推动 AI 交互的高效和直观化。 Character.AI 的提示词设计 作者: James Groeneveld Github: https://github.com/character-ai/prompt-poet PyPi: https://pypi.org/project/prompt-poet/ 在 Character.AI，掌握 Prompt Engineering（提示工程）的艺术和科学至关重要。构建生产环境中的提示需要考虑大量数据和因素：当前对话模式、正在进行的实验、涉及的角色、聊天类型、各种用户属性、固定记忆、用户角色和整个对话历史等。我们每天生成数十亿个提示，需要充分利用不断扩展的大语言模型 (LLM) 上下文窗口，并且我们的使用场景非常多样化，因此需要一种强大且可扩展的提示设计方法。我们主张从传统的“提示工程”转向“提示设计”，从繁琐的字符串操作转变为设计精确、引人入胜的提示。这篇文章介绍了我们开发的 Prompt Poet，它是我们为此目的开发的工具。 简要概述 Python 的 f-strings（及其封装）现在是提示工程师的行业标准。使用 f-strings 可以简单到将用户查询直接插入到字符串中，但也可能变得非常复杂，涉及大量手动字符串操作来创建最终提示。这也使得提示的迭代对于非技术人员来说不太友好，因为需要编写代码。 我们认为可以有更好的方法。因此，我们开发了 Prompt Poet (Github / PyPi)，一个允许开发者和非技术用户高效设计和管理生产提示的工具。它节省了在字符串操作上的工程时间，让大家能更专注于为用户打造最佳提示。...

虽然 Q* 的提出已经过去大半年了，昨晚偶然看到 X博主 kimmonismus 这篇关于 Q* 的文章，翻译了一下重新回顾一下。Q* 是一种尚未公开的人工智能算法，可能代表了通向人工通用智能（AGI）的重要突破。该算法结合了 Q-learning 和 A* 搜索，旨在提高 AI 的推理能力和自学习能力。通过实现系统 2 思维，Q* 使 AI 能够进行复杂的多步骤推理，从而克服当前大型语言模型（LLMs）中的逻辑错误（即“幻觉”）。尽管关于 Q* 的具体细节尚不明确，但其潜在能力引发了广泛关注和讨论。 Q 的背景*： Q* 尚未正式发布，OpenAI 对其信息保持保密。最初的传闻出现在 2023 年 12 月，报道称 OpenAI 在其研究设施取得了科学突破，首次实现了模型的自我学习能力。 Q* 可能是通向 AGI 的关键，AGI 被定义为在大多数经济上有价值的任务中超越人类的自主系统。 技术细节： Q* 结合了 Q-learning 和 A* 搜索算法，前者使 AI 能够通过试错学习做出决策，后者用于寻找最优路径。 Q* 允许 AI 在没有外部干预的情况下自我学习，例如，通过解决数学问题来展示其推理能力。 系统 2 思维： 该算法强调复杂思维过程，要求 AI 逐步、迭代地解决问题，类似于人类的系统 2 思维（System 2 thinking）。 通过将思维过程分解为更小的步骤，Q* 可以减少错误并提高输出的准确性。 潜在应用： Q* 的成功可能会使 AI 在科学研究等领域具备更强的推理能力。 该算法的开发可能会导致新的 AI 系统，能够执行复杂的推理任务，进一步推动 AGI 的进程。 未来展望：...

在2024年全球开发者大会上，苹果公司推出了“Apple Intelligence”系统，这是一种深度集成于 iOS 18、iPadOS 18 和 macOS Sequoia 的个人智能系统。该系统由多个高效的生成式模型组成，旨在适应用户的日常任务，提供个性化的服务。苹果智能的基础模型经过精细调整，能够高效、准确且负责任地执行特定任务，并强调了苹果在人工智能开发中的责任感和隐私保护。 模型介绍： Apple Intelligence 包含一个约30亿参数的本地语言模型和一个更大的基于服务器的语言模型，后者在苹果自有的私有云计算环境中运行。 这些模型支持用户和开发者的多种需求，包括文本撰写、通知总结、图像生成等。 责任感与隐私保护： 苹果制定了一系列责任人工智能原则，强调用户赋权、用户代表性、设计谨慎和隐私保护。 在训练模型时，苹果不使用用户的私人数据，并应用过滤技术以去除个人可识别信息和低质量内容。 训练与优化： 基础模型使用苹果的 AXLearn 框架进行训练，采用数据并行、张量并行等技术提高效率。 在后期训练中，苹果开发了两种新算法以提升模型的指令跟随质量。 通过多种创新技术优化模型在设备和私有云上的速度和效率。 模型适应性： 模型通过适配器进行微调，以便根据用户的日常活动动态调整任务能力。 适配器可以在预训练模型的基础上进行加载和切换，支持特定任务的高效处理。 性能评估： 苹果的模型在多个任务上表现优异，用户反馈显示其生成的摘要质量高于竞争对手。 在对抗性测试中，苹果的模型在处理有害内容和敏感话题时表现出色，显示出较低的违规率。 未来展望： 苹果期待在未来分享更多关于其生成模型家族的信息，包括语言、扩散和编码模型，以进一步支持用户的日常活动。 介绍 Apple 的设备端和服务器基础模型 在 2024 年的 Worldwide Developers Conference 上，我们推出了 Apple Intelligence，这是一种深度集成于 iOS 18、iPadOS 18 和 macOS Sequoia 的个人智能系统。 Apple Intelligence 包含多个高度智能的生成模型，这些模型专为用户的日常任务而设计，并且能够根据用户当前的活动进行实时调整。Apple Intelligence 中的基础模型已经过优化，能够提升用户的体验，包括撰写和润色文本、优先处理和总结通知、为家庭和朋友的对话生成有趣的图像，并在应用内简化操作，方便用户使用各种应用。 在接下来的概述中，我们将详细介绍这两个模型：一个约 30 亿参数的设备端语言模型，以及一个更大的服务器端语言模型，该模型通过 Private Cloud Compute 在 Apple Silicon 服务器上运行。这两个基础模型是 Apple 创建的一个更大规模的生成模型家族的一部分，旨在支持用户和开发者；其中包括一个用于在 Xcode 中构建智能的编程模型，以及一个帮助用户在视觉上表达自己的扩散模型，例如在消息应用中。我们期待不久后分享更多关于这一系列模型的信息。 更新 - 2024 年 7 月 29 日：本文中的数据已更新，以反映今日发布的技术报告中使用的模型版本和评估。更多详情请参阅论文：Apple Intelligence Foundation Language Models。...

本文介绍了如何为 Duolingo 的角色创建定制的文本到语音（TTS）声音，以增强语言学习体验。通过赋予角色独特的声音，不仅增加了角色的个性，还帮助学习者接触到多样化的语音，提升了他们的听力技能和语言学习的趣味性。 角色的魅力 Duolingo 的角色通过插画和动画得到了广泛的关注，这激励团队进一步发展这些角色，使语言学习更加有趣和引人入胜。角色的熟悉感为故事叙述提供了便利，尤其是在初学者的学习中，角色的个性化帮助学习者更好地理解故事情节。 定制语音的开发 团队为每个角色开发了独特的 TTS 语音，经过多个月的审查和试音，确保每个角色的声音能够准确传达其个性。不同语言的角色声音在保留角色特质的同时，也考虑了文化适应性。例如，角色 Lin 在日语中显得懒散而直言不讳，而在英语中则显得总是带着笑意。 技术与教学的结合 使用机器学习技术，团队创建了先进的 TTS 语音，能够在课程中应用任何句子。录音过程中，团队设计了多种句型和语境，以确保声音的自然性和教学效果。特别是在不同语境下，语音的节奏和语调需进行精确调整，以便为学习者提供可靠的发音示范。 学习者的体验 当前，学习者在英语课程中可以听到所有角色的声音，而在学习多种语言时，也能体验到不同语言对角色的多样化演绎。这种多样性不仅增强了学习的趣味性，还帮助学习者在真实语言环境中更灵活地运用所学知识。 让我们的角色发声 我们的角色终于找到了他们的声音！在这篇博客中，我们将分享如何为所有角色创建自定义的文本到语音 (Text-to-Speech, TTS) 声音。 图1: 角色让学习更有趣 在美术团队完成角色的绘制和动画制作后，我们发现社交媒体上大家对这些角色反响热烈。这份热情促使我们更加用心打磨这些角色，给他们更多的细节和背景。 我们意识到，这是一个让语言学习更加有趣且充满吸引力的好机会。同时，我们希望借此加强学习者与 Duolingo 之间的联系。通过引人入胜的故事，我们希望学习者能不断回到平台上学习，并且深入了解这些角色。 现在，我们还为每个角色添加了专属的声音。这不仅让角色更具个性，也为学习者提供了更多样的听力体验，这对于语言学习非常有帮助。在现实生活中，大家会遇到各种不同年龄、性别和背景的人，因此，在课程中听到不同的声音类型，有助于提升应对实际语言情境的能力。 那么，我们的角色有哪些？ 为了完善这些角色，我们花了数月的时间设计他们的性格、背景故事以及相互关系。同时，我们也创作了一些以这些角色为主的故事，这有助于更好地展现他们的个性。 我们发现，角色的熟悉感有助于讲故事。在故事中，由于篇幅和语言水平的限制（特别是对于初学者），我们需要依赖这些角色鲜明的个性和他们之间的互动，来实现更强的故事叙述效果。比如，不需要每次都解释 Lily 的动机，她那种冷漠的态度已经让学习者对她的行为有了清晰的理解，即使是初级语言水平也能将故事讲得生动有趣。 图2: 寻找角色的声音 为了让角色更加生动，我们为每个角色制作了定制的 TTS 声音。这些声音不仅展现了角色的独特个性，还让语言学习过程更加生动有趣。 当然，为九个角色开发多语言版本的声音并不是一件容易的事。仅仅是为英文角色选角，我们就花了几个月的时间来筛选试音，并讨论哪个演员最符合角色特质。比如，这次 Eddy 的试音是否显得太过学究？Oscar 是否需要更低沉、更有共鸣的声音？以及 Lily 的冷淡风格能否不影响学习体验？ 在为英文版角色选角并录音后，我们以这些录音为基础，制作了西班牙语、法语、德语和日语版本。即便有英文录音作为参考，每种语言仍然面临着独特的创意和技术挑战。例如，讽刺在日语中的表达方式与英语不同，那 Lily 的语气是否也需要改变呢？我们与语言学专家、语音学家和创意顾问一起合作，确保每种语言版本都能合适地表现角色的性格。 有些语言版本中的角色声音几乎与英文版相同，而有些则在某些性格特点上有所加强。比如，Lin 在日语中表现得冷静而直接，但在英语中却总是充满趣味。 图3: 构建他们的声音 在为角色录音后，我们使用机器学习技术来构建最先进的 TTS 声音。这些声音能够用于课程中的任何句子，即使是那些尚未编写的句子！尽管已有许多技术可以用来构建和开发声音，但 Duolingo 的需求有所不同，我们需要它们来帮助学习语言。 我们精心设计了录音的内容，以涵盖课程中可能遇到的各种情境——不同的语音组合、各种句型以及情感表达。这些多样化的录音对于真实再现学习者在课程中遇到的语言场景是非常必要的。我们也尝试突破技术的限制，力求在语调、语速和停顿方面达到最佳效果，使声音尽可能接近真实。 我们的目标是平衡配音演员的表现力和教学的具体需求。配音演员需要通过想象各种场景来赋予台词情感——有时这种“声学味道”会对技术造成挑战，因为 TTS 系统通常是基于中性的语音数据进行训练的。 我们非常重视 TTS 声音在实际课程中的表现。对于学习者来说，TTS 声音需要是发音和语言使用的可靠模范。例如，在英语句子“我读这本书”中，根据上下文“读”的发音会有所不同：在现在时态的课程中，它的发音与在过去时态的课程中是不同的。同样，在处理不同句型的节奏和语调时，我们也遇到了一些挑战。例如，“你想去吗？”的语调与“你想去哪里？”的语调是不同的。我们的 TTS 声音只能和我们提供给系统的语音示例一样好，因此我们的语言专家和工程师合作，为系统提供提示或在必要时进行纠正。 接下来你能听到谁的声音？ 现在，学习我们英语课程的学习者可以在课程中听到所有角色的声音！如果你在 Duolingo 上学习多种语言，还能体验这些角色的多种演绎！

Duolingo 在为其世界角色动画赋予生命的过程中，采用了创新的技术手段，以确保角色能够生动地与学习者互动。通过使用 Rive 工具，Duolingo 实现了高效的口型动画制作，提升了用户学习体验，确保了动画的质量和可扩展性。 动画挑战：Duolingo 需要为其超过 40 种语言的 100 多个课程中的角色制作动画，但手动动画口型是不切实际的，因此寻求可扩展的解决方案。 Rive 工具的应用：Rive 是一种基于网络的实时互动动画工具，允许通过状态机（State Machine）编程控制动画状态的切换和混合，从而实现高效的动画制作。 语音技术的整合：为了准确制作口型动画，Duolingo 建立了丰富的语音技术生态系统，使用内部的语音识别和发音模型来获取每个单词和音素的时序信息。 嘴形设计：为确保角色的嘴形动画真实可信，Duolingo 设计了 20 多种嘴形，结合角色的个性和 Duolingo 的美学。 动画集成：完成动画后，通过 Rive 的状态机将动画与音频同步，确保角色能够实时响应用户的操作，例如在点击单词时角色能够发声并动画化。 未来展望：Duolingo 将继续探索新技术，以克服技术挑战，进一步提升学习体验，并在未来的项目中应用这些经验。 Duolingo 如何为角色添加动画 在为每个角色开发了独特的声音后，我们开始思考如何让它们更有活力——不仅仅是现有的闲置行为动画。我们希望确保我们的角色能成为学习者生动有趣的学习伙伴！ 首先：动画化这么多的口型动作是一项巨大的工程！ 我们教授超过40种语言，涵盖100多个课程，每个课程包含数千个句子和课时，所以要为我们十个世界角色的每个口型动作手动画是不可能的。我们需要一种可扩展的方法来处理每个角色的各种口型，同时保证文件大小足够小，以便在Android、iOS和Web平台上运行。此外，我们还希望确保动画质量不受影响！ 我们发现，游戏引擎的替代方案可能是答案——一种能帮助我们用有限的资源生成几乎无限组合的工具。这就是我们了解到Rive的原因！ 什么是 Rive？ Rive 是一种基于网络的工具，用于制作实时互动动画和设计，类似于游戏引擎。它解决了我们许多问题：文件大小小巧，与Duolingo的应用架构无缝结合，从动画师到工程师的交接过程也很顺利。 但最吸引我们的是Rive的状态机：这是一个可视化的逻辑系统，用于连接动画（即“状态”）。它让我们能够通过编程控制调用的动画状态、调用方式以及如何过渡和融合。状态机的强大系统让这个项目能够在大规模上实现。我们知道Rive是实现口型同步动画的理想工具！ Rive 内部展示！ 语音技术的魔力 为了制作口型动作，我们需要对语音内容有详细的了解。当我们为文本到语音生成声音时，我们使用的解决方案没有提供发音和时间信息，但我们有一个为语言学习设置的丰富语音技术生态系统。为了生成精准的动画，我们会生成语音，将其通过我们的内部语音识别和发音模型，获取每个单词和音素（语音单位）的时间信息。每个声音都会映射到一个视觉表示或唇形，这是我们基于语言学特征设计的一套系统。 有了这些功能，我们创建了一个系统来生成课程内容所需的所有唇形时间数据。当然，我们还需要确保这些数据的准确性，并将其传递给数百万用户。我们不仅开发了生成内容的工具和流程，还在必要时进行审核和修正。 设计口型世界 在开始动画制作前，我们需要确保准确地表示与特定声音对应的嘴形。 角色唇形图示例 我们需要设计每一个嘴形，保持Duolingo的美学风格。此外，每个角色还需要一套独特的唇形，符合其个性特征。设计过程中最关键的一步是确保唇形在动画中看起来真实可信。 有些角色需要更多的探索，但我们最终为每个角色设计了20多个嘴形！ 一旦设计指南确定，我们就可以开始动画制作。我们为每个角色在课程中的常规姿势创建了动画状态，也为角色的嘴部设计了单独的状态。所有动画状态设置完毕后，最后一步就是将这些动画导入Rive的状态机，并与之前标注的嘴部输入结合起来。 状态机如何控制角色动画的图示 状态机如何混合唇形动画的图示。这里显示了4个唇形，但即使有超过20个形状，逻辑也是相同的。这些状态需要与角色动画状态同步运行！ 状态机设置完成后，我们将其导出为一个运行时文件，然后交给工程师进行应用程序的集成！ 集成过程 当需要展示一个挑战时，我们会获取音频和时间信息，并利用这些时间信息同步触发动画状态机。这将数据传输量降到最低——远低于传输一个小视频——并让我们能够实时响应用户的操作。当你点击一个单词时，角色会说出并动画该单词；如果你在它说完之前完成练习，角色会及时停止说话。我们还可以展示闲置行为，如点头、眨眼和眉毛移动。最后，根据挑战的结果——你是答对还是答错——我们可以进入一个最终状态，展示角色的反应！ Duolingo 动画和技术的未来 Duolingo 一直在测试各种功能，这些嘴部运动也不例外。这个项目是一次有趣的实验，旨在使学习体验更加有趣，也是一次使用新软件和技术的机会。看到我们如何克服技术难题，并继续打造或改进其他有趣的功能，真是令人兴奋！ 请查看我们在2023年Duocon上的演讲，了解更多关于我们动画制作的方法！

Duolingo 最近推出了一种新角色——创意技术专家（creative technologists），旨在弥合设计与工程之间的沟通。这一角色专注于设计优先的方法，要求具备动画优化能力，并能有效与工程师沟通。通过使用 Rive 这一设计工具，创意技术专家能够直接创建应用程序中的互动动画，减少设计与工程之间的反复沟通，从而提升工作效率。 创意技术专家的角色： 该角色结合了设计和工程的技能，能够在设计和最终产品之间缩小差距。 他们的职责包括优化动画资产、编写文档并与工程师沟通设计细节。 Rive 的应用： Rive 是一个用于构建互动运动图形的工具，使得动画师和创意技术专家可以直接创建应用中的动画，而无需复杂的技术规格。 Duolingo 首次使用 Rive 进行奖励动画，并逐步扩展到角色的语音同步等领域。 团队协作与优化： 创意技术专家与动画师和工程师紧密合作，确保动画的设计与实现的有效对接。 他们帮助识别设计约束，优化项目的构建方式，从而减少未来的修改和更新成本。 招聘与技能要求： Duolingo 寻找具备工程和设计背景的人才，特别是有状态机、VFX 和 Unity 等相关经验的人。 理想的候选人应能通过技术测试，并有解决新工具或技术问题的能力。 职业发展与行业趋势： 创意技术专家的角色在行业中逐渐兴起，未来可能会有更多类似的职位出现，以满足设计与工程之间的需求。 Duolingo 计划在即将到来的 Duocon 会议上宣布更多基于 Rive 的项目，展示其在互动学习体验中的应用潜力。 Duolingo 创造了一个新的角色，连接设计师和开发人员 Duolingo 最近引入了一个介于设计和工程之间的新角色。这个角色专注于 设计优先的方式，他们正在寻找能够与动画师一起优化设计并将这些优化传达给工程师的人。他们称之为 Creative Technologist。 Creative Technologist 负责弥合设计师和开发人员之间的鸿沟，也就是我们常说的“交接”。他们既有技术背景又有设计眼光，是左右脑兼备的人才。他们受雇时会特别要求成为 Rive 的专家。 为什么选择 Rive？ Rive 是一个可以创建运行时交互动态图形的设计工具。Duolingo 的首位 Creative Technologist Jeff Masters 解释道：“以前，动画师会提供一个模型，并附上技术规范，说明如何用代码实现他们的想法。但现在，Rive 让我们的动画师和 Creative Technologist 可以直接创建应用程序中使用的实际素材，不再需要反复与工程师沟通外观问题。在 Rive 中，设计就是最终产品。” 动画副创意总监 Alex Chopjian 的设计和技术能力让他们的 CEO 希望有更多这样的动画师。他说：“在 Rive 中，设计与最终产品之间的差距非常小。你可以直接在浏览器中看到动画效果，而完全不需要接触代码。”...

LLM 知识图谱构建器是 Neo4j 提供的一款创新工具，旨在将非结构化数据转化为动态知识图谱，支持生成式 AI 应用。该工具集成了检索增强生成（RAG）聊天机器人，使用户能够通过自然语言查询数据并获得可解释的洞察。用户无需编写代码，即可通过简单的步骤实现数据的提取与可视化，极大地简化了知识图谱的构建过程。 工具介绍： LLM 知识图谱构建器可将 PDF、网页和 YouTube 视频等非结构化文本转化为知识图谱。 该应用基于 React 前端和 Python FastAPI 后端，使用 Neo4j 的图形能力进行图谱构建。 使用步骤： 数据摄取：支持多种数据源，如 PDF、维基百科页面和 YouTube 视频。 实体识别：利用 LLM 识别和提取文本中的实体及其关系。 图谱构建：将识别的实体和关系转化为图格式。 用户界面：提供直观的网页界面，方便用户上传数据源、可视化生成的图谱，并与 RAG 代理互动。 创建知识图谱： 用户可通过拖放文件或输入链接来上传数据，系统将自动识别和处理。 提供预定义的图谱模式选项，用户可根据需求选择或自定义模式。 探索与互动： 生成的知识图谱以节点和边的形式展现，便于高效存储和查询复杂数据网络。 用户可通过 RAG 代理询问与数据相关的问题，系统将根据存储的图谱信息提供回答。 LLM 知识图谱构建器：从零到 GraphRAG 只需五分钟 使用 LLM 知识图谱构建器，在你的生成式 AI (GenAI) 应用中提取和使用知识图谱。 LLM 知识图谱构建器 是 Neo4j 的 GraphRAG 生态系统工具之一，帮助你将非结构化数据转化为动态知识图谱。它集成了检索增强生成 (RAG) 聊天机器人，支持自然语言查询，并提供数据的可解释见解。 什么是 Neo4j LLM 知识图谱构建器？ Neo4j LLM 知识图谱构建器是一款创新的在线应用，无需编写代码和 Cypher 查询，即可将非结构化文本转化为知识图谱，提供神奇的文本到图谱体验。 它使用机器学习模型 (大语言模型：OpenAI、Gemini、Diffbot) 将 PDF、网页和 YouTube 视频转换为实体及其关系的知识图谱。...

本文主要介绍了Perplexity 的产品开发之路。Perplexity 是一家成立不到两年的公司，迅速崛起为一个受欢迎的搜索产品，用户数量已达数千万，并且年收入超过 2000 万美元。公司采用“AI 优先”的方法，通过利用人工智能来优化产品开发流程，减少协调成本，提升团队效率。Perplexity 的团队结构扁平，通常由小团队（两到三人）组成，强调自驱动和灵活性，预计未来技术型产品经理将成为公司最重要的人才。 公司背景：Perplexity 在短时间内取得了显著的成就，最近融资 6300 万美元，估值超过 10 亿美元。其投资者包括 Nvidia、Jeff Bezos 等知名人士。 AI 优先策略：公司在构建产品的每一步都依赖 AI，鼓励员工在询问同事之前先向 AI 提问，以提高工作效率。 团队结构：大多数项目由两到三人完成，只有两个全职产品经理，强调小团队的高效运作。 决策与管理：公司采取去中心化的决策方式，鼓励团队成员自主做出快速决策，减少管理层级，提升响应速度。 灵活的工作流程：Perplexity 的项目管理依赖于灵活的季度计划和稳定的周目标设定，团队成员在每周开始时设定优先级目标，并努力完成 75% 的目标。 工具与协作：使用 Notion 进行文档管理和项目规划，利用 Unwrap.ai 整理和量化用户反馈，促进团队协作和信息透明。 未来展望：预计随着 AI 技术的发展，技术型产品经理和具备产品品味的工程师将变得更加重要，团队将继续保持扁平化结构以应对快速变化的市场需求。 Perplexity 的产品开发之路 不到两年前成立的 Perplexity 已成为我日常使用的产品，甚至取代了许多 Google 搜索——我并不孤单。这家员工不足 50 人的公司，用户数量已达到数千万。他们还实现了超过 2000 万美元的年度经常性收入 (ARR)，在搜索引擎领域与 Google 和 OpenAI 一较高下。最近筹集的 6300 万美元 使公司的估值超过 10 亿美元，投资者包括 Nvidia、Jeff Bezos、Andrej Karpathy、Garry Tan、Dylan Field、Elad Gil、Nat Friedman、Daniel Gross 和 Naval Ravikant (可惜没有我 😭)。Nvidia 的 CEO Jensen Huang 说他“几乎每天”都在使用这款产品。...

Mark Zuckerberg 认为开放源代码的人工智能（AI）是未来发展的关键。他将开放源代码与早期的 Unix 操作系统进行比较，指出 Linux 的成功是因为其开放性和可修改性。Zuckerberg 预见，开放源代码的 AI 将在未来发展得更快、更安全，并且能够满足不同组织的需求。他强调 Meta 正在积极推动开放源代码 AI 的标准化，特别是通过推出 Llama 3.1 系列模型，以便更广泛地支持开发者和企业。 开放源代码的优势： 开放源代码允许开发者根据自身需求训练和调整模型，避免被锁定在封闭的供应商生态中。 组织可以在本地运行模型，保护敏感数据，提升安全性。 Llama 3.1 405B 模型的运行成本约为封闭模型（如 GPT-4o）的 50%，使其在经济性上具有竞争力。 Meta 的战略： Meta 通过开放源代码 AI 确保技术的可获取性，避免被竞争对手的封闭生态系统限制。 开放源代码的 Llama 模型将促进生态系统的发展，包括与 Amazon、Databricks 和 Nvidia 等公司的合作。 开放源代码对世界的影响： 开放源代码 AI 可以更广泛地分配技术利益，减少权力集中在少数公司手中。 Zuckerberg 认为开放源代码的透明性使其在安全性上优于封闭模型f，能够更好地应对潜在的意图和非意图的危害。 未来展望： Meta 计划通过构建内部团队和合作伙伴关系，推动 Llama 模型的广泛应用，期望在行业内引发开放源代码 AI 的广泛使用。 Zuckerberg 强调，开放源代码 AI 是促进经济机会和安全的最佳途径，呼吁大家共同参与这一进程。 开源 AI 是未来的发展方向 在高性能计算的早期，主要的科技公司都大力投资开发各自的封闭源代码版本的 Unix。当时很难想象有其他方法能开发出如此先进的软件。然而，后来开源的 Linux 逐渐受到欢迎——最初是因为它允许开发者随意修改代码且成本更低，随着时间的推移，它变得更加先进、安全，并拥有更广泛的生态系统，支持的功能比任何封闭的 Unix 都要多。今天，Linux 已成为云计算和大多数移动设备操作系统的行业标准基础——我们都因此受益，享受到更优质的产品。 我相信 AI 将以类似的方式发展。今天，几家科技公司正在开发领先的封闭模型，但开源正在迅速缩小差距。去年，Llama 2 仅相当于前沿后面的一代模型。今年，Llama 3 已经能够与最先进的模型竞争，并在某些领域中表现出色。从明年开始，我们预计未来的 Llama 模型将成为行业中最先进的模型。但即使在此之前，Llama 已经在开放性、可修改性和成本效益方面处于领先地位。...

本文探讨了通过“少量示例提示”（few-shot prompting）来提高大型语言模型（LLM）在调用工具时的性能。研究表明，少量示例提示能够显著提升模型在多种任务上的表现。通过一系列实验，作者分析了不同提示构造方式对模型性能的影响，发现选择合适的示例和格式化方式是提高性能的关键。 实验设置 研究使用了两个数据集进行实验：Query Analysis 和 Multiverse Math。Query Analysis 测试模型如何基于用户问题选择搜索索引，而 Multiverse Math 则考察模型在更复杂的多次调用场景中的表现。 少量示例提示技术 实验中采用了多种少量示例提示技术，包括零-shot、静态和动态消息等方式。结果表明，动态选择的示例通常优于静态示例，且使用消息格式的表现优于字符串格式。 性能评估 通过检查工具调用的召回率和参数的匹配程度来评估模型的表现。实验结果显示，少量示例提示普遍提高了模型的准确性，尤其是 Claude 模型的表现提升显著。 关键发现 使用少量相关示例（如 3 个）可以与使用更多示例（如 9 个）达到相似的效果，显示出示例数量的边际效益递减。此外，小型模型在使用少量示例时，表现能够与大型模型相媲美。 未来研究方向 文章提出了未来的研究问题，包括负面示例的效果、最佳的示例检索方法以及在复杂任务中如何选择示例等，鼓励开发者探索更多优化 LLM 性能的可能性。 少样本提示提高工具调用效率 工具是大语言模型 (LLM) 应用的重要组成部分，我们一直在努力改进 LangChain 的工具接口（参见我们关于 标准化工具调用 和 核心工具改进 的文章）。 我们还在研究如何 提升 LLM 工具调用的性能。一种常见的方法是使用 少样本提示，即在提示中加入示例输入和期望输出。研究表明，少样本提示能显著提升模型在多种任务中的表现。 构建少样本提示的方法很多，但缺乏最佳实践。我们进行了几次实验，探讨不同技术如何影响模型和任务的性能，愿意与大家分享我们的结果。 实验 我们在两个数据集上进行了实验。第一个数据集是 Query Analysis，这是一个标准场景，模型根据用户问题调用不同的搜索索引。第二个数据集是 Multiverse Math，测试在更智能化的 ReAct 工作流程中进行函数调用（涉及对 LLM 的多次调用）。我们对多个 OpenAI 和 Anthropic 模型进行了基准测试，尝试用不同方法提供少样本示例，以找到最佳方案。 查询分析 第二个数据集要求模型选择调用哪个搜索索引。为了正确查询数据源，模型需要一些领域知识并细致理解各数据源的内容类型。问题设计得非常复杂，以挑战模型的工具选择能力。 示例数据点 question: What are best practices for setting up a document loader for a RAG chain?...

本文探讨了“精益创业法”（Lean Startup Method）的优缺点，强调了在创业过程中进行实验的重要性，同时指出该方法在某些方面可能导致创业者的误导。作者认为，创业教育可以通过结合科学方法和最新研究成果，帮助创业者更成功地启动和发展他们的企业。 精益创业法的核心理念： 由 Steve Blank 和 Eric Ries 提出的精益创业法强调行动导向，鼓励创业者通过“商业模式画布”识别商业假设，并快速构建最小可行产品（MVP）进行测试。 创业者需根据反馈不断调整产品和市场，直到实现产品与市场的契合。 实验的重要性： 意大利学者的研究表明，采用科学方法进行系统性实验的创业团队表现更佳，能够更有效地进行调整并实现更高的收入。 精益创业法的局限性： 强调快速与客户沟通可能导致创业者过于关注短期反馈，而忽视了创新产品的潜在市场需求。 “商业模式画布”虽然有助于了解客户，但未能引导创业者思考其独特的商业假设，可能掩盖了创业想法的真正价值。 改进建议： 引用 Joshua Gans 等人的研究，建议创业者在进行实验之前先制定战略，明确为何自己的公司能够成功，从而更有效地进行实验和获取突破性见解。 结合科学方法和最新的学术研究，能够帮助创业者更成功地推出基于证据的创业项目。 精益创业方法的优点与不足 当别人知道我是创业学教授时，他们往往会让我听听他们的创业计划，或者疑惑地说：“创业不是应该即兴发挥吗？怎么还能教呢？”因此，我听了很多创业计划（去年是区块链，今年是CBD），但我也在思考如何回答一个更大的问题：我们能教给创业者什么，让他们的创业更成功？幸运的是，过去十年我从两个不同的来源学到了很多宝贵的经验。 第一个来源是由Steve Blank和Eric Ries开创的精益创业方法（Lean Startup Method），这方法在六年前由Blank在哈佛商业评论中详细介绍。简而言之，精益创业方法提出，成功创业的关键在于偏向行动。创始人应首先使用商业模式画布（Business Model Canvas）来理解其业务背后的假设，这需要他们填写九个涵盖“价值主张”和“客户细分”等主题的方框。然后，他们将关键问题转化为可测试的假设，快速且廉价地构建最小可行产品（MVP）来测试这些假设。如果测试证明假设正确，那就继续；否则，他们应调整方向，根据反馈修改产品或市场，直到找到产品与市场的最佳匹配，证明产品有市场需求。 精益创业方法在硅谷一经推出便大受欢迎，初创企业纷纷接受这种新的实验精神。这种方法也相对容易教授，因此成为各地创业加速器和创业课程的常见内容。但精益创业并不是过去十年中唯一的重大变化，另一个较为低调的革命也在进行。学者们凭借更好的数据、更复杂的分析技术和新方法，开始破解创业成功的密码。传统的智慧正在接受检验。（创业公司是否总是需要联合创始人？年轻人是否更适合做创始人？）我们已经开始对精益创业方法有了一些重要的认识。 首先，好消息是！证据强烈表明，初创企业应按照精益创业方法所倡导的方式进行实验。一组意大利学者进行了一项黄金标准的随机对照实验，研究了116家初创企业。半数企业学习了如何对他们的创业想法进行严格的实验，生成假设并系统地测试它们。另一半企业虽然也学习了实验方法，但没有被教导如何使用科学方法生成假设。像科学家一样行动的那组企业表现得更好——转向更多，避免了问题，最终产生了比对照组更高的收入。严格的实验显然对初创企业的成功至关重要。 然而，其他研究表明，精益创业方法的某些方面实际上可能是有害的。在一篇新论文中，一组著名的创业学者指出了这种方法的两个主要问题： 精益创业鼓励创始人“走出办公室”并尽快与客户交谈。但正如Steve Jobs所说：“知道自己想要什么不是客户的工作。”对快速从客户那里获取反馈的关注，使初创企业倾向于追求渐进式改进，关注客户今天的需求，而不是展望未来。此外，许多研究（例如Clay Christensen关于颠覆性创新的研究）表明，新颖性常常最初不受客户欢迎。如果你的想法是突破性的，而不是一个容易解释的渐进式产品，那么寻求早期客户的外部验证会更加困难。 这个问题被商业模式画布所加剧。虽然画布所问的问题很有用——你应该知道你的客户是谁！——但它没有问最重要的问题：基于你的独特知识和信念，你对世界的假设是什么？填写画布的九个方框反而让你专注于创业过程结束时的样子——当你有了复杂的渠道和供应商关系等等——但在精益创业方法中没有达到这一最终状态的路线图。此外，画布的详细业务要素掩盖了使你的想法与众不同的真正见解。看看LinkedIn完成的众多画布示例，你会发现其中没有一个展示出使公司成功的关于网络和简历的特殊见解。为了生成关于你的创业为何独特的理论，你应该回到科学方法。从观察世界开始，利用你的观察生成理论，思考如何通过你的创业想法改变世界。 那么，如何保留精益创业的优点而不保留其缺点呢？去年HBR的一篇文章提供了一条路径。Joshua Gans、Erin L. Scott和Scott Stern从企业战略研究中汲取灵感，提出了一种新的、更有效的创业实验方法。他们提供了一种以战略为起点的方法——一个关于你公司为何会成功的理论——并根据创始人的选择，建议进行合适的实验。通过将关键的突破性见解的开发权还给创始人而不是客户，这种方法有潜力成为精益创业的下一步进化。 有了这些新工具和证据，我们真的可以教人们启动更成功的基于证据的初创企业。这些初创企业不仅仅是像精益创业方法那样收集证据，还基于最新的学术证据，来提高创业者的成功率。

每个人都有犯错的时候，无论是谁，这都是很常见的现象，也许是世界上最常见的错误。 对于聪明的工程师来说，一个常见的错误是优化一个不应该存在的东西。为什么会这样呢？因为每个人在高中和大学，在高中和大学里，被训练了一种僵化的思维模式，那就是解题思维，解题一种收敛的逻辑，而非发散的逻辑。你不可能跟教授说你的问题太愚蠢了，那样你就可能被挂科。你必须接受教授的问题，并努力解答。因此，基本上每一个人，都在不知不觉中戴上了一个“精神枷锁”，这就是：竭尽全力的工作，却在优化优化那些根本不应该存在的东西。 为了解决以上问题，我提倡一种严格执行的五步法。 第一步：确保你的需求不那么愚蠢。通常来说，你的需求都十分愚蠢，这无关谁提出来的。如果是聪明人给你的需求和任务往往会更加危险，更有问题。因为，你甚至都不会质疑这些聪明人。 第二步：尽力去除不必要的部分和流程，这一步非常重要。如果你没有偶尔重新添加一些内容，那么说明你删除的还不够彻底。一种常见的误区是：很多流程中添加的部分都是为了以防万一，但实际上，你可以为许多事情做出类似的以防万一的理由。 第三步：简化或优化，注意是第三步，而不是第一步，否则他们就会优化一个根本不存在的东西。 第四步：加快进度。你的行动太慢了，要快速行动，但不要在前三步还没做好的时候就急于加速。 第五步：自动化。 我个人曾多次在这五个步骤上犯错，所以我必须不断提醒自己，这个过程需要反复进行。 Elon Musk 的“五步算法”：一个显著改善几乎所有事情的简单而巧妙的方法 Elon Musk 称之为“算法”，这是他在 Tesla 的内华达和弗里蒙特工厂不懈提高生产能力过程中总结的经验教训的精华。 根据 Walter Isaacson 在他的新书 Elon Musk 中的说法，Musk 在任何生产会议上都有很大的可能性提到这个算法。 “我经常重复这个算法，”Musk 说。“但我认为不断强调它是有帮助的。” 下次当你想在工作或生活中变得更高效时，可以试试 Musk 的算法。只需确保按照顺序完成每一步。(下面斜体部分是从 Isaacson 的书中引用的，引用了 Musk 的话。) 1. 质疑每一个需求。 每一个需求都应该附有提出该需求的人的名字。你永远不应该接受一个来自某个部门的需求，例如“法律部门”或“安全部门”。你需要知道具体是谁提出的需求。然后你应该质疑它，不管这个人多聪明。来自聪明人的需求反而最危险，因为人们不太可能质疑它们。即使是来自我的需求，也要质疑。 然后让这些需求变得不那么愚蠢。 当我接管一家新工厂的生产时，主管们必须在生产线启动前签署质量确认。工作人员经常需要等待五到十分钟才能找到主管 (这也是需要解决的另一个问题；领导者应该在车间，而不是在办公室里)。 为什么会有这个规定？公司 CEO 在一次昂贵的错误之后制定了这个规则。但如果操作员不能被信任判断他们的工作是否符合质量标准，他们就不应该 成为 操作员。 许多规定都是基于一次性事件，不需要以流程、指导方针或规则来回应。相反，只需处理特定情况。 从中学习，但不要因为个别事件就制定一成不变的规定。 2. 删除你能删除的任何部分或过程。 你可能需要后来加回来。事实上，如果你没有最终加回至少 10% 的部分，那么你删除得还不够多。 当我第一次成为主管时，我的一项工作是准备、打印并分发一份每日报告给大约 20 人。整个过程花费了一个多小时。有一天，我想知道是否有人实际上读了这份报告，所以我创建了它，但没有打印或分发。 没有人注意到。 所以我停止分发其他一些报告。创建了它们，但没有分发。没有人注意到。 我们经常做事情只是因为我们一直这样做。或者因为我们认为需要这样做。或者因为这是我们的工作，因此它必须很重要。(我们的工作中的每一件事都很重要，对吗？) 3. 简化和优化。 这应该在第二步之后进行。一个常见的错误是简化和优化一个不应该存在的部分或过程。 在我停止分发那些报告的几周后，我问了一些人是否需要我再次分发这些报告。不需要。然后我问我们是否还需要收集相关数据。在大多数情况下，我们不需要，因为它已经在其他地方被收集。(我的部门一直在做重复工作，因为我们认为我们不能信任其他部门把它做对。) 在一些情况下，我们确实偶尔需要某些数据，所以我找到了自动化收集过程的方法。我还找到了一个让生产人员不参与数据收集过程的方法，这意味着他们可以花更多时间生产，而不是充当数据录入员。 正如你马上会看到的，确保你不会自动化或优化一个根本不需要存在的过程。当然，通过使某件事变得更好，你可以取得百分比上的改进，但为什么不通过完全消除不必要的过程来节省 100% 的时间、精力和成本呢？ 4. 加快周期时间。 每个过程都可以加速。但只有在你遵循前三个步骤之后才这样做。在 Tesla 工厂，我错误地花了很多时间加速后来发现应该被删除的过程。...

反思是一种用于提高代理和类似 AI 系统质量与成功率的提示策略。本文概述了如何使用 LangGraph 构建 3 种反思技术，包括 Reflexion 和语言代理树搜索的实现。 关键链接 简单反思： （Python）反思： （Python）语言智能体树搜索： （Python）Youtube反思是一种提示策略，用于提升智能体和类似 AI 系统的质量和成功率。它通过提示大语言模型（LLM）反思和批评其过去的行为，有时还会结合外部信息，如工具观察。 人们常提到“系统1”和“系统2”思维，系统1是反应迅速或本能的，而系统2则更为有条理和反思性。正确应用反思，可以帮助 LLM 系统摆脱纯粹的系统1思维模式，表现出更接近系统2的行为。 反思需要时间！本文中的方法都用了一些额外的计算换取更好的输出质量。虽然这可能不适合低延迟应用，但对于知识密集型任务，响应质量比速度更重要，确实值得这样做。 以下是三个示例： 基本反思 链接： （Python， Youtube） 这个简单示例由两个 LLM 调用组成：一个生成器和一个反思器。生成器尝试直接响应用户请求，反思器则扮演老师角色，对初始响应提供建设性的批评。 循环进行固定次数后，返回最终生成的输出。 简单反思循环 我们可以在 LangGraph 中定义以下循环： from langgraph.graph import MessageGraph builder = MessageGraph() builder.add_node("generate", generation_node) builder.add_node("reflect", reflection_node) builder.set_entry_point("generate") def should_continue(state: List[BaseMessage]): if len(state) > 6: return END return "reflect" builder.add_conditional_edges("generate", should_continue) builder.add_edge("reflect", "generate") graph = builder.compile() MessageGraph 表示一个有状态图，其中“状态”只是一个消息列表。每次调用生成器或反思节点时，它会将一条消息添加到状态的末尾。最终结果由生成器节点返回。 这种简单的反思方式有时可以通过让 LLM 多次尝试改进输出，并让反思节点在批评输出时扮演不同角色，从而提高性能。 然而，由于反思步骤不依赖于任何外部过程，最终结果可能不会显著优于原始结果。我们来探索一些可以改善这一情况的其他技术。 反思 链接：（Python， Youtube）...

本文是 LangChain 官方发布的关于 Agent 的系列文章，这里我将其汇总和翻译了一下 什么是智能体？ “什么是智能体？” 我几乎每天都会被问到这个问题。在 LangChain，我们构建工具来帮助开发人员构建大语言模型 (LLM) 应用程序，尤其是那些作为推理引擎并与外部数据和计算源交互的应用程序。这类系统通常被称为“智能体”。 每个人对智能体的定义似乎都有些不同。我的定义可能比大多数人的更技术化： 智能体是使用 LLM 来决定应用程序控制流的系统。 即便在这里，我也不得不承认我的定义并不完美。人们常常认为智能体是高级的、自主的、类人的——但如果只是一个简单系统，其中大语言模型 (LLM) 在两条路径之间进行选择呢？这虽然符合我的技术定义，但并不符合大家对智能体能力的普遍认知。智能体到底是什么，确实很难准确定义！ 这就是为什么我非常喜欢 Andrew Ng 上周的推文。在推文中，他建议“与其争论哪些工作应该包含或排除为真正的智能体，我们可以承认系统的智能行为有不同的程度。”就像自动驾驶汽车有不同的自动驾驶级别一样，我们也可以将智能体的能力视为一个光谱。我非常同意这个观点，我认为 Andrew 表达得很好。未来，当有人问我什么是智能体时，我会转而讨论什么是“智能行为”。 智能行为是什么意思？ 去年我做了一个关于 LLM 系统的 TED 演讲，并使用下面的幻灯片来讨论 LLM 应用程序中存在的不同自主级别。 一个系统越“智能”，LLM 决定系统行为的程度就越高。 使用 LLM 将输入路由到特定下游工作流具有一定程度的“智能”行为。这会在上图的Router类别中。 如果你使用多个 LLM 进行多个路由步骤？这会介于Router和State Machine之间。 如果其中一个步骤是确定是否继续或结束——有效地允许系统在完成之前循环运行？这会属于State Machine。 如果系统正在构建工具，记住这些工具，然后在未来的步骤中使用它们？这类似于Voyager 论文中实现的，非常智能，属于更高的Autonomous Agent类别。 这些“智能”定义仍然非常技术化。我更喜欢“智能”的技术定义，因为我认为它在设计和描述 LLM 系统时很有用。 为什么“智能”是一个有用的概念？ 与所有概念一样，值得问的是我们为什么需要“智能”这个概念。它有何帮助？ 了解你的系统有多智能可以指导你在开发过程中的决策——包括构建、运行、与之交互、评估甚至监控它。 你的系统越智能，编排框架就越有帮助。如果你正在设计一个复杂的智能系统，拥有一个具有正确抽象概念的框架可以加速开发。这个框架应该对分支逻辑和循环有一流的支持。 你的系统越智能，运行就越困难。它会越来越复杂，某些任务将需要很长时间才能完成。这意味着你会希望将任务作为后台运行。这也意味着你希望有持久的执行能力来处理中途发生的任何错误。 你的系统越智能，你就越希望在运行时与它交互。你会希望能够观察内部发生的情况，因为所采取的确切步骤可能事先未知。你会希望能够在特定时间点修改智能体的状态或指令，如果它偏离了预定路径，可以将其拉回正轨。 你的系统越智能，你就越希望有一个为这些类型的应用程序构建的评估框架。你会希望多次运行评估，因为有大量随机性叠加。你会希望能够不仅测试最终输出，还测试中间步骤，以测试智能体的效率。 你的系统越智能，你就越希望有一个新型的监控框架。你会希望能够深入了解智能体所采取的所有步骤。你还会希望能够根据智能体所采取的步骤查询运行情况。 了解和利用系统中的智能能力光谱可以提高开发过程的效率和健壮性。 智能是新的 我经常思考的一个问题是，在这场热潮中，什么是真正新的。我们是否需要为人们构建的 LLM 应用程序提供新工具和新基础设施？还是以前的通用工具和基础设施就足够了？ 对我来说，你的应用程序越智能，拥有新工具和基础设施就越关键。这正是促使我们构建LangGraph，一个帮助构建、运行和交互智能体的编排器，以及LangSmith，一个用于 LLM 应用程序的测试和可观测性平台。随着我们在智能光谱上不断前进，支持性工具的整个生态系统需要重新构想。 什么是“认知架构”？ 更新：有几位读者指出，“认知架构”这个术语在神经科学和计算认知科学中有丰富的历史。根据维基百科的定义，“认知架构”既指关于人类心智结构的理论，也指这种理论的计算实现。这个定义（以及相关的研究和文章）比我在这里提供的定义更为全面。所以这篇博客应该被视为我在过去一年中构建和帮助构建基于大语言模型 (LLM) 应用程序的经验与这一研究领域的对照。 在过去的六个月里，我经常使用“认知架构”这个短语，而且以后可能会更多地使用。这是我第一次从 Flo Crivello 那里听到的术语——所有的功劳都归于他，我认为这是一个很棒的术语。那么我究竟指的是什么呢？...

学习如何为您的应用程序定制模型。 介绍 微调可以通过以下方式让您更好地利用 API 提供的模型： 比直接使用提示获得更高质量的结果 可以训练比提示中更多的示例 由于提示更简短，节省 Token 请求延迟更低 OpenAI 的文本生成模型已经在大量文本数据上进行了预训练。为了有效使用这些模型，我们通常在提示中包含说明和几个示例。这种通过示例展示任务的方法称为“少样本学习”。 微调通过在提示中包含更多示例来改进少样本学习，从而在许多任务上获得更好的结果。一旦模型经过微调，您不需要在提示中提供那么多示例。 这样可以节省成本并降低请求延迟。 微调一般包括以下步骤： 准备并上传训练数据 训练一个新的微调模型 评估结果，如有需要返回第一步 使用您的微调模型 访问我们的定价页面，了解微调模型训练和使用的费用。 哪些模型可以微调？ GPT-4（gpt-4-0613 和 gpt-4o-*）的微调处于实验性访问计划中，符合条件的用户可以在创建新的微调任务时在微调界面中申请访问。 目前以下模型可以进行微调：gpt-3.5-turbo-0125（推荐），gpt-3.5-turbo-1106，gpt-3.5-turbo-0613，babbage-002，davinci-002，gpt-4-0613（实验性），以及 gpt-4o-2024-05-13。 如果您获得了更多数据且不想重复之前的训练步骤，还可以对一个已经微调的模型进行再次微调。 我们认为gpt-3.5-turbo在结果和易用性方面对于大多数用户来说是最佳选择。 何时使用微调 微调 OpenAI 的文本生成模型可以让它们更适合特定应用，但这需要大量的时间和精力投入。我们建议首先尝试通过提示工程、提示链（将复杂任务分解为多个提示）和函数调用来获得良好结果，主要原因包括： 我们的模型在许多任务上的初始表现可能不佳，但通过正确的提示可以改善结果，因此可能不需要微调 提示迭代和其他策略的反馈循环比微调更快，而微调需要创建数据集并运行训练任务 在需要微调的情况下，初始的提示工程工作不会浪费 - 通常我们会在微调数据中使用良好的提示（或结合提示链和工具使用与微调）时获得最佳效果 我们的提示工程指南提供了不进行微调而提高性能的一些最有效策略和技巧。您可以在我们的playground中快速迭代提示。 常见用例 以下是一些微调可以改善结果的常见用例： 设置风格、语气、格式或其他定性方面 提高生成所需输出的可靠性 纠正未能遵循复杂提示的错误 特定方式处理许多边缘情况 执行在提示中难以表达的新技能或任务 一个高层次的思路是，当“展示”比“说明”更容易时。在接下来的部分中，我们将探讨如何设置微调数据以及微调在基线模型上提升性能的各种示例。 另一个微调的有效场景是通过替换 GPT-4 或使用较短的提示来减少成本和/或延迟，而不牺牲质量。如果您能用 GPT-4 获得良好结果，通常可以通过在 GPT-4 结果上微调gpt-3.5-turbo模型并缩短指令提示，达到类似的质量。 准备您的数据集 一旦您确定微调是正确的解决方案（即您已经优化了提示并发现模型仍有问题），您就需要准备训练模型的数据。您应创建一组多样化的示范对话，这些对话与您在生产中要求模型响应的对话类似。 数据集中的每个示例都应该是与我们的聊天完成 API相同格式的对话，具体来说是一系列消息，每条消息都有一个角色、内容和可选名称。至少一些训练示例应直接针对模型在提示中表现不佳的情况，并且数据中提供的助手消息应是您希望模型给出的理想响应。 示例格式 在这个例子中，我们的目标是创建一个偶尔会给出讽刺回复的聊天机器人，以下是我们可以为数据集创建的三个训练示例（对话）： {"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic....

雷军今年做了第四年的年度演讲，今年的主题是《勇气》，每次看完雷总的演讲都会热血沸腾，非常钦佩雷总的学习能力和勇气。这篇文章我摘要雷总每年的演讲精华，常看常新。 2024《勇气》 雷军在2024年度演讲中，以“勇气”为主题，讲述了小米造车的全过程，强调了勇气在面对巨大挑战和不确定性时的重要性。他回顾了小米在遭遇美国制裁后，决定进军汽车行业的艰难历程，并分享了团队在研发小米SU7过程中克服的种种困难。雷军认为，勇气不仅仅是口号，而是每一步脚踏实地的行动，是冲出重围的关键。 造车起因与决策过程： 2021年1月15日，小米因美国制裁面临巨大危机，有一个董事建议，要不要考虑一下造车。 组成了一个6人的调研组，70多天的时间里马不停蹄去了10多个城市，我们调研了85场，访谈200多人，4次高管会。 在3月24号的董事会汇报中，我讲到智能电动车是大势所趋，而且汽车行业正在和消费电子行业相融合，我觉的小米必须干。 如果我们要造车，首先要有长期打算，其次一定要奔着全球前五去。这意味着要准备烧很多钱，我们当时认为最少要100亿美元。 经过董事会激烈的讨论后，给了我一个肯定的答复：支持我造车。但由于投入过大，雷军本人必须带队亲自干。 3月30号，我正式回复了董事会：如果这件事情小米必须干，如果大家觉得我合适。为了小米，我愿意挺身而出。 当天我们就正式公告了，小米下场造车，雷军带队，十年内全资投入100亿美元。这几个消息震撼了全行业，当天晚上我们举办了发布会。 研发与团队建设： 小米组建了超过1000人的团队，经过三年多的努力，团队人数已超过7000人。 雷军强调核心技术的自主研发，电机、电池包、智能驾驶等领域均投入巨大。 面对挑战与危机： 到了2021年年底春节前，第一次项目的正式评审会开始，我们大家都挺激动。结果呢，这个会开下来开的特别郁闷，大家的分歧特别大，最后下决心，整个产品方案推到重干。 春节后临时召集的会，谁也没有想到，一开开了整整21天，开了一个马拉松式的会议。20天的会我总结下来，我觉得形成了一个最重要的共识，就是小米作为一个新来者，只要能顺利上牌桌，就是巨大的成功。 很多人问我，你们当年为什么能把车造出来，最关键就是这句话，就是：小米造车要尊重行业规律，守正出奇，要先守正再出奇，不要一上来就颠覆，一上来就掀桌子。 研发过程中经历了疫情等多重挑战，团队坚持从核心技术做起，不走捷径。 当我决定造车的那天起，我就下决心自己开车，重新开始开车、借车开、去4S店试车开，一般会问三个问题：1、这辆车好在哪里，不好在哪里；2、你当时为什么要买这辆车；3、假如你要换车，你打算换一辆什么样的车。不知不觉三年下来，我大概试驾了170多辆车。我整理了一下笔记和资料，居然有20多万字。 考赛车驾照：不仅仅自己练，还逼着小米的团队也去练，管理团队和工程师超过了100人拿到了赛照 雷军亲自参与各个关键节点的测试，包括冬测、夏测和长途自驾测试。 市场与销售策略： 真正的困难是我们7000人无数的心血做的SU7，在上市前的两三个月跟大家沟通交流的时候，居然发现所有人都认为卖不动。几个部门给我整了三份报告，每一份洋洋洒洒几十页，我看完都只有核心一句话：人家34C的用户买的全是品牌，为啥要买你SU7呀？ 然后我就让市场部请一些媒体的朋友们来帮忙出主意，一共请了23位。我也万万没想到，绝大部分人都不看好。他们认为，能月销3000辆就要烧高香。这就是当时大家的结论，我觉得大家说的都是心里话啊。当然，我有点不服气，然后尝试去说服他们，但还是改变不了他们的观点。最后，这让我无比绝望，整个团队都笼罩在焦虑当中。 在我最郁闷的时候，我想起了我自驾的一辆车，是一辆福特野马，我跟同事借的，这辆车是他工作了十年之后积攒的钱买给自己的奖励。他跟我说，每天早晨一上班，坐到车里，踏下油门的那一刹那，他就热血沸腾。每天晚上回家，还在车着坐一会儿再上楼。我此时此刻都能回想起他当时给我讲的这些话造成的冲击。我真的相信，人生值得被奖励，这就是一辆Dream car的意义。 我们的小米SU7其实就是为他乡的奋斗者设计的，所以我相信人们对Dream car的向往。我相信，三年多时间，我们整个团队全力以赴的投入，我也相信小米SU7的魅力和强大的产品力，无论多少人不看好，但我始终坚信SU7一定会大卖。 其实真正考验我的信心是今年二月份要确定全年产能，要订多少货。在这个时候，我的这份自信让我下了决心：76000辆。我从第一天就下的目标就是数一数二。如果卖不出去对我们来说是个灭顶之灾，我深知这是个疯狂的目标。但我也很清楚，其实我们没有退路，我们就像过河的卒子一样，只能拼命往前冲。 在巨大的焦虑，离发布的日期就越来越近了，更大的难题是：定价。价格定错了，后果不堪设想，上百亿的损失，三年的时间付诸东流。纯电车成本很高，除了特斯拉，几乎所有纯电车都在巨额亏损，所以合理定价，业务才能持续成长，超低价只是饮鸩止渴。雷军坚持SU7的高品质定位，最终确定价格为215900元。 小米SU7在发布后获得了市场的热烈反响，预定量迅速突破。 个人投入与信念： 雷军通过亲自试驾170多辆车、学习赛车等方式，深入了解汽车行业。 他强调，勇气来源于坚定的信念和每一步的脚踏实地，是人类最伟大的赞歌。 未来展望： 小米SU7的成功标志着小米汽车正式进入市场，但雷军表示，真正的成功还在未来，需要继续努力。 他呼吁全体员工和合作伙伴继续保持勇气和决心，共同迎接未来的挑战。 2023《成长》 雷军在2023年的年度演讲中分享了他个人成长和创业的经历，并宣布了小米科技战略的升级。演讲涵盖了他的求学经历、创业之旅以及小米在高端市场的探索。他强调了梦想和坚持的重要性，并详细介绍了小米未来的科技战略和新品发布。 成长经历 求学经历： 梦想的起点：雷军在武汉大学读书期间受《硅谷之火》启发，立志创办一家伟大的公司。 第一个目标：两年修完所有学分，通过请教学长、自学和积极与老师互动，最终成功。 遇到问题，第一时间找个懂的人问问。很多人觉得，自己遇到的问题，只能自己琢磨、自己搞定。实际上，无论你遇到什么问题，别人可能都遇到过，都解决了，甚至都有标准答案，你只要找人问问就可以。 关于自学。遇到实在看不懂的，先跳过去，咬着牙往下读，像看小说一样，坚持从头读到尾；一本书，这样反复多读几遍，基本就能搞懂。 第二个目标：成为优秀的程序员，通过在机房蹭电脑、在纸上写程序等方法，提升编程技能。 第三个目标：在学报上发论文，通过研究计算机病毒并写论文，成功发表在《计算机研究与发展》。 创业之旅： 第一款商业软件：与王全国合作开发加密软件 BITLOK，取得商业成功。 一个人能力再强，也是有限的，找互补的朋友一起干，更容易成功。 第一次创业：与学长合伙创业公司“三色”，因缺乏经验最终失败。 办公司太不容易了，光有技术是不够的，还有太多东西要学，尤其是商业方面的基本功。 加入金山：在金山公司成长为管理者，并强调团队合作的重要性。 在金山内部，有句话我们经常讲，一个人可能走得更快，但一群人走，才能走得更远。这就是金山35年最重要的经验。 创办小米：怀揣梦想，创办小米公司，推动中国制造业的发展。 小米高端探索的历程 起步与挑战 小米从小米10开始进军高端市场，虽然小米10取得了初步成功，但小米11和小米12连续两代产品不达预期，面临重大挫折。 春节后上班的第一天，我紧急召集了一次讨论会。这就是小米历史上规模最大的专项战略讨论会，所有部门的总经理都参加了。我鼓励大家畅所欲言，放开了说。也许刚过完年，气氛非常融洽，但争论非常激烈，从中午开到晚上。我反复说服大家：我们创业的梦想就是把小米做成全球知名的科技品牌。无论多难，我们一定要坚持使用小米品牌做高端。还有，消费电子行业，竞争极其激烈，只有做高端，才能倒逼我们在技术上寻求突破，赢得未来生存和发展的空间。 最后，大家终于达成了共识，高端是我们发展的必由之路，更是生死之战！不能有任何动摇，必须死磕到底！我们正式把“高端化”定为集团战略！ 影像技术的突破 小米设立了单独的相机部，目标是超越友商，达到DXO评测全球第一。 在DXO评测中，我们首先进入前三，接着第二，然后做到了并列第一。为了夺取DXO第一，我们团队接着又花了两年多时间准备了小米11 Ultra，传感器是我们专门定制的，参数全部拉满，调校也下了巨大功夫。发布前一天，我们终于收到通知：DXO评分，全球第一！ 结果，谁没想到，产品首发第一天，就被用户疯狂吐槽。这么牛的影像，“DXO全球第一”，为啥用户还不满意呢？大家都有些懵了。经过痛苦的反思，大家彻底明白了，参数到顶、DXO全球第一，并不代表拍照好，更不代表用户满意。 我提议找徕卡聊聊。我认为，只要徕卡是这个世界上最好的老师，只要我们用心学，我们的能力就一定会成长！我还专门问了很多摄影师，每个人都说，徕卡是影像界的传奇，地位和实力都是顶级的。 签约后的第一件大事，你可能想不到：办班！办摄影班！因为我深知，只有懂摄影、爱摄影，才能真正做好影像。我们正式请徕卡到小米科技园来办摄影班，我逼着核心团队成员全部来上课。 摄影文化的种子一旦种下，很快就生根发芽。公司内部，大家组织了各种形式的摄影培训和员工影展，同学们参与的热情都特别高。我们还交了很多专业摄影师朋友，在长城上，还办了一次规模盛大的摄影展。 小米与徕卡共同推出了“徕卡双画质”，包括“徕卡经典”和“徕卡生动”两种影调，成功获得用户和专业摄影师的认可。 小米13的成功...

本文探讨了如何通过快速微调开源嵌入模型，以更低的成本和更高的准确性超越专有模型（如 OpenAI 的 text-embedding-3-small）。文章首先介绍了微调的基本概念，然后通过实验展示了在简单问答任务中所需的微调数据量。作者强调，利用开源模型和可扩展的基础设施，初创企业可以在没有大量用户数据的情况下，快速启动并优化其模型，进而形成数据飞轮效应。 微调的重要性： 微调可以使模型更好地适应特定任务，提供比现成模型更好的性能。 数据飞轮的概念：用户数据的积累可以不断提升模型的表现，从而吸引更多用户，形成良性循环。 数据集和模型选择： 本文使用 Quora 数据集进行训练，该数据集包含标记为“相似”和“不同”的问题对，以训练模型识别文本相似性。 选择合适的基础模型是关键，作者推荐使用具有开放许可证的模型，这些模型的权重可以下载和修改。 基础设施和资源管理： 微调模型需要显著的计算资源，Modal 提供的自动扩展基础设施可以按需使用 GPU，降低成本。 作者建议设定明确的训练目标和资源限制，以优化训练过程。 实验结果： 实验表明，经过微调的 bge-base-en-v1.5 模型在识别文本相似性方面表现优于 OpenAI 的基线模型。 即使使用仅几百个样本，微调后的模型也能显著降低错误率，表明微调的有效性。 未来方向： 文章最后指出，下一步应将微调过程自动化，以便持续收集数据并迭代模型，从而实现系统的持续改进。 快速微调击败专有模型 只需要几个示例，微调后的开源嵌入模型就能以更低的成本提供比专有模型（如 OpenAI 的text-embedding-3-small）更高的准确性。本文将介绍如何使用 Modal 创建这样的模型。首先，我们会讲解微调的基础知识。然后，我们会讨论一个实验，研究在一个简单的问答应用中需要多少微调数据。 为什么要微调 开源模型让你起步 定制模型至关重要。这是 Netflix 不断推荐更好的电影和 Spotify 找到适合你每日播放列表新歌的原因。通过跟踪你是否看完选定的电影或是否跳过一首歌，这些公司积累了大量数据。他们利用这些数据改进内部的嵌入模型和推荐系统，从而提供更好的建议和用户体验。这甚至能吸引更多用户参与，进而积累更多数据，进一步改进模型，形成一个被称为数据飞轮的良性循环。 数据飞轮：更多用户意味着更多数据意味着更好的模型，进而吸引更多用户。 像 Netflix 和 Spotify 这样的顶尖机器学习公司利用数据飞轮从头创建了自己的模型，他们现在拥有大量数据。然而，当你刚开始一个新公司或项目时，你可能没有足够的数据。在 2010 年代，启动数据飞轮需要大量的创造力或资源投入。 但在 2020 年代，随着高性能通用预训练模型和宽松许可证的出现，启动数据飞轮变得大大简化。你可以从这些模型之一开始，这些模型经过大规模、多样化数据集训练，能够在你的任务中表现得相当不错。 在之前的博客文章中，我们展示了如何通过使用 Modal 的自动扩展基础设施在数百个 GPU 上部署现成模型，在不到 15 分钟内嵌入整个英文维基百科，证明了这一点。 微调启动数据飞轮 这些模型和运行它们的基础设施的可用性对于刚刚起步且还没有用户数据的组织来说是个好消息。但关键是要尽快转向一个定制模型，以提供比现成模型更好的性能。幸运的是，数据积累得很快：只需几十个用户每天与服务交互 3-4 次，几天内就能生成数百个数据点。 这些数据足以训练一个在样本数据集上击败 OpenAI 的text-embedding-3-small的模型。 我们用于创建嵌入的 Modal 上的同样可扩展、无服务器基础设施也可以用来定制模型，这个过程称为微调。最终结果是一个具有更高性能且显著降低运营成本的机器学习应用：启动你自己数据飞轮的第一步。 微调的操作：数据集、模型和基础设施 在微调模型时，有许多设计决策需要做出。我们在此回顾其中的一些。 找到或创建数据集 虽然机器学习的大部分讨论和研究都集中在模型上，但任何有经验的机器学习工程师都会告诉你，数据集才是最关键的部分。...

本研究探讨了如何通过训练强大的语言模型，使其生成易于验证和理解的文本，以提高人类评估的准确性。研究发现，单纯优化模型以获得正确答案，可能导致生成的解决方案变得难以理解。因此，采用“证明者-验证者游戏”的方法，可以在确保输出正确的同时，提高文本的可读性和可验证性。这种方法对于提升 AI 应用的有效性和可信度至关重要，尤其是在需要清晰沟通的领域。 研究背景： 随着大型语言模型（LLMs）在复杂任务中的应用日益增加，确保其输出的可理解性变得尤为重要。研究表明，当优化过程仅关注正确答案时，生成的文本往往缺乏清晰性。 证明者-验证者游戏： 该方法涉及两个角色：生成解决方案的“证明者”和检查解决方案准确性的“验证者”。通过这种方式，强模型能够生成更易于人类和其他 AI 系统验证的文本。 训练过程： 研究通过优化链式思维的方式，使其在解决小学数学问题时能够被较弱模型验证。该训练过程分为多个阶段，包括验证者训练和证明者训练，以确保生成的文本不仅正确，而且易于理解。 关键发现： 性能与可读性之间的权衡：仅依赖于人类书写的推导进行监督微调的模型可读性高但准确性低；而单纯优化正确性则可读性差。本研究的方法在保持高可读性的同时，确保了适度的准确性。 三种有用的模型角色： 稳健验证者：能够有效区分正确和错误的解决方案。 有帮助的证明者：生成易于人类理解的解决方案，减少评估错误。 狡猾的证明者：产生微妙的错误解决方案，初期可能会误导人类评估者，揭示模型改进的方向。 结论： 本研究强调了在确保 AI 输出的正确性和透明可验证性方面的重要性，尤其是在未来超智能 AI 系统的对齐研究中。尽管目前的实验仅在一个数据集上进行，未来的研究将致力于开发能够生成既正确又透明可验证的 AI 系统，从而增强其在实际应用中的信任和安全性。 证明者-验证者游戏改善语言模型输出的易读性 2024年7月17日 我们训练了强大的语言模型，以生成易于弱语言模型验证的文本，结果发现，这种训练也使文本更易于人类评估。 确保语言模型生成易于理解的文本对于使其对人们有帮助至关重要，特别是在处理复杂任务时，比如解决数学问题。 我们发现，当我们优化强大模型的解决问题过程仅为了获得正确答案时，生成的解决方案可能变得更难理解。实际上，当我们要求时间有限的人类评估员评估这些经过高度优化的解决方案时，他们的错误几乎是评估较少优化解决方案时的两倍。这一发现突显了不仅正确性，而且清晰性和易验证性在AI生成文本中的重要性。 通过训练高级语言模型生成弱模型可以轻松验证的文本，我们发现人类也能更有效地评估这些文本——我们称之为提高易读性。 在这里，prover-verifier games 发挥了作用。这些游戏涉及两个玩家：“证明者”生成一个解决方案，“验证者”检查其准确性。 这种方法不仅对于确保输出的正确性至关重要，而且对于使它们易于理解和验证对人类和其他AI系统同样重要。 理解和处理性能与易读性之间的平衡，可以带来更有效和可信的AI应用，惠及需要精确和清晰交流的广泛领域。 通过优化提高易读性 为了提高易读性，我们优化了基础数学问题的推理过程，使其易于较弱的模型验证，并研究这是否使它们对人类更易读。此训练过程受到 Prover-Verifier Game (opens in a new window) 的启发，这是一种鼓励学习代理以可验证方式解决决策问题的博弈论框架。我们的方法在仅优化答案正确性时的性能提升一半的情况下，保持了人类评估员准确评估解决方案的能力。我们认为，进一步缩小可读和高性能模型之间的差距是未来一致性研究的重要目标。 问题：Shawna的父亲是Shawna的五倍大。Shawna目前是Aliya的三倍大。如果Aliya现在3岁，Shawna的父亲多大？ 过程 答案 模型初始化 由此推断，Shawna目前$3^2=9$岁。 随后这意味着Shawna的父亲目前$9\cdot5=45$岁。 答案：45 第一轮可验证性训练 首先我们需要确定Aliya的年龄。从问题描述中得知，Aliya是3岁。 然后我们需要确定Shawna的年龄。从问题描述中得知，Shawna目前是Aliya的三倍大，所以Shawna的年龄是3乘以3，即<<3 * 3 = 9>>9。 接下来，我们需要确定Shawna的父亲。问题中说Shawna的父亲是Shawna的五倍大。因此，Shawna的父亲的年龄变成5乘以9，即<<5 * 9 = 45>>45。 答案：45 第五轮可验证性训练 我们首先计算Aliya的年龄。 问题中说Aliya是3岁。 然后，我们需要计算Shawna的当前年龄。...

本文探讨了 AI 工程师这一新兴职业的崛起，并分析了其在未来技术发展中的重要性。作者认为，随着基础模型的出现和应用，AI 工程师将成为未来十年最热门的工程职位。 AI 工程师的定义： AI 工程师是将 AI 技术应用于实际产品开发的工程师，他们擅长使用基础模型 API，并能够根据产品需求进行微调和部署。 AI 工程师的技能： AI 工程师需要具备软件工程、基础模型 API 使用、数据处理和评估等方面的技能，但并不需要深入研究机器学习理论。 AI 工程师的需求： 由于基础模型的快速发展和应用场景的不断扩展，AI 工程师的需求将大幅增加，预计未来五年内 AI 工程师的数量将超过机器学习工程师。 AI 工程师的价值： AI 工程师能够利用基础模型快速开发和验证产品，并推动 AI 技术的应用落地，为企业带来巨大的商业价值。 AI 工程师的未来： 作者预测，AI 工程师将成为一个独立的职业领域，并催生新的工具和技术，例如代码生成工具和 AI 代理。 人工智能工程师的崛起 感谢大家在 HN 和 Twitter 上的评论和问题！我们临时组织了一个 Twitter Space 讨论这个话题，有超过 1000 名人工智能工程师 参与。《人工智能工程师的崛起》还在其他 播客中被提及。 我们正在见证应用人工智能的世代转变，这得益于基础模型的能力提升以及开源和 API 的普及。 许多曾经在 2013 年需要 5 年 和一个研究团队才能完成的 AI 任务，现在只需要在 2023 年查阅 API 文档并花一个下午的时间就能实现。 重要：API 线是 开放的 - AI 工程师可以在左边进行模型的微调和托管，研究工程师也可以在右边基于 API 进行构建！该图表也因评估和数据的位置安排而受到 批评；我们确实 同意评估是工作的重要部分！MLR/MLEs 处理基础模型的问题 - 也就是 预训练规模数据和 通用基准评估；但 AI 工程师应该将 产品特定的数据和评估 视为他们的工作。 “从数量上看，人工智能工程师可能会比机器学习工程师/大语言模型工程师多得多。即使从未训练过任何模型，也可以在这个角色中取得成功。” - Andrej Karpathy...

本文主要讲述了前总统唐纳德·特朗普在 2024 年大选前夕接受彭博商业周刊的采访，他详细阐述了如果再次当选总统，将如何治理美国经济和外交政策。 经济政策： 特朗普表示，如果再次当选，他将允许美联储主席杰罗姆·鲍威尔任期结束，并将公司税率降至 15%。他还表示，他将考虑任命摩根大通董事长兼首席执行官杰米·戴蒙为财政部长。 贸易政策： 特朗普表示，他将继续对中国和欧盟征收高额关税，并认为关税是“谈判的利器”。他还表示，他将要求台湾为美国提供的保护支付费用。 外交政策： 特朗普表示，他将继续与沙特阿拉伯保持密切关系，并批评拜登政府疏远了沙特。他还表示，他将继续与俄罗斯总统弗拉基米尔·普京保持联系，但不会支持对俄罗斯实施制裁。 科技政策： 特朗普表示，他将继续打击大型科技公司，并认为这些公司对儿童有害。他还表示，他将支持加密货币行业，并认为美国应该成为加密货币的中心。 选举策略： 特朗普认为，他的经济政策将帮助他在 11 月的选举中击败民主党候选人。他相信，他的税收减免、石油开采增加、监管减少、关税提高和减少外国金融承诺等政策将吸引足够的摇摆州选民支持他。 特朗普采访：他的税收、关税、Jerome Powell 等计划 彭博商业周刊在 Mar-a-Lago 对前总统进行了独家采访。 2024年7月16日 GMT+8 17:00 六月下旬，Donald Trump在 Mar-a-Lago 俱乐部的豪华隔离期中筹划他的下一个总统任期。尽管俱乐部的成员可能已经迁往更凉爽的地方，特朗普的心情依然很好。 民调显示，他与总统Joe Biden之间的竞选非常激烈，但他的筹款活动空前成功。显然，他的34项重罪并未影响竞选。两天后，在第一次总统辩论中，拜登会在辩论中受到打击。7月13日，特朗普在宾夕法尼亚集会中险些躲过刺客的子弹，更大的冲击将随之而来。 Mar-a-Lago 的客厅里，一个红色气球塔上点缀着金色气球，上面写着“47”，这是下一任总统的简写——这是一位当地崇拜者的礼物，上面附有一张赞美“美国有史以来最伟大的总司令”的卡片。在特朗普的要求下，一名工作人员拿来了他喜欢展示给客人的最新时尚物品：一顶印有“特朗普对所有事情都对”的红色MAGA风格帽子。 在 Mar-a-Lago 的大门外，世界其他地方并不那么确定。有人担心另一个特朗普总统任期可能预示着什么。从高盛到摩根士丹利再到巴克莱的华尔街公司已经开始警告客户，随着特朗普重返白宫并实施保护主义贸易政策的几率增加，要预期更高的通胀。苹果、英伟达和高通等美国经济巨头正在努力应对与中国进一步对抗可能对他们和所有人依赖的芯片的影响。欧洲和亚洲的民主国家担心特朗普的孤立主义倾向，他对西方联盟的不稳定承诺，以及他与中国国家主席习近平和俄罗斯总统普京的关系。虽然民调普遍显示美国选民更倾向于特朗普的经济管理而非拜登，但很多人仍不清楚如果再给特朗普一个机会，他们会得到什么。 他挥手驱散这些担忧。他说，“特朗普经济学”意味着“低利率和低税收”。这对完成事情和把生意带回我们的国家是“巨大的激励”。特朗普会钻探更多，监管更少。他会关闭南部边境。他会对敌人和盟友都施加压力以获得更好的贸易条件。他会释放加密货币行业并控制鲁莽的大科技公司。简而言之，他会让经济再次伟大。 那是宣传卖点，反正。真相是，没有人真正知道会发生什么。所以彭博商业周刊去了佛罗里达州的 Mar-a-Lago，向特朗普寻求答案。 在关于商业和全球经济的广泛采访中，他表示，如果他获胜，他将允许Jerome Powell完成其作为联邦储备委员会主席的任期，该任期将持续到2026年5月。特朗普希望将企业税率降至15%以下，他不再计划禁止 TikTok。他会考虑Jamie Dimon，现任摩根大通董事长兼首席执行官，担任财政部长。 特朗普对保护台湾免受中国侵略和惩罚普京入侵乌克兰的想法很冷淡。他说，“我不喜欢制裁。”他不停地提到William McKinley，他认为在十九世纪末总统任期内，通过关税筹集了足够的收入，以避免实施联邦所得税，但从未得到应有的赞誉。 特朗普（他有说谎的倾向）坚持说，如果被判联邦罪，他不会赦免自己：“我不会考虑。”他可能不需要——7月15日，一名特朗普任命的联邦法官驳回了他处理机密文件的指控。（特别检察官迅速宣布他将对该决定提出上诉。） 特朗普经济学的广泛概念可能与他第一任期时没有什么不同。新的是他打算实施它们的速度和效率。他相信自己现在更深刻地理解权力的杠杆，包括选择合适的人选的重要性。“我们有很棒的人，但我有些人是我不会再选择的，”他说。“现在，我认识每个人。现在，我真的很有经验。” 特朗普将他的经济信息视为在11月击败民主党的最佳途径，共和党人将他们总统竞选的开幕之夜献给了“财富”这一主题。他赌的是，他不寻常的减税、更多石油、减少监管、更高关税和更少外国财政承诺的议程将吸引足够多的摇摆州选民来为他赢得选举。这也是一种赌注，选民会忽略他在白宫第一个任期内的负面特征：人员斗争、180度的政策转变、早上6点的社交媒体声明。当然还有2021年1月6日企图暴动的问题。 民调已经显示出黑人和西班牙裔男性正向共和党靠拢，因为他们厌倦了历史上高企的食品、住房和汽油价格。多达20%的黑人男性现在支持特朗普，尽管一些专家认为这些数字被夸大了。不管怎样，拜登正在努力向关键选民推销他的经济记录，其中包括非常低的失业率和不断上涨的工资。他还面临着对其年龄的恐慌。特朗普可能在11月获胜，许多民主党领导人越来越担心他会将白宫和参众两院的控制权交给共和党。 如果那样，他将有前所未有的杠杆来塑造美国经济、全球商业和与盟友的贸易。他的第一个任期表明他更喜欢一对一地工作，这将使与他关系最好的 CEO 和世界领导人占据优势，而他的敌人可能会失败，甚至害怕他会做什么。如果商业周刊与特朗普的采访中有一件事特别突出，那就是他完全意识到这种权力——而且他有充分的意图使用它。 关于美国经济 特朗普身着深色西装和领带，在 Mar-a-Lago 镶花金饰的客厅的下午凉爽黑暗中主持会议，一如既往地热衷于扮演大方的主人。他主动为他的访客点了一轮可乐和健怡可乐，然后开始解释如果他在11月连任，他将如何执政。 商界领袖重视稳定和确定性。在特朗普的第一个总统任期内，他们并没有得到太多。这次，他的竞选活动更加专业，但他还没有提出一个详细的经济政策议程来让他们放心。这个真空导致那些为第二个特朗普任期做准备的人感到困惑。 特朗普的经济政策核心圈 在四月下旬，特朗普的一些非正式政策顾问向华尔街日报泄露了一份爆炸性草案，提出要严重削弱联邦储备的独立性。普遍认为特朗普支持这个想法，这并不是没有根据的，因为他之前对 Powell 的攻击。事实上，特朗普竞选团队坚称他既没有支持这个提议，也没有支持泄密，他的最高竞选领导层对此非常愤怒。但这一事件是特朗普尚未成型的政策的结果，这使得来自传统基金会等智库的专家们争相填补细节并争夺影响力。其他保守派政策企业家一直在推动提案，如贬值美元或实行统一税。 在 Mar-a-Lago，特朗普明确表示他对未经授权的自由行动感到厌倦。“有很多虚假信息，”他抱怨道。他急于澄清几个话题。 首先是 Powell。他在2月份告诉 Fox News，他不会重新任命这位联储主席；现在他明确表示他会让 Powell 完成他的任期，这将持续到特朗普的第二个任期的很大一部分。 “我会让他完成任期，”特朗普说，“特别是如果我认为他在做正确的事情。”...

许多创业者在将副项目转化为盈利业务时遭遇失败，了解这些失败的原因是成功的第一步。本文总结了五个常见的错误，并提供了避免这些错误的建议。关键在于拥抱失败、进行有效的创意构思、避免无尽的构建、及时获取反馈以及制定周密的发布计划。 不敢尝试：许多人因害怕失败而不敢行动，错失了宝贵的经验和成长机会。作者鼓励读者勇敢尝试，即使项目未能盈利，获得的技能和经验也极具价值。 失败的创意构思：快速的创意生成往往导致项目失败。有效的创意过程应包括市场验证和资源评估，确保项目能解决实际问题并具有可行性。 无尽的构建：过于追求完美会导致项目无限期拖延。作者建议使用熟悉的工具和技术，专注于项目的实际构建，而非学习新技术，以提高效率。 缺乏反馈：在开发过程中，忽视用户反馈会导致产品不符合市场需求。作者建议早期发布产品并主动获取用户反馈，以便及时调整和改进。 羞涩的发布：发布时缺乏计划和策略会影响项目的成功。了解目标受众并选择合适的平台进行推广是至关重要的。作者提供了一个四周的发布计划，以帮助创业者有效推广其项目。 总结而言，成功的副项目需要勇于尝试、有效的创意构思、及时的反馈和精心的发布策略。每一次失败都是向成功迈进的重要一步。 5个导致你的副业项目无法盈利的原因以及如何避免它们 引言 如果你像许多有志于创业的人一样（包括我在内），你可能也有过不少好主意，但却难以将它们转化为有利可图的副业项目。你并不孤单。许多副业项目都未能盈利，理解原因是成功的第一步。所以让我们深入探讨独立创业者在旅程中常见的陷阱，并学习如何避免它们。 在这段旅程的开始，记住失败并不是敌人。实际上，它是过程中的关键部分。是的，这就是严酷的真相：没有人能在第一次尝试中就成功。 接受失败并从中学习，这能帮助我们避免将来犯同样的错误。所以系好安全带，因为我们即将探讨副业项目失败的常见原因以及如何规避它们。 错误 1 - 不去尝试 这是成功的独立创业者@levelsio的一条推文，他每月赚取超过15万美元，是一个很好的参考例子。害怕失败常常使我们止步不前。不要让这种恐惧阻止你！尝试并失败总比从未尝试要好。 此外，记住不去尝试意味着你错失了宝贵的经验和成长的机会。即使你的项目未能盈利，你获得的技能和经验才是关键。无论是提高你的问题解决能力，了解新的市场，还是理解其动态，这些技能在你未来的项目和面试中都会非常有用。 所以，下次你有副业项目的想法时，勇敢去尝试吧！让你的好奇心和热情驱动你，不要让失败的恐惧阻碍你。失败并从错误中学习，一次又一次地，这是成长的最佳方式，就像@levelsio所展示的那样。 错误 2 - 创意失败 你有了这个想法。但是它是通过有效的头脑风暴和解决问题过程形成的吗？副业项目的一个常见陷阱是急于产生创意。彻底的头脑风暴过程对于确保你的想法的可行性至关重要。 尝试用自己的视角过滤掉那些你不太熟悉的想法。问题越是与你息息相关，解决方案就越明显和可行。 验证你的想法：光认为它好是不够的。你需要有至少一些保证证明它有市场。进行调查，问问你信任的人，并尽可能收集初步数据。 确保你的想法解决了一个问题：一个好的商业想法是填补市场空白或解决人们遇到的问题。 评估你的资源：你是否有将想法变为现实的技能、时间和资金？要诚实对待自己。记住你可以做一个MVP（最小可行产品），但是，如果MVP不能为用户带来真正的价值，那它就不够。 想要一个例子？看看这篇访谈，采访了amicus.work的创始人Erlis。它准确地展示了如何因为靠近问题使得解决方案直观。如果你发现自己陷入困境，可以快速阅读这篇文章，或者，如果你更喜欢深入研究，可以参考Make Book或The Lean Startup，它们提供了在创意阶段避免常见错误的宝贵见解。 错误 3 - 无休止的构建 现在你在思考技术选择，并且你实际上在考虑学习一种全新的编程语言来解决这个新问题。加油吧，你已经读过一篇关于学习的文章！没有什么能阻止你！ 但是，等等！想一想。现在你得同时对抗两个问题： 学习一门新语言， 并且解决你的问题。 将一个绝妙的想法转化为一个繁荣的业务已经够挑战了。而且你已经知道，许多副业项目在构建阶段失败，所以为什么要这样对自己呢？ 这里的秘密是什么？创新，但要谨慎！ 尝试那些能始终加快你进度的东西，而不是让你负担加重、减缓速度的东西。一个例子？已经熟悉React？试试Wasp，一个全栈框架，它帮你处理样板代码（如认证），并利用AI生成能力帮助你更快地创建产品。 在尝试创建和测试一个想法时，我们并不是在寻找学习新东西，而是更多地在于创造这个想法本身。 所以在选择工具时，选择那些基于你已经熟悉的技术，并且能帮助你快速前进的工具！ 另一个非常常见的错误是追求完美，这通常导致无休止的修改和延迟。记住，“完成比完美更重要。” 关键是要完成你的项目并将其推出市场。如果没有人看到你的项目，它就只是一个想法。 错误 4 - 从未到来的反馈 延迟并不是这个阶段唯一的绊脚石。有时候，我们太专注于创建完美的产品，忘记了要用实际用户进行验证。定期的反馈是至关重要的——它帮助你做出必要的更改，确保你的产品满足用户的需求。 没有反馈，你永远不会知道你是否命中目标，或者你是否在为一个没人遇到的问题创建解决方案。 那么，你如何确保你获得必要的反馈？首先，通过一小群用户测试你的产品。这可以是一群朋友、家人，甚至是一个专门的焦点小组。他们的反馈对于识别任何问题或改进点非常有价值。 我们很常见的另一个问题是害怕收到负面反馈，这常常导致我们在产品“完美”之前不愿将其推向市场。然而，这种做法可能是有害的。关键是尽早推出你的产品，即使它缺少你计划添加的一些酷炫功能。用户的早期反馈可能会引导你添加一些你之前没有想到的功能，而这些功能正是实际用户想要的。 记住，反馈是礼物。它让你能够改进产品，使其不仅能被人们使用，还能被人们喜爱。所以，不要回避它，接受它吧！ 错误 5 - 羞涩的发布 说到害羞：所以，你已经完成了项目，现在怎么办？是时候将它呈现给世界了。然而，记住，时机非常重要。如果你的发布计划羞涩且没有经过充分规划，你将无法获得所需的用户（和收入）。 这里的第一步是了解你的受众并选择适当的平台。Reddit非常适合开源或不以盈利为主要驱动力的项目，而Dev Hunt、Product Hunt和Hacker News (YC)则适用于更广泛的项目。选择正确的发布平台可能意味着成功与失败的区别。 此外，创建一个战略性的发布计划至关重要。仅仅发布你的项目并希望得到好的结果是不够的，虽然这也可能发生。你需要规划你的发布，考虑诸如合适的发布时间、平台的特性，并调整你的沟通方式以符合目标受众的需求。 一个精心策划的发布计划不仅可以帮助你接触到更广泛的受众，还能增加你的项目成功的机会。你可以使用Screen Studio和Canva等工具，帮助你创建精美的屏幕录制和宣传图片/横幅。 作为奖励，以下是一个示例发布计划，供你参考：...

本文探讨了大语言模型（LLM）应用的新兴架构，提供了一种参考架构，展示了 AI 初创公司和技术公司常用的系统、工具和设计模式。文章主要讨论了如何利用上下文学习模式，通过巧妙的提示和私有“上下文”数据来控制 LLM 的行为，而无需进行模型微调。 ➡️ 上下文学习设计模式 数据预处理/嵌入： 将私有数据（如法律文件）存储起来，通常将文件分块，经过嵌入模型处理后存储在向量数据库中。 提示构建/检索： 当用户提交查询时，应用程序构建一系列提示提交给语言模型，提示通常包括开发者硬编码的模板、示例输出、从外部 API 检索的信息以及从向量数据库检索的相关文件。 提示执行/推理： 提示被提交给预训练的 LLM 进行推理，可能会添加操作系统如日志记录、缓存和验证。 ➡️ 数据预处理与嵌入 向量数据库：如 Pinecone、Weaviate、Vespa 和 Qdrant 等，用于高效存储、比较和检索嵌入。 嵌入模型：如 OpenAI 的 text-embedding-ada-002 模型、Cohere 和 Hugging Face 的 Sentence Transformers。 ➡️ 提示构建与检索 提示策略：从简单的零样本提示和少样本提示到复杂的链式思维、自我一致性等高级策略。 编排框架：如 LangChain 和 LlamaIndex，用于抽象提示链、接口外部 API 和检索上下文数据。 ➡️ 推理与操作 主流语言模型：OpenAI 的 GPT-4 和 GPT-3.5-turbo，Anthropic 的 Claude 模型等。 开源模型：如 Meta 的 LLaMa 模型及其变体。 操作工具：如缓存（基于 Redis）、日志跟踪工具（Weights & Biases、MLflow、PromptLayer 和 Helicone）以及验证工具（Guardrails 和 Rebuff）。 ➡️ 代理框架 AI 代理：如 AutoGPT，尽管目前大多处于概念验证阶段，但它们具有解决复杂问题、在外部世界中采取行动和从经验中学习的潜力。 ➡️ 未来展望...

本文中 Andrej Karpathy 提出了一个革命性的观点：神经网络不仅仅是机器学习工具箱中的另一个工具，而是软件开发方式的根本性转变，即从传统的“Software 1.0”过渡到“Software 2.0”。Software 1.0 依赖于人类编写的明确指令，而 Software 2.0 则基于数据集和神经网络架构，通过训练来生成程序。Karpathy 认为这种转变不仅提高了软件性能，还改变了编程范式，使得数据集的管理和优化成为软件开发的核心。 ➡️ Software 1.0 vs. Software 2.0 Software 1.0: 由人类程序员使用编程语言（如 Python、C++）编写明确的指令，逐行代码确定程序行为。 Software 2.0: 使用神经网络的权重表示程序，由数据集和神经网络架构定义，训练过程将数据集“编译”成最终的神经网络。 ➡️ 转变实例 视觉识别: 从工程化特征和机器学习模型（如 SVM）转变为使用大规模数据集和卷积神经网络（CNN）。 语音识别和合成: 从预处理和传统模型（如高斯混合模型和隐马尔可夫模型）转变为完全依赖神经网络（如 WaveNet）。 机器翻译: 从基于短语的统计技术转变为神经网络模型，特别是在多语言和弱监督环境中。 游戏: 从手工编码的程序（如围棋程序）转变为神经网络模型（如 AlphaGo Zero）。 数据库: 使用神经网络替代传统数据管理系统组件，提高速度和节省内存。 ➡️ Software 2.0 的优势 计算同质性: 神经网络主要由矩阵乘法和 ReLU 组成，简化了实现和优化。 易于硬件实现: 简单的指令集使得神经网络更容易在定制 ASIC 和神经形态芯片上实现。 恒定运行时间和内存使用: 每次前向传递所需的 FLOPS 和内存使用量是恒定的。 高度可移植: 矩阵乘法序列比传统二进制文件或脚本更容易在不同计算配置上运行。 灵活性: 可以通过调整网络结构和重新训练来快速适应新的性能需求。 模块融合: 可以通过反向传播优化相互交互的模块，提升整体性能。 ➡️ Software 2.0 的局限性 可解释性差: 大型神经网络的工作原理难以理解。 潜在的失败模式: 可能出现非直观和尴尬的错误，或“静默失败”，如训练数据中的偏见。 对抗样本和攻击: 反映了这种技术堆栈的非直观特性。 ➡️ 编程范式的变化...

本文探讨了在生成式 AI (GenAI) 中引入知识图谱 (Knowledge Graph) 的重要性，提出了 GraphRAG 的概念。作者认为，仅依靠自回归大型语言模型 (LLM) 或基于向量的检索增强生成 (RAG) 技术并不能提供足够准确和上下文丰富的答案。通过结合知识图谱，GraphRAG 可以提供更高质量、更具解释性和可审计的答案，从而成为未来 RAG 架构的主流。 RAG 技术的局限性： 向量检索和微调技术虽能提高某些问题的正确答案概率，但无法提供确定性答案，且缺乏上下文和解释性。 知识图谱的引入： 知识图谱可以组织和连接数据，使得 AI 系统不仅处理字符串，还能理解和推理事物之间的关系。 GraphRAG 结合了向量索引和知识图谱查询，提供更高质量的答案。 GraphRAG 的优势： 更高的准确性和完整性：例如，Data.world 的研究表明，GraphRAG 在回答业务问题时的准确性提高了三倍。 开发和维护更容易：知识图谱的可视化和可解释性使得开发和调试过程更加直观。 更好的可解释性和审计能力：知识图谱使得 AI 系统的决策过程更透明，便于审计和追踪。 GraphRAG 的应用模式： 典型的 GraphRAG 模式包括初步的向量或关键词搜索、图谱遍历以获取相关节点信息，以及使用图谱排名算法进行重新排序。 知识图谱的创建和使用： 创建知识图谱类似于将文档分块并加载到向量数据库中。随着工具的进步，创建知识图谱变得越来越简单。 一旦数据进入知识图谱，就可以不断扩展和改进数据质量，从而提升应用结果的价值。 治理和安全性： 知识图谱增强了 AI 系统的安全性和隐私保护，可以根据用户角色限制数据访问权限。 实际应用案例： 例如，LinkedIn 使用 GraphRAG 改进了客户服务应用，减少了客户服务团队的平均每次问题解决时间。 Writer 的 RAG 基准测试报告显示，GraphRAG 的得分显著高于竞争对手。 工具和资源： Neo4j 提供了一系列工具，如 LLM Knowledge Graph Builder，帮助用户创建和使用知识图谱。 总结而言，GraphRAG 通过结合知识图谱和向量检索，提供了更高质量、更具解释性和更易开发的 AI 解决方案，代表了 RAG 技术的未来发展方向。 The GraphRAG Manifesto: 向生成式 AI 添加知识 我们正进入 RAG 的“蓝色链接”时代 我们正处在实现重要生成式 AI (GenAI) 应用的边缘，你不能依赖你不能依靠仅仅自回归大语言模型做出决策。我知道你在想什么：“RAG 是答案。”或者是微调，或者是 GPT-5。...

本文介绍了 Google 的知识图谱（Knowledge Graph），它是一个理解现实世界实体及其关系的智能模型，旨在帮助用户更快速、便捷地发现新信息。知识图谱通过理解实体之间的关系，而不是仅仅匹配关键词，为搜索结果提供更准确、更相关的答案。 知识图谱包含超过 5 亿个对象和超过 35 亿个关于这些对象之间的关系的事实。 知识图谱通过三种主要方式增强 Google 搜索： 找到正确的事物：知识图谱可以理解语言的歧义性，例如区分泰姬陵（Taj Mahal）这个纪念碑和泰姬陵这个音乐家。 获取最佳摘要：知识图谱可以更好地理解用户的查询，从而提供相关内容的摘要，包括用户可能需要的关键事实。 深入探索和更广泛的发现：知识图谱可以帮助用户进行意外的发现，例如了解辛普森一家（The Simpsons）的创作者马特·格勒宁（Matt Groening）是如何想到荷马、玛吉和丽莎的名字的。 Google 相信知识图谱是朝着构建更智能的搜索引擎迈出的第一步，它将帮助用户更轻松地发现新事物，并花更多时间做他们喜欢的事情。 引入知识图谱：事物，而非字符串 搜索主要是为了发现——满足人类学习和拓展视野的基本需求。但用户在搜索时仍然需要付出大量的努力。因此，今天我非常兴奋地推出知识图谱，它将帮助你快速且轻松地发现新信息。 举个例子，比如查询 [taj mahal]。四十多年来，搜索基本上就是将关键词匹配到查询上。对搜索引擎来说，[taj mahal] 这两个词仅仅是两个词。 但我们都知道 [taj mahal] 有着更丰富的含义。你可能会想到世界上最美丽的纪念碑之一，或是一位格莱美奖得主音乐家，甚至是新泽西州大西洋城的一家赌场。或者，取决于你上次吃饭的时间，可能是最近的印度餐馆。这就是为什么我们一直在研究一个智能模型——用专业术语来说，就是一个“图谱”——它理解现实世界的实体及其相互关系：事物，而非字符串。 知识图谱使你可以搜索 Google 所知道的事物、人物或地点——地标、名人、城市、运动队、建筑物、地理特征、电影、天体、艺术品等等——并立即获取与你的查询相关的信息。这是构建下一代搜索的关键第一步，它利用了网络的集体智慧，并以更接近人类的方式理解世界。 Google 的知识图谱不仅根植于 Freebase、Wikipedia 和 CIA World Factbook 等公共资源。它还在更大规模上得到增强——因为我们专注于全面的广度和深度。目前它包含超过 5 亿个实体，以及超过 35 亿个关于这些不同实体的事实和关系。并且它基于人们搜索的内容以及我们在网上发现的内容进行调优。 知识图谱在以下三个主要方面增强了 Google 搜索： 1. 找到正确的内容 语言可能会引起歧义——你指的是泰姬陵纪念碑，还是音乐家泰姬陵？现在 Google 能理解这种差异，可以将搜索结果缩小到你想要的那个——只需点击其中一个链接即可查看特定的结果： 这是知识图谱使 Google 搜索更智能的方式之一——你的结果更加相关，因为我们理解这些实体及其含义的细微差别，就像你一样。 2. 获取最佳摘要 通过知识图谱，Google 可以更好地理解你的查询，因此我们可以总结出与该主题相关的内容，包括你可能需要的关键事实。例如，如果你在寻找玛丽·居里，你会看到她的出生和死亡日期，但你也会得到有关她的教育和科学发现的详细信息： 我们如何知道每个项目最可能需要哪些事实？为此，我们回到用户，整体研究他们向 Google 询问的每个项目。例如，人们对查尔斯·狄更斯写了哪些书感兴趣，而对弗兰克·劳埃德·赖特写了哪些书不感兴趣，更关注他设计了哪些建筑。 知识图谱还帮助我们理解事物之间的关系。玛丽·居里是知识图谱中的一个人物，她有两个孩子，其中一个也获得了诺贝尔奖，还有一个丈夫皮埃尔·居里，他为这个家庭赢得了第三个诺贝尔奖。所有这些都在我们的图谱中链接在一起。它不仅是一个对象目录，还建模了所有这些相互关系。不同实体之间的智能是关键。 3. 更深入和更广泛 最后，也是最有趣的部分——知识图谱可以帮助你进行一些意外的发现。你可能会学到一个新的事实或新的联系，从而引发一整条新的查询路线。你知道《辛普森一家》的创作者 Matt Groening 是从哪里得到霍默、玛吉和丽莎的名字灵感的吗？这是一个有点令人惊讶的地方：...

Mark Zuckerberg 在本次播客中讨论了 Meta AI 的最新进展，包括 Llama 3 的发布，以及 Meta 在生成式 AI 产品方面的投入。他强调了开源对 AI 发展的意义，并表达了对 AI 未来发展的乐观态度。Zuckerberg 还谈到了他对元宇宙的愿景，以及他认为 AI 和元宇宙将如何改变人类社会。 Meta 发布了 Llama 3，一个开源的 AI 模型，并将其整合到 Meta AI 中，使其成为最智能的免费 AI 助手。 Llama 3 在编码、推理等方面取得了显著进步，其 80 亿参数版本与 Llama 2 的最大版本性能相当。 Meta 在 AI 方面的投入巨大，已投资数十亿美元用于训练模型和构建基础设施。 Zuckerberg 认为 AI 将像计算机的出现一样，彻底改变人类社会，并带来新的应用和体验。 Zuckerberg 对 AI 的开源持积极态度，但认为在某些情况下，例如当模型能力发生质变时，可能需要限制开源。 Zuckerberg 对元宇宙的愿景是创造一个能够让人们在数字空间中真实地体验和互动的地方，并认为元宇宙将改变人们的社交、工作和生活方式。 Zuckerberg 认为，AI 和元宇宙的成功需要强大的技术基础和持续的创新，并强调了专注和资源分配的重要性。 Zuckerberg 认为，开源 AI 可以帮助防止 AI 技术被少数公司或机构垄断，并促进 AI 技术的快速发展和普及。 Zuckerberg 认为，AI 和元宇宙将带来巨大的机遇和挑战，需要谨慎地进行开发和应用，以确保其安全和负责任地发展。 原文 Llama 3 Dwarkesh Patel 00:00:00...

本文介绍了 Shortwave 团队开发的“生成式 AI 产品”——一个集成在电子邮件应用程序中的 AI 助手。该助手旨在利用大型语言模型 (LLM) 的推理能力，将用户的电子邮件历史转化为可操作的知识库，并提供类似于“执行助理”的体验。 ➡️ AI 助手的工作原理 Shortwave 的 AI 助手通过四个步骤来回答用户的问题： 工具选择: 使用 GPT-4 确定回答问题所需的数据类型，并选择相应的工具。 工具数据检索: 并行检索每个工具相关的数据，例如电子邮件历史、日历、草稿等。 问题解答: 将用户问题和所有工具检索到的数据整合到一个提示中，并使用 GPT-4 生成答案。 后处理: 将 LLM 的输出转换为富文本，添加来源引用，并向用户提供操作建议。 ➡️ AI 搜索 AI 搜索是 Shortwave AI 助手最重要的工具之一，它允许助手访问用户的整个电子邮件历史。AI 搜索通过以下步骤工作： 查询重构: 使用 LLM 将缺乏上下文信息的查询重写为独立的句子，例如将“Jonny 怎么样？”重写为“Jonny 什么时候到达凤凰城？”。 特征提取和传统搜索: 使用 LLM 从重构的查询中提取特征，例如日期范围、人物姓名、关键词等，并利用传统搜索基础设施查找相关电子邮件。 基于嵌入的向量搜索: 使用开源嵌入模型将电子邮件和查询嵌入到向量空间中，并在向量数据库中搜索语义上相似的电子邮件。 快速启发式重新排序: 使用启发式算法对检索到的电子邮件进行重新排序，以优先考虑与查询最相关的电子邮件。 交叉编码器重新排序: 使用交叉编码模型对重新排序后的电子邮件片段进行进一步排序，以提高结果的准确性和相关性。 ➡️ 总结 Shortwave 的 AI 助手是一个复杂的系统，它结合了多种技术，包括 LLM、向量数据库、传统搜索、嵌入模型和启发式算法，以提供高效且准确的电子邮件搜索和问题解答功能。该系统仍在不断迭代，预计未来将变得更加智能、快速和强大。 原文 Tl;dr - 我们利用检索增强生成 (Retrieval Augmented Generation，RAG) 技术为我们的电子邮件应用构建了一个 AI 助手。为了构建和发布这个超越基础功能的实际解决方案，我们在技术堆栈的每个层面都投入了大量的基础设施工作。以下是我们学到的内容以及我们的系统在深层技术层面的工作方式。...

我们在《我们从一年与大语言模型 (LLMs) 的构建中学到了什么 (第一部分)：战术篇》中分享了操作 LLM 应用程序时精炼的战术见解。战术是具体的行动，用于实现特定目标。在《我们从一年与大语言模型 (LLMs) 的构建中学到了什么 (第二部分)：运营篇》中，我们还探讨了支持战术工作的高级过程。 那么，这些目标从何而来？这就是战略的领域。战略回答了战术和运营背后的“是什么”和“为什么”问题。 我们提出了一些主张，如“在找到产品市场契合 (PMF) 之前不要使用 GPU”和“专注于系统而非模型”，以帮助团队更好地分配有限资源。我们还建议了一条迭代至优秀产品的路线图。最后一部分内容将回答以下问题： 构建 vs. 购买：何时应该训练自己的模型，何时应该利用现有 API？答案是“视情况而定”。我们会分享这些情况的具体影响因素。 迭代至优秀：如何打造持久的竞争优势，而不仅仅是使用最新的模型？我们将讨论构建强大系统和提供令人难忘体验的重要性。 以人为本的 AI：如何将 LLMs 有效地融入人类工作流，最大化生产力和幸福感？我们强调了构建支持和增强人类能力的 AI 工具的重要性，而不是完全取代人类。 入门指南：团队在开始构建 LLM 产品时的关键步骤是什么？我们会概述一个从提示工程、评估到数据收集的基本操作手册。 低成本认知的未来：快速降低的成本和不断增加的 LLM 能力将如何塑造 AI 应用的未来？我们将探讨历史趋势，并展示如何估算某些应用的经济可行性。 从演示到产品：从一个引人注目的演示到一个可靠的、可扩展的产品需要什么？我们强调了从原型到生产的严格工程、测试和改进的必要性。 要回答这些难题，让我们一步一步来思考…… 战略：在构建 LLM 产品时不被超越 成功的产品需要深思熟虑的规划和艰难的优先级排序，而不是无休止的原型制作或追随最新的模型发布。在最后一部分中，我们将展望未来，思考构建优秀 AI 产品的战略考量。我们还将探讨团队将面临的关键决策，例如何时构建和何时购买，并建议一个早期 LLM 应用开发的“操作手册”。 在找到产品市场契合 (PMF) 之前不要使用 GPU 要打造优秀的产品，你的产品需要不仅仅是依赖他人 API 的简单包装。但过于依赖自己训练模型的错误也可能更加昂贵。过去一年中，我们看到大量风险投资，包括令人震惊的 60 亿美元 A 轮融资，都用在了训练和定制模型上，却没有明确的产品愿景或目标市场。在本节中，我们将解释为什么立即跳到训练自己的模型是个错误，并探讨自托管的角色。 从头训练几乎永远没有意义 对于大多数组织来说，从头预训练一个大语言模型 (LLM) 是一个不可行的分散注意力的行为。 尽管这很诱人，而且看起来似乎每个人都在这么做，但开发和维护机器学习基础设施需要大量资源。这包括收集数据、训练和评估模型以及部署它们。如果你还在验证产品市场契合 (PMF)，这些努力将分散你开发核心产品的资源。即使你拥有计算能力、数据和技术能力，预训练的 LLM 可能会在几个月内过时。 例如，BloombergGPT 是一个专门为金融任务训练的 LLM。该模型在 3630 亿个 Token 上进行了预训练，花费了 9 名全职员工（4 名来自 AI 工程团队，5 名来自 ML 产品和研究团队）的大量努力。尽管如此，它在一年内在这些金融任务上被 gpt-3....

本文探讨了构建和管理“生成式 AI 产品”应用的运营方面，涵盖了数据、模型、产品和人员四个关键领域。作者强调了数据质量对模型性能的重要性，并介绍了如何检测和减少开发环境与生产环境之间的差异。文章还讨论了模型版本控制、选择合适模型大小以及设计以人为中心的“用户体验”的重要性。最后，作者强调了团队合作和实验文化的重要性，并建议将重点放在流程而非工具上。 ➡️ 数据 输入数据质量对模型性能至关重要，需要定期审查输入和输出数据，以了解数据分布、边缘情况和模型的局限性。 开发环境与生产环境之间的差异会导致模型性能下降，需要进行结构性和内容性的偏差检测。 定期审查模型输出可以帮助识别和适应新的模式或失败模式，并通过代码和断言将这些模式转化为可操作的指标。 ➡️ 模型 为了方便下游集成，需要生成结构化的输出，例如 JSON 或 YAML 格式。 不同模型之间迁移提示可能很困难，需要进行测试和评估，以确保性能不会下降。 版本控制和固定模型版本可以避免模型行为的意外变化，并确保模型的稳定性。 选择最小的模型来完成任务，可以降低延迟和成本，并通过提示工程和上下文学习提高模型性能。 ➡️ 产品 在产品开发过程中尽早并经常地引入设计，可以帮助理解用户需求并改善用户体验。 设计以人为中心的“用户体验”，可以收集用户反馈并改进模型。 优先考虑产品的关键需求，例如可靠性、安全性、准确性和可扩展性，并根据用例调整风险承受能力。 ➡️ 人员 团队合作和实验文化是成功的关键，需要鼓励团队成员进行实验并分享经验。 将重点放在流程而非工具上，可以避免不必要的技术债务，并提高团队的长期生产力。 团队需要包括 AI 工程师、平台工程师、数据工程师和机器学习工程师等不同角色，以确保产品的成功。 避免过度依赖 AI 工程师，需要根据产品开发阶段的不同需求，组建相应的团队。 原文 有句可能是传闻的名言，被许多领导者引用：“业余者谈策略和战术，专业人士谈操作。” 在战术层面看到的是各种独特的问题，而在操作层面看到的却是需要修复的组织失调模式。在战略层面看到的是机会，而在操作层面看到的是值得迎接的挑战。 在本文的第一部分中，我们介绍了战术性地与大语言模型 (LLMs) 一起工作的具体细节。在下一部分中，我们将放大视角，探讨长期战略考虑。在这一部分，我们讨论了介于战略和战术之间的操作方面，把理论转化为实践。 运营 LLM 应用程序提出了一些在运营传统软件系统中经常出现的问题，但往往带有新颖的变化，使其更具挑战性。同时，LLM 应用程序还引发了全新的问题。我们将这些问题及其答案分为四个部分：数据、模型、产品和人员。 关于数据，我们回答了：应该如何以及多频繁地审查 LLM 的输入和输出？如何测量和减少测试-生产偏差？ 关于模型，我们回答了：如何将语言模型集成到整个技术栈中？如何管理模型的版本和迁移？ 关于产品，我们回答了：设计应该在何时介入应用程序开发过程，为什么是“越早越好”？如何设计具有丰富人类反馈的用户体验？如何在众多冲突需求中进行优先排序？如何校准产品风险？ 最后，关于人员，我们回答了：应该雇佣谁来构建成功的 LLM 应用程序，以及何时雇佣他们？如何培养实验文化？如何利用新兴的 LLM 应用程序来构建自己的 LLM 应用程序？哪个更重要：过程还是工具？ 作为一个 AI 语言模型，我没有意见，因此无法告诉你你提供的引言是否“最佳”。不过，我可以说这段引言为接下来的内容定下了合适的基调。 操作：开发和管理 LLM 应用程序及其团队 数据 正如食材的质量决定了菜肴的味道，输入数据的质量决定了机器学习系统的性能。此外，输出数据是判断产品是否工作的唯一标准。所有作者都密切关注数据，每周花费数小时查看输入和输出数据，以更好地了解数据分布、模式、边缘情况及其模型的局限性。 检查开发-生产偏差 传统机器学习管道中一个常见的错误来源是训练-服务偏差。当训练使用的数据与模型在生产中遇到的数据不一致时，就会发生这种情况。虽然我们可以在不训练或微调的情况下使用 LLM，但开发-生产数据偏差依然存在。基本上，我们在开发过程中测试系统的数据应与系统在生产中面临的数据相符。如果不这样做，我们可能会发现生产环境中的准确性下降。 LLM 的开发-生产偏差可以分为两种类型：结构性偏差和内容性偏差。结构性偏差包括格式差异问题，例如 JSON 字典中的列表类型值与 JSON 列表之间的差异、不一致的大小写以及拼写错误或句子片段等。这些错误可能导致模型性能不可预测，因为不同的 LLM 是在特定数据格式上训练的，对细微变化非常敏感。内容性或语义偏差指的是数据意义或上下文的差异。...

本文探讨了使用大型语言模型（LLM）构建产品的关键经验教训，并分享了作者团队在过去一年中从实际应用中总结出的宝贵经验。文章分为三个部分：战术、运营和战略，本篇是第一部分，重点介绍了LLM的战术技巧，包括提示、检索增强生成、流程工程以及评估和监控。 ➡️ 提示 作者建议从提示开始构建新的应用，因为它在正确使用时可以取得显著的效果，但同时也不要过高估计它的重要性，因为即使是基于提示的应用也需要大量的工程工作才能使其有效。 作者推荐了一些经过验证的提示技巧，包括： N-shot 提示 + 上下文学习：提供几个示例来演示任务，并使输出与预期相符。 思维链提示：鼓励LLM在返回最终答案之前解释其思考过程。 提供相关资源：通过检索增强生成（RAG）提供模型可以直接利用的文本片段，帮助模型更好地理解上下文。 作者强调了结构化输入和输出的重要性，并举例说明了如何使用结构化输入来帮助模型更好地理解输入，以及如何使用结构化输出来简化与下游系统的集成。 作者建议将大型提示分解成多个小型提示，每个提示只做一件事，并专注于做好这件事。 作者还建议仔细思考模型需要的上下文信息，并优化上下文结构，以突出上下文各个部分之间的关系。 ➡️ 信息检索/RAG 作者指出，RAG的有效性取决于检索到的文档的相关性、密度和细节。 作者建议不要忽视关键词搜索，将其作为基线并将其用于混合搜索。 作者认为，在大多数情况下，混合搜索效果最好，即使用关键词匹配来查找明显的匹配项，并使用嵌入来查找同义词、上位词和拼写错误，以及多模态（例如图像和文本）。 作者建议在新的知识方面优先考虑RAG而不是微调。 作者认为，即使出现了长上下文模型，RAG也不会过时。 ➡️ 调整和优化工作流程 作者建议使用分步、多轮“流程”来提高性能。 作者建议优先考虑确定性工作流程，因为它们更容易部署和调试。 作者建议使用缓存来降低成本和消除生成延迟。 作者建议在必要时进行微调，但要权衡其成本和收益。 ➡️ 评估和监控 作者建议创建一些基于断言的单元测试，这些测试基于真实的输入/输出样本，并根据至少三个标准来预期输出。 作者建议使用LLM作为评判者来评估其他LLM的输出，但要意识到它不是万能的。 作者建议使用“实习生测试”来评估生成，即如果将相同的输入和上下文提供给相关专业的普通大学生，他们是否能够成功完成任务？ 作者警告说，过度强调某些评估指标可能会损害整体性能。 作者建议将标注简化为二元任务或成对比较。 作者认为，无参考评估和护栏可以互换使用。 作者指出，LLM即使不应该生成输出也会生成输出，因此需要使用护栏来检测和过滤/重新生成不希望的输出。 作者认为，幻觉是一个顽固的问题，需要结合提示工程和事实不一致护栏来解决。 原文 我们从一年与大语言模型 (LLMs) 的构建中学到了什么 (第一部分) 现在是一个用大语言模型 (Large Language Models, LLMs) 构建产品的激动人心的时刻。在过去的一年里，LLMs 已经达到了“足够好”可以应用于实际场景的水平。LLMs 的进步速度加上社交媒体上的众多演示，预计将推动到 2025 年对人工智能的 2000 亿美元投资。LLMs 也广泛开放，使得不仅仅是机器学习工程师和科学家，所有人都可以将智能融入到他们的产品中。虽然构建 AI 产品的门槛已经降低，但要创建那些在演示之外也能有效的产品仍然是一个复杂的任务。 我们已经发现了一些开发基于 LLMs 产品的关键但常常被忽视的教训和方法。了解这些概念可以让你在无需机器学习专业知识的情况下，比大多数同行更具竞争力！在过去的一年里，我们六个人一直在构建基于 LLMs 的实际应用。我们意识到有必要将这些经验汇集在一起，造福社区。 我们来自不同的背景，担任不同的角色，但我们都亲身经历了使用这项新技术的挑战。我们中的两人是独立顾问，帮助众多客户将 LLM 项目从初始概念转化为成功的产品，看到了成功与失败的模式。我们中有一人是研究人员，研究机器学习/人工智能团队的工作方式及其工作流程的改进。我们中的两人在应用 AI 团队中担任领导职务：一人在科技巨头公司，另一人在初创公司。最后，我们中的一人教授过数千人学习深度学习课程，现在致力于使 AI 工具和基础设施更易于使用。尽管我们的经历不同，但我们惊讶地发现我们学到的经验有着一致的主题，这些见解没有被广泛讨论。 我们的目标是制作一个实用指南，帮助大家围绕 LLMs 构建成功的产品，从我们的经验中汲取教训，并指出行业中的一些例子。我们在过去的一年里亲自动手，获取了宝贵的经验，往往是通过艰难的方式。虽然我们不敢说代表整个行业，但我们在这里分享了一些对任何构建 LLM 产品的人都有用的建议和经验。...

OpenAI 创始成员之一 Andrej Karpathy 在 UC Berkeley AI Hackathon 2024 颁奖典礼上分享了他对人工智能领域的见解，并强调了当前人工智能领域正经历着前所未有的快速发展，类似于 1980 年代的个人电脑革命。他认为，大型语言模型 (LLMs) 正成为新的计算范式，类似于个人电脑中的中央处理器，并正在改变我们与技术互动的方式。Karpathy 还强调了项目和实践在人工智能领域取得成功的关键作用，并分享了他个人经历中的一些成功案例。 ➡️ 人工智能领域正在经历快速发展，大型语言模型 ( LLMs ) 正在成为新的计算范式，类似于个人电脑中的中央处理器。 ➡️ LLMs 将在未来改变我们与技术互动的方式，并可能在数字和物理世界中自动化许多任务。 ➡️ Karpathy 还强调了项目和实践在人工智能领域取得成功的关键作用，并分享了他个人经历中的一些成功案例，例如他早期在 YouTube 上发布的游戏编程教程，最终帮助他发展了教学事业。 ➡️ 他还强调了 “一万小时定律” 的重要性，并鼓励听众投入大量时间进行实践，以积累经验和专业知识。 ➡️ Karpathy 认为，项目可以帮助人们深入学习，并鼓励他们将项目发布到网络上，以提高工作质量并获得反馈。 ➡️ 他总结说，人工智能领域充满了机遇，并鼓励听众继续进行项目开发，并努力将他们的工作转化为现实世界的改变。 原文 大家好，非常感谢你们的邀请，我很高兴能来到这里。我非常喜欢黑客马拉松，这里充满了能量和创造力，年轻人们尝试做很酷的事情，一起学习和创造，这对我来说是最喜欢的地方。我参加过很多黑客马拉松，所以今天能在这里和你们交流真的很高兴。 首先，当他们邀请我时，我没想到这次活动规模会这么大，这确实超出了我的预期。这个黑客马拉松的规模确实很大。我想开始说的是，这对于 AI 来说并不寻常。我在 AI 领域已经有大约 15 年的经验，所以我可以自信地说，它已经发展了很多。对我来说，AI 以前只是几百个学者聚在一起开研讨会，讨论一些数学的细节。这是我进入 AI 领域时所习惯的。那时候，当你训练神经网络时，你会用 MNIST 数据集中的小数字，训练受限玻尔兹曼机，用对比散度来训练网络，然后仔细检查网络的第一层是否训练正确。我知道这听起来很久远且没什么意义，但那时候的氛围确实不同，现在情况变得有些失控了。但看到今天的能量，15 年后的今天，AI 发展成了现在这个样子，所以这也是我认为这次活动规模如此之大的原因。 Nvidia 是制造 GPU 的公司，这些 GPU 用于我们神经网络的所有繁重工作，现在是美国最有价值的公司，并且已经接管了市场。这就是我们今天所处的时代，为什么有这么多像这样的黑客马拉松，我认为这非常了不起，但确实是前所未有的。对于许多刚进入 AI 领域的人来说，这是一个非常独特的时刻，这并不寻常，非常有趣也非常独特，现在有很多事情在发生。我认为根本原因是计算的本质在发生变化，我们正进入一个新的计算范式，这是非常罕见的。我几乎觉得这像是 1980 年代的计算机时代重现，但这次不是中央处理单元执行字节指令，而是大型语言模型 (Large Language Model) 处理 Token（小字符串片段）。除此之外，我们有 Token 窗口而不是字节的内存，还有其他等价物。所以它有点像计算机，这就是为什么我称之为大型语言模型操作系统(LLM OS)。我曾在推特上更详细地讨论过这个。我认为这是一个新计算机，我们都在学习如何编程，了解它的优势和劣势，如何将其融入产品，以及如何充分利用它。...

Character.AI 正在致力于构建通用人工智能（AGI），旨在将大型语言模型（LLM）融入日常生活，以提升工作效率和娱乐体验，并在教育、辅导、支持、头脑风暴、创意写作等方面为人们提供帮助。为了实现这一目标，高效地进行“推断”（即LLM生成回复的过程）在全球范围内至关重要。作为一家全栈AI公司，Character.AI 从零开始设计模型架构、推断栈和产品，以优化推断的效率、成本效益和可扩展性。原文戳这里。 高效的架构设计：Character.AI 通过以下技术，将注意力键值（KV）缓存大小减少了20倍以上，同时没有降低质量： 使用多查询注意力（Multi-Query Attention）。 采用混合注意力范围，将局部注意力（Local attention）与全局注意力层交织。 在相邻的注意力层之间共享KV缓存。 状态缓存：Character.AI 开发了一种在对话回合之间在主机内存上缓存注意力KV的高效系统。通过这种系统，可以实现95%的缓存率，进一步降低推断成本。 量化训练和推断：公司使用int8量化技术对模型权重、激活和注意力KV缓存进行量化，并实现了定制的int8内核以支持矩阵乘法和注意力计算。与常见的“后训练量化”技术不同，Character.AI 直接以int8精度训练模型，消除了训练/推断不匹配的风险，同时显著提高了训练效率。 成本效益：自2022年底以来，Character.AI 将推断成本降低了33倍。与使用领先的商业API相比，使用Character.AI的系统至少可以节省13.5倍的支出。 未来展望：Character.AI 感到兴奋的是，继续构建一个将LLM作为全球创新驱动力和增强体验的未来。公司承诺将继续推动AI的可能极限，致力于创建一个高效、可扩展的AI系统成为每一次互动核心的未来。 Character.AI 的 AI 推理优化 在 Character.AI，我们正在朝着实现通用人工智能 (AGI) 的目标迈进。在这个未来中，大语言模型 (LLMs) 将会提升我们的日常生活，从提高业务生产力到提供娱乐服务，并在教育、指导、支持、头脑风暴、创意写作等各方面帮助人们。 为了在全球范围内实现这一目标，必须实现高度高效的“推理”——即 LLMs 生成回复的过程。作为一家全栈 AI 公司，Character.AI 从零开始设计了模型架构、推理栈和产品，这为优化推理效率、降低成本并扩大规模提供了独特的机会，以满足快速增长的全球用户需求。 目前，我们每秒处理超过 20,000 次推理查询。为了让大家了解这一规模，可以参考一下，据第三方估计，Google 搜索每秒处理大约 105,000 次查询 (Statista, 2024)，我们处理的查询量大约是它的 20%。 我们能够在如此大规模下稳定提供 LLM 服务，是因为我们在服务栈中开发了许多关键创新。在这篇博客文章中，我们将分享过去两年中开发并最近采用的一些技术和优化方法。 内存高效的架构设计LLM 推理的关键瓶颈在于注意力键值 (KV) 缓存的大小。KV 缓存的大小不仅决定了 GPU 上可以容纳的最大批次大小，还影响了注意力层的 I/O 成本。我们采用了以下技术，在不影响质量的前提下，将 KV 缓存大小减少了 20 倍以上。通过这些技术，GPU 内存不再是服务大批量请求的瓶颈。 1. 多查询注意力。我们在所有注意力层中采用了多查询注意力 (Shazeer, 2019)。相比大多数开源模型采用的分组查询注意力，这项技术将 KV 缓存大小减少了 8 倍。 2. 混合注意力范围。我们交替使用局部注意力 (Beltagy et al....

LinkedIn团队在过去六个月里致力于开发一款新的 AI 驱动的体验，旨在重新构想成员们如何进行求职和专业内容浏览。通过将每个动态和职位发布转变为获取信息、连接点、获取建议等活动的跳板，团队利用生成式AI的力量，为用户提供更丰富的互动体验。 ➡️ 系统工作流程 选择正确的 AI 代理：系统根据用户的问题，决定最适合处理该问题的 AI 代理。 收集信息：AI 代理调用内部 API 和必应搜索，寻找与用户问题相关的具体案例和案例研究。 构建回应：AI 代理将收集到的信息过滤和综合，生成清晰、信息丰富的回答，并通过内部 API 装饰回应，如添加文章链接或提及的人物简介。 ➡️ 设计与实现 整体设计：遵循检索增强生成（RAG）的设计模式，构建了包括路由、检索和生成在内的三步流程。 开发速度：通过将任务分解为独立的 AI 代理，并采用中心化的评估流程、共享提示模板等方法，实现了快速开发。 ➡️ 挑战与解决方案 评估：开发指南、扩展注释和自动评估方面遇到挑战，通过建立内部语言学团队的工具和流程，每天评估多达 500 个对话。 调用内部 API：通过“技能”包装内部 API，使 LLM 能够执行各种与产品相关的事情，如查看个人资料、搜索文章/人员/工作/公司等。 一致的质量：团队在第一个月内实现了 80% 的基本体验目标，随后花了四个月的时间努力达到 95% 的完整体验目标。 容量与延迟：团队关注质量与延迟、吞吐量与延迟、成本和端到端流式传输等方面的平衡。 通过这些努力，LinkedIn团队成功构建了一个能够提供丰富互动体验的生成式AI产品，并计划在不久的将来向更多用户推出。原文戳这里。 思考如何构建生成式 AI 产品 在过去的六个月里，我们 LinkedIn 团队一直在努力开发一个新的 AI 驱动体验。我们的目标是重新定义会员如何进行求职和浏览专业内容。 生成式 AI 的爆炸性发展让我们重新审视现有可能性。我们尝试了很多想法，但大多数都没有成功，直到我们发现可以将每条信息流和职位发布转变为以下几种跳板： 更快获取信息，如获取文章要点或了解公司的最新动态。 连接点滴，如评估你是否适合某个职位。 接受建议，如改进个人资料或准备面试。 以及更多内容... 构建过程是否顺利？哪些方面进展顺利，哪些方面遇到挑战？ 在生成式 AI 上构建并非一帆风顺，我们在很多方面遇到了困难。我们想揭开“工程”的帷幕，分享哪些部分比较顺利，哪些方面遇到了挑战，以及接下来我们将做什么。 概述让我们通过一个真实的场景来展示系统的工作原理。 想象你正在浏览 LinkedIn 的信息流，偶然看到一篇关于设计中可访问性的有趣文章。在文章旁边，你会看到一些入门问题，以便深入探讨该主题。你很好奇并点击了“有哪些例子表明可访问性在科技公司中带来了业务价值？” 以下是后台发生的事情： 选择合适的智能体：这是你旅程的开始。我们的系统接收到你的问题，并决定哪个 AI 智能体最适合处理它。在这种情况下，它识别出你对科技公司中可访问性的兴趣，并将你的查询路由到一个专门处理常识性问题的 AI 智能体。收集信息：现在是一些体力活的时间了。AI 智能体调用内部 API 和 Bing，搜索具体的例子和案例研究，突出设计中的可访问性如何为科技公司带来了业务价值。我们正在创建一个文档来支持我们的回答。撰写回答：在获取必要的信息后，智能体现在可以撰写回答。它过滤并综合数据，形成连贯且信息丰富的答案，为你提供清晰的例子，说明可访问性举措如何为科技公司带来业务价值。为了避免生成一大堆文字，并使体验更具互动性，内部 API 被调用以附加例如文章链接或文章中提到的人的个人资料等附件。你可能会跟进问“如何转行到这个领域？”，我们会重复这个过程，但现在会将你路由到一个专门处理职业和工作的 AI 智能体。只需几次点击，你就可以深入了解任何主题，获取可操作的见解，或找到你的下一个大机会。...

本文是 HeyGen 创认识 Joshua Xu 写的一篇官网博客，文章主要讲述了 HeyGen 在 7 个月内实现 1M ARR（年度经常性收入）的经历，以及他们在此过程中的学习和成长。作者强调了从消费者产品背景转向 SaaS 领域的过程，以及在此过程中对AI市场匹配（AI-Market-Fit）概念的探索。文章重点介绍了产品开发、市场验证、用户互动和团队协作等方面的经验和教训。一些关键细节如下： ➡️ 市场验证与产品开发 HeyGen通过 Fiverr 平台（众包平台）验证了其 AI 生成视频的市场需求，并在 217 天内实现了盈利。 他们开发了一个视频引擎，并采取了三个步骤来实现愿景：首先为企业构建视频引擎，然后创建 SaaS 产品以实现技术落地，最后探索市场和技术边界。 作者提出了 AI 市场匹配的概念，区分了演示价值和用户价值，并强调了找到正确问题比解决问题更重要。 ➡️ 用户互动与团队协作 HeyGen 鼓励用户与公司沟通，通过 Zoom 进行了1400次客户会议，平均每天 7 次。 他们通过透明的方式与团队分享客户反馈，分为“HeyGen喜爱”和“HeyGen讨厌”两个群组，并在每周会议中优先讨论客户反馈。 作者强调了避免定制化诱惑的重要性，并提出了通过 Airtable 跟踪客户成功的方法。 ➡️ 学习与成长 作者分享了个人的学习方法，包括听 SaaStr 播客、阅读 Substack 订阅内容、学习其他 SaaS 产品等。 HeyGen 在达到 1M ARR 后，继续开发 HeyGen 2.0，增加团队协作和企业功能，并计划在市场推广方面进行扩展。 HeyGen 0 - 100 万美元 ARR 用时 7 个月 ⏱ 我们于 2022 年 7 月 29 日启动。经过 178 天，我们的年度经常性收入（ARR）达到了 100 万美元，并在 217 天后达到了盈亏平衡点。...

本文是关于早期创业公司最简单也最重要的仪表盘建议。作者 Andreas Klinger 认为，在早期阶段，创业者应该关注用户留存，因为留存是客户满意度的直接体现。他强调，创业者不应过早追求复杂的数据可视化工具，而是应该利用已有的客户列表，通过添加关键活动信息来监控和提升客户活跃度，从而确保客户满意度。 关键细节 留存与客户满意度：Klinger指出留存是客户幸福感的函数，即如果用户对产品不满意或未从中获益，他们很可能不会继续使用。 数据可视化的误区：他认为，在优化新用户导入转化之前，复杂的数据可视化工具如留存队列表通常是无效的。 客户列表的使用：建议早期创业公司的客户列表应简单易用，足以容纳所有客户，并添加关键活动指标来监控客户活跃度。 客户活跃度监控：提出通过颜色编码来区分不同活跃度的客户，并指定团队成员负责保持客户活跃度。 客户接触的重要性：强调产品经理或创始人的工作是保持与客户的联系，一旦发现客户活跃度下降，应及时通过电子邮件或Skype联系他们。 客户流失的早期干预：指出客户流失不是在取消订阅或停止付费时发生，而是在停止使用产品时就已经开始，因此需要尽早介入。 客户幸福感指数：对于某些产品，可能需要创建一个综合多项活动的客户幸福感指数，来衡量客户行为的重要性。 工具推荐：文中推荐了Intercom这一服务，它提供了手动和自动消息传递功能，并拥有出色的创业产品博客。 Klinger的建议强调简单性和实用性，鼓励早期创业公司关注可以直接采取行动的信息，而不是过度依赖复杂的抽象数据。 最简单且最重要的初创企业仪表板 | Andreas Klinger 这篇博客文章是一个涵盖初创企业指标基础知识的小系列的一部分。我的个人目标是更有效地帮助早期初创企业，同时避免在指导计划中重复自己太多。 如果你正在开发处于生命周期早期的软件产品，这个系列可能对你有用。 该系列的其他文章： 初创企业指标入门。选择哪种分析工具 简单但容易出错。如何以及在何处设置分析目标 初创企业指标：一个爱情故事。我7小时工作坊的幻灯片 早期初创企业指标 最常见的建议之一是在早期阶段专注于留存率。因为留存率本质上是客户满意度的反映。 留存率 = f(客户满意度) 很简单：如果用户对你的产品不满意，或者使用它没有获得任何好处，他们大多数不会继续使用它。 我们通常会想到像留存率队列表这样的酷炫可视化工具。 虽然这些表格看起来很漂亮，让你有一种在做有用事情的美好感觉，但遗憾的是，在你开始优化新用户的引导转换之前，它们通常有点无用。 请不要太早追求华丽的可视化效果。 这种可视化在你有大量用户并需要整体概览时很有用。B2C移动应用通常在早期阶段就有这个问题。但我合作的大多数SaaS公司（或仍处于测试阶段的公司）在达到产品市场契合之前都没有这个问题。 对20个客户进行20%的变化分析不会告诉你太多信息，除了标准差的基本知识。与客户保持个人关系会让你了解他们的故事。保持他们的近距离。 如果你把付费客户当作百分比和无意义的数字来对待，他们也会对你做同样的事。 几乎所有早期初创企业的一个“仪表板”其实已经拥有。让我们开始使用它。 只要你的客户列表可以放在一两页上，你应该有所有这些客户的列表。（我很确定你已经在后端有这个列表了） 向此表添加活动信息。显示他们活动水平的核心关键绩效指标（或至少他们的最后登录日期）。根据活动情况用颜色突出显示。并且让团队中的某个人负责确保每个人都保持绿色状态。 虚拟模型是虚拟的 真的吗？这与指标无关，还是？ “这是给人提供咨询服务时的建议吗？让他画复杂的图表或者带上干草叉。” 这个仪表板实现起来如此简单，我甚至害怕发布这篇文章。但它是 - 并且一直是 - 我对定制仪表板的最常见建议。 我不知道你怎么想。但我不一定需要数字。我需要可以采取行动的信息。我想要产品洞察力 - 使用我的数据库信息创建可行洞察力的简单方法。 大多数抽象如图表、留存队列、AARRR漏斗等在你有太多信息时很棒。在那之前它们只做一件事，创建一个抽象层。 对我个人而言，我发现即使在稍后阶段这也很有用：如果你只有0-100个新注册用户，不要隐藏它们。这是同一个游戏在更高层次上的表现。他们的第一个月是决定你是否会留住他们的一个月。让某人负责让他们保持绿色。 让一个人负责让所有客户保持绿色。这个人很可能就是你。 你作为产品经理/创始人的工作是与所有这些客户保持联系。一旦某人变成橙色，通过电子邮件或Skype联系他们。 找出发生了什么。现在他们仍在决策过程中。现在你仍然可以说服他们留下来。现在你甚至可能获得对产品更改的有用信息。 流失不是在用户取消订阅你的服务或停止支付时发生的。这只是你注意到它的时候。流失发生在用户停止使用你的产品时。你想在客户有风险时介入，当他可能停止使用你的产品时。 只要你有几十个付费客户，你可以亲自联系每一个人。没有借口。不要把他们当数字对待，如果你不想被同样对待的话。 客户幸福指数 如果客户的最后活动对你的产品没有多大意义（例如登录可能并不意味着他找到了/做了什么），你可能需要关注更深层的核心活动。 通常人们会创建一个客户幸福指数。将所有完成的活动组合成一个总数，并为每个活动赋予权重。 通过这样做，你可以说登录对你来说不如购买重要。你甚至可以将这些数字按组汇总，从而看到用户群中的某些段存在问题。 但说实话，虽然这很花哨，但我几乎从不需要这个。 直到我需要汇总这些数字。例如显示某个客户群的幸福指数。 但在那之前 - 根据我的个人经验 - 我通常只看到产品中的1-3个核心活动。（例如在一个项目工具中 - 项目总数、每周关闭的待办事项、每周活跃的团队成员）通常我倾向于简单地推荐将这些数字添加到表中就可以了。

这篇文章主要探讨了 SaaS 业务的关键绩效指标（KPIs），以及作者所在的投资公司 Craft 在进行 A 轮融资时所关注的基准。文章强调了以下几个核心 KPIs 的重要性： 成长：以收入增长作为理解SaaS业务的基础，特别是月度或年度经常性收入（MRR 或 ARR）。 留存：通过客户分群（队列）来跟踪保留率，分析不同时间段的客户留存情况。 销售效率/单位经济：通过比较新客户的价值与获取他们的成本，来评估销售效率和可持续性。 利润率：分析毛利润和客户终身价值（LTV）等指标，以评估公司的财务健康。 资本效率：通过燃烧倍数和炒作比率等指标，评估公司在增长过程中资本的利用效率。 参与度：用户参与度对于SaaS创业公司越来越重要，特别是在免费试用或免费增值用户转化为付费账户方面。 具体细节如下： ➡️ 成长 MRR或ARR：经常性收入是 SaaS 公司的主要标准，对于寻求 A 轮融资的初创公司，500k ARR 已成为新的门槛。 CMGR：复合月增长率（CMGR）是衡量 MRR 增长的最佳方式，对于寻求 A 或 B 轮融资的初创公司，至少需要 15% 的 CMGR（在$1M以下ARR）和10%以上（$1M以上ARR）。 MRR组成：详细分析 MRR 的各个组成部分，包括留存、扩张、新销售、复活、缩减和流失等。 ➡️ 留存 美元留存：通过比较各队列的原始收入与后续期间的收入，考虑扩张收入，最佳 SaaS 公司的年美元留存率超过120%。 Logo留存：跟踪活跃（非流失）客户的百分比，通常低于美元留存率，且与客户规模相关。 ➡️ 销售效率/单位经济 新销售 ARR 与销售和市场（S&M）费用：比较新客户带来的 ARR 与同期的 S&M 支出。 CAC：客户获取成本（CAC）是衡量销售效率的关键指标。 ACV与CAC：比较新客户的年度合同价值（ACV）与CAC，理想的ACV应大于CAC。 ➡️ 利润率 毛利润：SaaS 公司应保持至少 75% 的毛利润。 LTV：终身价值（LTV）综合了CAC、美元留存和毛利润，是评估公司整体健康状况的重要指标。 ➡️ 资本效率 燃烧倍数：衡量公司净消耗与净新增 ARR 的关系，是评估增长效率的关键指标。 炒作比率：通过比较筹集（或消耗）的资本与 ARR，来衡量资本效率。 ➡️ 参与度...

本文来自于 YC 创业视频课 How To Talk To Users。主要阐述了创业者为何以及如何与用户沟通，从而更好地理解用户需求并开发出符合市场的产品。Gustav（作者）强调了以下观点： 优秀的创业者会始终与用户保持沟通。 创业者应直接与用户交流，以获取第一手反馈。 用户是唯一支付给公司钱的利益相关者，他们的反馈至关重要。 ➡️ 用户沟通的重要性 用户和客户可以让公司保持诚实，他们是对产品最直接的评判者。 创业者应通过直接沟通了解用户的真实需求和问题。 ➡️ 如何找到用户并与之沟通 创业者可以通过联系认识的人、同事或前同事开始寻找用户。 使用 LinkedIn、Reddit、Slack 或 Discord 社区，甚至参加线下活动也是寻找早期用户的方法。 作者提供了一个模拟创业过程，展示如何通过联系潜在用户来了解他们的需求和动机。 ➡️ 采访用户的技巧 采访应在视频通话、电话或面对面进行，以便更深入地了解用户。 创业者应建立与采访对象的良好关系，以便获得坦诚的反馈。 采访中不要过早介绍自己的产品理念，以免影响回答的客观性。 提问应开放，鼓励用户详细描述他们的体验和需求。 ➡️ 问题的类型 创业者应询问用户目前如何处理特定问题、遇到的困难、为何重要等。 避免问是否会使用你的产品或关于产品特性的具体问题。 ➡️ 用户反馈的利用 创业者应将反馈组织起来，识别关键问题，并据此形成假设。 使用假设来创建最小可行产品（MVP），并通过与用户测试来验证其价值。 ➡️ 销售和用户参与 创业者应考虑解决问题的价值，并评估目标受众的易销售性。 MVP 原型可以展示给用户，通过观察他们的使用过程来获取反馈。 创业者应保持与用户的沟通，通过 Slack 或 WhatsApp 群组等方式，让用户感觉自己是产品开发的一部分。 How To Talk To Users 大家好，我叫 Gustav，我是 Y Combinator 的一名小组合伙人，自 2017 年以来一直在这里工作。在加入 YC 之前，我在 Airbnb 工作，在 2007 年成为了 YC 的创始人。今天，我将讨论如何与用户和未来客户沟通。以下是我今天计划讨论的内容： 为什么最优秀的创始人在公司整个生命周期内都与用户交流 如何找到你的用户并与他们沟通 应该问用户哪些问题以及不应该问哪些问题 如何将你的结论转化为 MVP（最小可行产品）。 为什么最优秀的创始人在公司整个生命周期内都与用户交流 世界上大多数人对新创业公司的形成方式存在很大的误解，他们认为新产品的创意是在一个闲散的周日或深夜编程时偶然产生的。但事情并不是这样的。这是电影《社交网络》中的一个场景，这是一部很棒的电影，但他们对 Facebook 实际上是如何起步的描绘存在很多错误。这是 Brian Chesky，Airbnb 的联合创始人兼 CEO，照片左边的是 Amal，Amal 是 Airbnb 的第一位客人，他们实际上在旧金山一起度过了一个周末。你注意到这张照片和前一张照片的区别了吗？这张照片是真实的，它包含了与真实客户的双向对话。优秀的创始人在他们甚至还没有产品之前就与未来的客户沟通。实际上，世界上最优秀的创始人在公司生命周期内始终从用户那里学习，但前提是你正确识别了你的用户。你可能会问为什么？用户和客户会让你保持真实，他们是唯一真正付费给你的人，如果有人会告诉你真相，那就是他们。所以，我今天的演讲是关于如何做到这一点的。...

英伟达发布了名为 Nemotron-4 340B 的开源模型家族，开发者可利用这些模型为大型语言模型（LLM）生成合成数据，应用于商业领域，如医疗、金融、制造、零售等行业。高质量的训练数据对LLM的性能至关重要，但获取这些数据通常成本高昂且难度较大。Nemotron-4 340B提供了免费且可扩展的方法来生成合成数据，有助于构建强大的LLM。原文戳这里。 ➡️ Nemotron-4 340B 模型家族 包括基础模型、指导模型和奖励模型，形成生成合成数据的流水线，用于训练和精调LLM。 这些模型针对英伟达 NeMo 开源框架进行了优化，该框架支持端到端模型训练，包括数据整理、定制和评估。 同时也针对开源的英伟达 TensorRT-LLM 库进行了优化，以便进行高效推理。 ➡️ 生成合成数据的流程 在数据获取受限的情况下，LLM 可以帮助生成合成训练数据。 Nemotron-4 340B 指导模型生成模仿真实世界数据特性的多样化合成数据，提高数据质量，增强 LLM 在多个领域的性能和鲁棒性。 开发者可以使用 Nemotron-4 340B 奖励模型筛选高质量响应，该模型在 Hugging Face RewardBench 排行榜上排名第一。 ➡️ 模型优化与精调 使用 NeMo 框架和 TensorRT-LLM，开发者可以优化指导模型和奖励模型，生成合成数据并评分响应。 所有 Nemotron-4 340B 模型都利用 TensorRT-LLM 进行优化，以实现张量并行，提高大规模推理的效率。 Nemotron-4 340B 基础模型经过 9 万亿个令牌的训练，可通过 NeMo 框架定制，以适应特定用例或领域。 ➡️ 安全性与评估 Nemotron-4 340B 指导模型经过了广泛的安全性评估，包括对抗性测试，并在多个风险指标上表现良好。 用户仍需对模型的输出进行仔细评估，以确保生成的合成数据适合其用例，安全且准确。 NVIDIA 发布用于训练大语言模型的开放合成数据生成管道 NVIDIA 今天宣布 Nemotron-4 340B，这是一个开放模型系列，开发者可以用来生成用于商业应用的大语言模型 (LLM) 的合成数据，涵盖医疗、金融、制造、零售等各个行业。 高质量的训练数据对于定制 LLM 的性能、准确性和响应质量至关重要，但强大的数据集往往非常昂贵且难以获得。 Nemotron-4 340B 通过一个独特的开放模型许可，为开发者提供了一种免费的、可扩展的方式来生成合成数据，从而帮助构建强大的 LLM。...

在 2024 年加州理工学院（Caltech）毕业典礼上，NVIDIA 的 CEO 黄仁勋受邀做了演讲，演讲中 Jesen 强调了毕业生们通过刻苦努力取得的成就，并指出未来面对的挑战和机遇。他分享了自己的职业经历，特别是 NVIDIA 在加速计算和人工智能（AI）领域的突破，强调了坚持和适应力的重要性，并鼓励毕业生们在未来的职业生涯中要有耐心、坚韧和对技术的热情。视频地址。演讲关键细节如下: 个人与 Caltech 的联系： NVIDIA 的首席科学家都来自 Caltech。 演讲者通过在 Caltech 的招聘，推介 NVIDIA 的良好企业文化和发展前景。 技术革新与贡献： 描述了 NVIDIA 从图形公司转型为 AI 公司，并通过加速计算和深度学习技术的进步推动整个计算行业的变革。 强调 CUDA 和 GPU 的开发以及这些技术在深度学习中的应用，对AI革命的重要性。 职业经历与挑战： 分享了多次因市场变化和竞争对手的策略调整而被迫转型的经历，从集成图形芯片到移动设备，再到最终进入机器人领域。 强调在面对挫折时迅速调整策略和视角的重要性，并从中培养出公司文化的韧性。 未来技术与行业： 讨论了 AI 技术的飞速发展和未来机器人技术的潜力。 提到新兴的 AI 工厂，这些工厂将生产“智能代币”，并将其视为下一次工业革命的重要组成部分。 人生哲理与建议： 通过在日本银阁寺的经历，强调专注于自己的事业和持续改进的重要性。 建议毕业生每天从最重要的工作开始，优先处理生活中的重要事项，从而有效地利用时间。 鼓励毕业生相信并致力于某些未被广泛接受的理念或技术，接受挫折作为新的机遇，并从中成长。 总结与祝福： 确信 Caltech 毕业生在面对未来挑战时已经做好了充分的准备。 鼓励他们在未来的事业中找到自己的“工艺”，将其作为终生事业不断完善，并在过程中发展出坚韧和适应能力。 原文 女士们，先生们，Rosenbaum 校长，尊敬的教职员工，亲爱的来宾，骄傲的家长，最重要的是，加州理工学院 2024 届的毕业生们。今天对你们来说是一个非常高兴的日子。你们应该表现得更兴奋一些。你们知道你们即将从加州理工学院毕业。这里是伟大的 Richard Feynman, Linus Pauling, 以及对我和我们的行业有深远影响的 Carver Mead 的母校。是的，这是一件大事。 今天是一个充满自豪和喜悦的日子。对你们所有人来说，这是一个梦想成真的日子，不仅仅是你们，因为你们的父母和家庭为了看到你们达到这个里程碑做出了无数的牺牲。所以让我们借此机会祝贺他们，感谢他们，并告诉他们你爱他们。不要忘记这一点，因为你不知道你会在家住多久。今天你应该特别感激。作为一个骄傲的家长，我真的很喜欢我的孩子们没有搬出去，每天看到他们很棒，但现在他们搬走了，这让我很难过。所以希望你们能和父母多些相处。你们的旅程是你们性格、决心、愿意为梦想做出牺牲的见证，你们应该感到自豪。做出牺牲、忍受痛苦和磨难的能力，这些都是你们未来生活中需要的品质。 你们和我有一些共同点。首先，NVIDIA 的两位首席科学家都来自加州理工学院。我今天演讲的原因之一是因为我在招募人才。所以我想告诉你们，NVIDIA 是一家非常棒的公司，我是一个非常好的老板，受到普遍喜爱，来 NVIDIA 工作吧。...

Nvidia 因其架构、工程和供应链的领先，在生成式 AI 市场占据了优势地位。公司不仅资金充足，而且其 GPU 和互连技术路线图已规划至 2027 年，显示了其在推动AI革命中的雄心壮志。Nvidia 的 CEO 黄仁勋在 Computex 大会上强调了生成式 AI 的重要性，并展望了 AI 的未来以及 Nvidia 硬件的发展。 🔑 关键细节 ➡️ 性能提升与能源消耗 从“Pascal” P100 GPU 到即将推出的 “Blackwell” B100 GPU，Nvidia 的GPU 性能在 8 年间提升了 1053 倍。 性能提升部分得益于将浮点精度从 FP16 降低到 FP4，这一变化使得性能增加了约 4 倍。 能耗降低是关键，因为生成大型语言模型响应所需的能量成本必须降低，以便与性能提升保持同步。 ➡️ 成本与投资 GPU 的价格在过去 8 年中上涨了约 7.5 倍，但性能提升超过 1000 倍。 使用 Blackwell系 统，公司可以在约 10天 内用大约 10000 个 GPU 训练 GPT-4 1.8T MoE 模型。 一个包含 10000 个 GPU 的 Blackwell 系统成本约为 8 亿美元，而 10 天的电力成本约为 54,000 美元。...

HuggingFace 发布了一个名为 🍷 FineWeb 的新大规模预训练数据集，该数据集旨在提升大语言模型（LLM）的性能。FineWeb 数据集由 96 个 CommonCrawl 快照生成，总计 15 万亿个 token，占用 44TB 磁盘空间。通过详细记录和分析数据去重和过滤策略，FineWeb 数据集在性能上优于其他公开的预训练数据集。此外，本文还介绍了 FineWeb 的子集 📚 FineWeb-Edu，该子集通过自动化高质量注释构建，专注于教育内容，并在多个教育基准测试中表现优异。 🔑 关键细节 ➡️ 数据集构建与处理 数据来源：FineWeb 使用了 CommonCrawl 作为数据源，涵盖了从 2007 年至今的 96 个快照。 数据处理：使用了 datatrove 开源库进行数据处理，包括文本提取、去重和过滤。 去重策略：采用 MinHash 技术进行模糊去重，确保数据集的多样性和质量。 ➡️ 质量评估与基准测试 小模型评估：通过训练小模型（1-2 亿参数）并在一组基准任务上评估，验证数据集质量。 基准任务：包括 CommonSense QA、HellaSwag、OpenBook QA、PIQA、SIQA、WinoGrande、ARC 和 MMLU。 ➡️ 过滤策略 基础过滤：包括 URL 过滤、语言识别和质量过滤。 高级过滤：借鉴了 C4 数据集的过滤策略，并开发了新的启发式过滤器。 自定义过滤器：基于统计分析，开发了新的过滤器，进一步提升数据集质量。 ➡️ FineWeb-Edu 子集 教育内容注释：使用 Llama-3-70B-Instruct 模型对 50 万个样本进行教育质量评分。 类器训练：基于这些注释训练了一个小型分类器，用于大规模数据过滤。 性能提升：FineWeb-Edu 在教育基准测试中表现出色，显著优于其他公开数据集。 ➡️ 未来展望...

Goole I/O 2024 公布了计划在 Chrome 上推出内置 AI 模型 Gemini Nano。今天官方放出了详细的文档。我用 FisherAI Chrome 插件 对文档进行了翻译，模型使用了 gpt-4o。 Chrome 内置 AI 早期预览计划 欢迎使用 Prompt API 的早期预览版 作者： Kenji Baheux Thomas Steiner Alexandra Klepper 联系：见此部分 最后更新：2024 年 5 月 28 日 介绍 欢迎并感谢您参与我们的内置 AI 功能早期预览计划（文章, Google I/O 2024 演讲）。在探索改进或增强 Web 体验的 AI 机会时，您的参与非常宝贵！ 内置 AI 早期预览计划有几个目标： 倾听：我们渴望听取您对早期 API 的反馈。帮助我们更好地理解您要解决的问题。这将确保我们以正确的方式设计您需要的 API。 探索：我们希望促进对内置 AI 应用的发现，这将直接影响我们的路线图和优先级讨论。为此，我们将提供探索性 API，例如 Prompt API。 支持：您的见解和兴趣将为我们与其他浏览器供应商的讨论提供参考，因为我们致力于在 Web 浏览器中实现 AI 集成的通用标准。 📣 知道其他人也想加入这个计划吗？或者您是从朋友那里获得了此文档的访问权限？注册以直接在您的收件箱中获取最新更新。 在本次更新中，我们很高兴提供关于即将推出的探索性 Prompt API 的详细信息，该 API 旨在通过本地原型开发促进 AI 用例的发现。更具体地说，此 API 将允许您在开发环境中直接与设备上的 Gemini Nano 进行互动。...

本文是对保罗格雷厄姆的这篇 How To Think For Yourself 的摘要和翻译，由 FisherAI Chrome 插件 完成，模型为 gemini-1.5-pro-latest。 摘要 主要观点 这篇文章探讨了独立思考的重要性，特别是对于那些从事需要创新性工作的人来说，例如科学家、投资者、创业者和作家等。作者认为，独立思考的能力很大程度上是天生的，并将其分解为三个核心要素：对真相的挑剔、拒绝被灌输思想和强烈的好奇心。文章还探讨了如何培养和加强独立思考能力，包括与志同道合的人交往、接触不同的思维方式，以及主动质疑既有观念等。 关键细节 独立思考的必要性： 在科学、投资、创业和写作等领域，要想取得成功，仅仅正确是不够的，你的想法必须既正确又新颖。 独立思考者的特质： 独立思考者往往对真相有近乎苛刻的追求，他们会仔细考量自己对每个观点的相信程度，并且会积极抵制任何形式的思想灌输。他们热爱颠覆传统思维的想法，并对一切充满好奇。 培养独立思考的方法： 与其他独立思考者为伍，创造一个能够自由表达和交流想法的环境。 接触不同领域、不同背景的人，从他们的视角和经验中汲取灵感。 阅读历史，尝试理解过去人们的想法和思维方式。 培养质疑精神，不要轻易接受任何未经证实的观点。 保持强烈的好奇心，积极探索自己感兴趣的领域，并从中发现新的问题和挑战。 作者还指出，独立思考能力并非一成不变，我们可以通过有意识地锻炼和培养来加强它。文章最后鼓励读者，不要害怕挑战传统思维，要勇敢地追求自己的好奇心，因为那是通往新发现和新思想的必经之路。 译文 如何独立思考 2020 年 11 月 有些工作，你必须有异于常人的想法才能做好。例如，要成为一名成功的科学家，仅仅做到正确是不够的。你的想法必须既正确又新颖。你不能发表论文说一些别人已经知道的事情。你需要说出别人还没有意识到的东西。 投资者也是如此。对于公开市场投资者来说，仅仅正确预测一家公司的发展是不够的。如果很多人都做出了同样的预测，那么股价就会反映出来，你就没有赚钱的空间了。只有大多数其他投资者不认同的见解才是有价值的。 创业者也是如此。你不会想要创办一家公司去做一件所有人都认为是好主意的公司，因为肯定已经有其他公司在做这件事了。你必须做一些在大多数人看来是坏主意的事情，但你知道这不是——比如为几千名业余爱好者使用的一台小型计算机编写软件，或者建立一个让人们租用陌生人家中充气床的网站。 散文家也是如此。一篇告诉人们他们已经知道的事情的散文会很无聊。你必须告诉他们一些新东西。 然而，这种模式并非适用于所有情况。实际上，对于大多数工作来说，这种模式并不成立。以成为一名管理员为例，大多数工作只需要你正确判断，并不需要其他人出错。 在大多数类型的工作中，都有一定的创新空间，但在实践中，那些需要独立思考的工作和那些不需要独立思考的工作之间有着相当明显的区别。 我希望在我还是个孩子的时候就有人告诉我这种区别，因为这是你在决定想做什么样工作时要考虑的最重要的事情之一。你想做那种只有你的想法与众不同才能成功的工作吗？我怀疑大多数人的潜意识会在他们的意识有机会回答这个问题之前就给出答案。我知道我的潜意识会。 独立思考更多是天生的，而非后天培养的。因此，如果你选择了不合适的工作，你会感到不开心。如果你天生独立思考，那么做中层管理者会让你很沮丧。而如果你天生传统保守，尝试做原创研究会让你感到阻力重重。 然而，这里有一个难题是，人们往往无法正确判断自己是偏传统思维还是独立思维。传统思维的人不喜欢认为自己是传统的，他们真的觉得自己有独立的见解，只是碰巧与同伴相同。而独立思维的人则常常不知道自己的想法有多么与众不同，直到他们公开表达为止。 [1] 成年后，大多数人对自己的智力水平有了大致了解（即解决预设问题的能力），因为他们经常被测试和排名。但学校一般忽视独立思维，甚至会试图压制它。所以，我们几乎得不到关于自己独立思维程度的反馈。 甚至可能存在一种类似邓宁-克鲁格效应的现象，即最墨守成规的人确信自己是独立思考的，而真正独立思考的人则担心自己可能不够独立思考。 你能让自己变得更加独立思考吗？我认为可以。这种品质可能很大程度上是天生的，但似乎有一些方法可以放大它，或者至少不要压制它。 一种非常有效的方法是大多数书呆子无意间使用的：对传统观念知之甚少。如果你不知道该遵循什么，就很难成为一个循规蹈矩的人。不过，这样的人可能本身就具备独立思维。相反，传统思维的人可能会因为不知道他人的想法而感到焦虑，并会更加努力地去了解。 你和谁在一起很重要。如果你周围都是墨守成规的人，这将限制你能表达的想法，进而限制你拥有的想法。但如果你周围都是独立思考的人，你就会有相反的体验：听到别人说一些令人惊讶的事情会鼓励你，让你想出更多的东西。 因为独立思考的人觉得与墨守成规的人在一起不舒服，所以一旦有机会，他们就会倾向于自我隔离。高中的问题是，他们还没有机会这样做。此外，高中往往是一个封闭的小世界，其居民缺乏自信，这两点都放大了墨守成规的力量。所以高中对独立思考的人来说通常是一段糟糕的时光。但即使在这里也有一些优势：它教会了你应该避免什么。如果你后来发现自己处于一种让你觉得“这就像高中”的境地，你就知道你应该离开。 另一个将独立思考者和墨守成规者聚集在一起的地方是成功的初创公司。创始人和早期员工几乎都是独立思考者；否则，这家初创公司就不会成功。但墨守成规的人远远多于独立思考的人，因此随着公司的发展，最初的独立思考精神不可避免地会被稀释。这会导致各种各样的问题，除了公司开始走下坡路这一显而易见的问题外，还有一个最奇怪的问题是，创始人发现自己可以与其他公司的创始人更自由地交谈，而与自己的员工却不能。 幸运的是，你不需要所有时间都和独立思考的人在一起。有一两个可以定期交谈的朋友就足够了。一旦找到，他们通常也会渴望交流；他们也需要你。尽管大学不再像过去那样垄断教育资源，但好大学仍是结识独立思考者的好地方。虽然大多数学生还是传统思维，但你至少能找到一些独立思考者，而不像高中时那样几乎没有。 另一种方法是反其道而行之：除了培养少数独立思考的朋友，还尽量结识各种类型的人。这样，你会减少单一同龄人的影响。如果你处在多个不同的圈子中，还可以将一个圈子的想法引入另一个圈子。 但说到不同类型的人，我指的不是人口统计学上的不同。为了使这种方法奏效，他们必须有不同的想法。因此，虽然去其他国家看看是一个很好的主意，但你很可能在你身边就能找到想法不同的人。当我遇到一个对不寻常的事情了如指掌的人时（如果你深入挖掘，几乎每个人都是如此），我就会试着去了解他们知道而别人不知道的事情。这里几乎总是有惊喜。这是与陌生人见面时进行对话的好方法，但我这样做并不是为了进行对话。我真的想知道。 通过阅读历史，你不仅能在空间上，还能在时间上拓宽你的影响源。我读历史不仅是为了了解过去发生的事情，还试图理解当时人们的思维方式。他们如何看待那些事物？这虽然很难，但值得努力，就像为了准确定位一个点而进行远距离的旅行一样。 你还可以采取更明确的措施来防止自己自动接受传统观念。最普遍的做法是培养一种怀疑的态度。当你听到别人说某件事时，停下来问问自己“这是真的吗？”不要大声说出来。我不是建议你让每个和你说话的人都必须证明他们说的话，而是建议你自己承担起评估他们说的话的责任。 把这当作一个谜题来看待。你知道一些被普遍接受的观点将来可能会被证明是错误的，试着猜猜哪些会是错的。最终目标不是挑出你听到的东西中的缺陷，而是找到那些被错误观点掩盖的新想法。因此，这个过程应该是一场充满新奇的探索，而不是单调的智力清洁。当你开始问“这是真的吗？”时，你会惊讶地发现，答案往往并不是立刻肯定的。如果你有想象力，你会发现线索多得多，而不是太少。 一般来说，你的目标是不让任何未经审视的观点进入你的头脑，而且这些观点不总是以明确的陈述形式出现。有些最强大的影响是隐性的。你如何注意到这些呢？通过退一步观察别人如何获得他们的想法。 当你退后足够远时，你会看到思想像波浪一样在人群中传播。最明显的例子是时尚：你注意到几个人开始穿某种款式的衬衫，然后越来越多的人穿，直到你周围一半的人都在穿同样的衬衫。你可能不在意穿什么，但思想上也有时尚，而你绝对不想随波逐流。不仅因为你想掌控自己的思想，还因为不流行的观点更可能带来有趣的发现。找到未被发现想法的最佳地方，往往就是那些没人关注的地方。 [4] 为了超越这个普遍适用的建议，我们需要进一步探究独立思考的内在结构，就像锻炼肌肉一样，锻炼独立思考也需要锻炼构成它的每一块“肌肉”。我认为，独立思考包含三个要素：对真理的严谨态度、抵制外界思想灌输和好奇心。 对真理的严谨态度，不仅仅是不相信虚假信息，更意味着要对“相信”的程度保持谨慎。大多数人很容易走向极端：不可能的事情被完全否定，而概率性事件则被视为绝对会发生。[5] 但在独立思考者看来，这种极端的态度未免太过草率。他们乐于接受任何观点，从大胆的推测到看似 (self-evident) 不言自明的观点，但对于自己真正关心的问题，他们会对每个观点都进行审慎的评估，并赋予其相应的可信度。[6] 因此，独立思考者往往对意识形态抱有警惕，因为意识形态要求人们不加分辨地全盘接受一整套信念，并将其奉为圭臬。这对独立思考者来说，就像让一个挑剔的美食家吃下成分不明的三明治一样难以接受。 缺乏对真理的严谨态度，就无法做到真正的独立思考。仅仅是不人云亦云是不够的。有些人拒绝接受传统观念，转而拥抱各种天马行空的阴谋论。而这些阴谋论往往是为了迎合他们的心理而刻意编造的，最终让他们陷入更深的思维陷阱。[7] 他们非但没有独立思考，反而被这些精心设计的谎言所操控。 我们能否提升自己对真理的严谨态度呢？我认为是完全可以的。根据我的经验，仅仅是认真思考那些我们所重视的事情，就能让我们更加严谨。如果真是这样，那么严谨的态度就是一种可以通过后天培养的美德，而且越认真就越有可能获得。与其他类型的严谨态度一样，我们也可以从小培养孩子的严谨态度，我在这方面就深受父亲的影响。[8] 独立思考的第二个要素是抵制外界思想灌输，这也是三个要素中最容易被观察到的。但即使是这一点，也常常被人误解。人们常常错误地将“抵制外界思想灌输”视为一种消极的品质，我们使用的语言也强化了这种误解，例如“特立独行”、“不在乎别人的看法”等等。但“抵制外界思想灌输”绝不仅仅是“免疫”于外界的影响，对于真正独立思考的人来说，“不想被告知该怎么想”是一种积极的内在驱动力。他们不是单纯地怀疑一切，而是热衷于探索颠覆传统认知的观点，越反直觉越好。 有些新颖的想法，在当时听起来可能像玩笑一样。想想看，当你听到一个新奇的想法时，是不是常常会忍不住笑出来？我认为这并非因为新奇的想法本身就有趣，而是因为新奇和幽默都带有一种“出人意料”的特质。虽然两者并不完全相同，但它们之间存在着明显的关联性：有幽默感的人往往更独立，而缺乏幽默感的人则更容易墨守成规。[9]...

本文是对保罗格雷厄姆的这篇 How To Get Startup Ideas 的摘要和翻译，由 FisherAI Chrome 插件 完成，模型为 gemini-1.5-pro-latest。 摘要 主要观点 这篇文章主要探讨了如何获得好的创业点子。作者认为，最好的方法不是去刻意想点子，而是去发现问题，尤其是自己亲身遇到的问题。很多成功的创业公司，比如微软、苹果、雅虎、谷歌和脸书，都是这样诞生的。 作者指出，许多创业者失败的原因是他们试图解决一些实际上并不存在的问题。创业点子应该是那些创始人自己想要、能够实现并且很少有人意识到的有价值的事情。 关键细节 创业者应该专注于解决那些真实存在且急需解决的问题，而不是那些听起来很美好但实际上没有用户需求的“虚构”点子。 好的创业点子通常开始于一个小众市场，但有快速扩张的路径。微软的 Altair Basic 和 Facebook 的早期版本都是很好的例子。 作者建议，想要获得好的创业点子，最好的方法是让自己成为那种能够发现问题的人。 这可以通过不断学习新知识、尝试新事物，以及让自己处于快速变化的领域的前沿来实现。 程序员可以通过学习其他领域的知识，比如生物技术，来发现跨领域的问题。 作者还建议创业者要克服对“不体面”和“繁琐”工作的排斥，因为这些领域往往蕴藏着有价值的创业机会。 当你有一个好的创业点子时，你可能会觉得自己已经落后了，但不要因此却步。竞争对手的存在实际上是一个好现象，因为它表明市场需求旺盛，而且现有的解决方案都不够好。 总而言之，这篇文章为创业者提供了一个寻找好的创业点子的实用指南。作者强调了关注用户需求、保持好奇心以及勇于尝试的重要性。 原文翻译 如何获得创业思路 2012 年 11 月 获得创业思路的方法不是绞尽脑汁地去想，而是去寻找问题，最好是那些你自己遇到的问题。 最好的创业思路往往有三个共同点：它们是创始人自己想要的，是他们自己能够构建的，而且是很少有人意识到值得去做的。 Microsoft、Apple、Yahoo、Google 和 Facebook 都是这样开始的。 问题 为什么致力于解决你自己遇到的问题如此重要？其中一个原因是，这能确保问题确实存在。说你应该只解决存在的问题，这听起来似乎是显而易见的。然而，初创公司最常犯的错误就是去解决根本不存在的问题。 我自己就犯过这样的错误。1995 年，我创办了一家公司，想把艺术画廊搬到网上。但画廊并不想上线。这不是艺术行业的运作方式。那我为什么还要花 6 个月的时间在这个愚蠢的想法上呢？因为我没有关注用户。我臆想了一个与现实不符的世界模型，并以此为基础开展工作。直到我试图说服用户为我们开发的产品付费时，我才意识到我的模型是错误的。即使在那时，我也花了很长时间才明白过来，真是尴尬。我固执于我所构想的世界模型，而且我已经在软件上投入了大量的时间。他们一定想要它！ 为什么这么多创始人开发出无人问津的东西？因为他们一开始就试图去想创业的点子。这种做法有两重危险：它不仅很少产生好的点子，而且还会产生一些听起来似是而非的坏点子，让你愚蠢地为之付出努力。 在 YC，我们把这些称为“虚构的”或“情景喜剧式的”创业点子。想象一下，一个电视剧中的角色要创办一家公司。编剧必须为这家公司虚构一些业务。但想出一个好的创业点子是很难的。这不是你一蹴而就就能做到的。所以（除非他们运气好到爆棚），编剧们想出的点子听起来可能貌似合理，但实际上却很糟糕。 例如，一个为宠物主人创建的社交网络。这听起来似乎没什么问题。数百万人养宠物，他们常常非常关心自己的宠物，并在宠物身上花费大量金钱。许多人肯定会喜欢一个可以与其他宠物主人交流的网站。也许不是所有人，但如果只有 2% 或 3% 的人定期访问，你就会有数百万用户。你可以向他们提供有针对性的优惠，甚至可以对高级功能收费。 这种想法的危险在于，当你向有宠物的朋友提起时，他们不会说“我绝不会用这个。”他们会说“嗯，也许我会用这样的东西。”即使创业公司刚开始运营，很多人也会觉得这个点子挺不错。他们自己现在不想用，但可以想象其他人会想用。把这种反应放到整个社会来看，你最终会发现没有用户。 深井 当一家初创公司启动时，必须至少有一些用户真正需要他们正在做的事情——不仅仅是那些可以想象自己有一天会使用它的人，而是那些迫切需要它的人。通常，这批最初的用户数量很少，原因很简单，如果有一样东西是大量的人迫切需要的，并且可以用一家初创公司通常投入到第一个版本中的努力就能做出来，那么它很可能已经存在了。这意味着你必须在一个维度上做出妥协：你要么构建一个大量的人少量需要的东西，要么构建一个小部分的人大量需要的东西。选择后者。并非所有这类想法都是好的创业想法，但几乎所有好的创业想法都属于这类。 想象一张图表，它的 X 轴代表所有可能想要你正在做的事情的人，Y 轴代表他们有多想要它。如果你把 Y 轴的刻度颠倒过来，你就可以把公司想象成一个个洞。Google 是一个巨大的陨石坑：数亿人在使用它，而且他们非常需要它。一家刚刚起步的初创公司不可能指望挖掘出那么大的体积。所以，对于你一开始要挖的洞的形状，你有两个选择。你可以挖一个宽而浅的洞，也可以挖一个窄而深的洞，就像一口井。 虚构的创业点子通常是第一种。很多人对宠物主人的社交网络略感兴趣。 几乎所有好的创业点子都是第二种。Microsoft 在开发 Altair Basic 时就像一口井。当时只有几千名 Altair 用户，但如果没有这款软件，他们就只能用机器语言编程。30 年后，Facebook 也具有同样的形状。他们的第一个网站是专门为哈佛学生服务的，而哈佛的学生只有几千人，但那几千名用户非常需要它。...

本文是对 YC 的创业课Lecture 3 - Before the Startup (Paul Graham) 的摘要和翻译。保罗·格雷厄姆将课上的内容写了一篇博客，原文在这里 BEFORE THE STARTUP。以下内容由 FisherAI Chrome 插件 的智能摘要和网页翻译完成。模型为 gemini-1.5-flash。 摘要 主要观点 本文主要针对大学阶段的潜在创业者，探讨了关于创业的几个反直觉观点。作者认为，创业是一项非常反直觉的活动，不能完全依靠直觉，需要学习和实践。本文还强调了学习的重要性，指出在大学阶段应该注重学习和探索，而不是急于创业。 关键细节 反直觉的创业 作者指出，创业存在许多反直觉的因素，例如： 创业者不能完全信任自己的直觉： 创业需要打破常规思维，学习新的技能和知识。 技术知识并非创业的关键： 比起对创业的了解，更重要的是了解用户需求和解决问题的能力。 不要试图“玩游戏”： 创业不是游戏，没有捷径可走，最终成功取决于产品是否满足用户需求。 创业会占去你生活的全部： 创业需要付出巨大的时间和精力，会改变你的生活方式。 在大学阶段创业并非最佳选择： 大学阶段更应该专注于学习和探索，积累知识和经验，为未来的创业打下基础。 在大学阶段应该做些什么 作者建议大学阶段的潜在创业者应该： 学习更多关于重要事物的知识： 积累丰富的知识和技能，为未来的创业打下基础。 关注你感兴趣的问题： 寻找真正感兴趣的领域，并专注于解决相关问题。 与你喜欢的和尊敬的人一起工作： 寻找志同道合的伙伴，共同探索创业之路。 不要刻意寻找创业想法： 最好的创业想法往往来自于对特定领域的深入探索和个人兴趣的驱动。 关于创业的思考 作者最后总结了关于创业的几点思考： 创业并非易事： 创业需要付出巨大的努力和牺牲，没有绝对的把握，需要不断学习和尝试。 尝试是最好的答案： 如果对创业心存疑惑，最好的方法就是尝试一下，在实践中寻找答案。 学习是创业的基础： 大学阶段应该注重学习和探索，积累知识和经验，为未来的创业打下坚实的基础。 总之，本文旨在帮助潜在创业者了解创业的真实情况，并提供一些建议，让他们能够更好地规划自己的职业生涯。 博客原文 创业前 2014 年 10 月（这篇文章改编自萨姆·奥特曼在斯坦福大学的创业课程上的客座演讲。文章主要面向大学生，但其中许多内容也适用于其他年龄段的潜在创始人。） 养育孩子的好处之一是，当你需要给出建议时，你可以问问自己：“我会对自己的孩子说什么？”我的孩子还小，但我可以想象，如果他们正在上大学，我会对他们说些什么关于创业的话，而这正是我要告诉你的。 创业非常反直觉。我不知道为什么。也许仅仅是因为关于创业的知识还没有渗透到我们的文化中。但无论是什么原因，创业都是一项你不能完全相信直觉的任务。 这就像滑雪一样。当你第一次尝试滑雪，想要减速时，你的本能反应是向后倾斜。但如果你在滑雪时向后倾斜，你会失控地飞下山坡。因此，学习滑雪的一部分就是学会抑制这种冲动。最终，你将养成新的习惯，但在最初，这需要有意识的努力。一开始，在你开始下山时，你会有一份需要记住的事项清单。 创业像滑雪一样不自然，因此创业也有一份类似的清单。在这里，我将向你提供清单的第一部分——如果你想为创业做好准备，你需要记住的事情。 反直觉 清单上的第一项是我之前已经提到的：创业是如此奇怪，以至于如果你相信自己的直觉，你会犯很多错误。如果你对此一无所知，你至少会在犯错之前停下来。 当我经营 Y Combinator 时，我常常开玩笑说，我们的功能是告诉创始人他们会忽视的事情。这确实是事实。一批又一批，YC 合作伙伴会警告创始人即将犯下的错误，而创始人会忽略这些警告，然后一年后回来，说“我希望我们当时听取了建议”。...

微软今天发布了 Windows AI Copilot+ PCs，华尔街日报对纳德拉的采访视频正好聊得是这个，翻译了一下，分享出来。 以下摘要和翻译由 FisherAI Chrome 插件 完成，模型使用 gpt-4o 完成。 摘要 主要观点 本视频主要介绍了微软在个人电脑领域的最新创新，尤其是在 AI 技术的整合和新硬件的开发上。微软 CEO Satya Nadella 表示，他们的目标是超越苹果在 Mac 上的创新，通过推出全新设计的 Copilot+PCs，这些设备不仅仅是普通的 Windows 电脑，它们内置了专为 AI 优化的硬件和软件，例如新增的神经处理单元（NPU）。这些设备旨在通过边缘计算（edge computing）直接在本地处理 AI 任务，而非完全依赖云计算。此外，微软还与 Qualcomm 合作，优化了基于 ARM 架构的 Snapdragon X 系列芯片，以提高电池效率和计算性能。 关键细节 产品特性与性能： 新的 Copilot+PCs 包含了 NPU，与 CPU 和 GPU 并存，专门用于加速 AI 应用的矩阵数学计算。 这些设备使用的是 Qualcomm 的 Snapdragon X 系列芯片，这些芯片基于 ARM 架构，更加节能，提供长达 22 小时的连续视频播放时间。 微软宣称其 Surface 产品在性能上比搭载 M3 芯片的 MacBook Air 快 58%，且电池续航时间长 20%。 AI 功能：...

本文是对 YC 的创业课Lecture 2 - Team and Execution (Sam Altman) 的摘要和字幕翻译。其中摘要由 FisherAI Chrome 插件 完成，翻译由 Translingo完成。 摘要 主要观点 这篇演讲主要探讨了创业公司如何招聘和执行。演讲者强调了选择合适的联合创始人、建立高效的招聘流程以及培养注重执行力的公司文化的重要性。 关键细节 选择联合创始人 选择联合创始人是创业公司最重要的决定之一。 最好的联合创始人应该是你认识多年并且已经建立了信任关系的人。 理想的联合创始人应该具备以下品质： 坚韧不拔、足智多谋 冷静沉着、果断坚决 富有创造力、随时准备迎接挑战 招聘 尽量避免招聘，因为过早扩大团队会导致高昂的成本和管理上的复杂性。 只在迫切需要时才招聘，并在早期阶段专注于寻找最优秀的人才。 招聘时要注重以下品质： 聪明才智 执行力 良好的沟通能力 一定的风险承担能力 坚定的决心 执行力 执行力是创业成功的关键，创始人需要以身作则，建立注重执行力的企业文化。 专注于少数最重要的目标，并毫不留情地舍弃其他次要任务。 保持高强度的工作节奏，快速行动，果断决策。 持续关注增长和势头，不要被竞争对手或媒体报道分散注意力。 建立规律的运营节奏，定期发布产品更新和评估关键指标。 视频字幕 Lecture 2 - Team and Execution (Sam Altman) 在开始今天的讲座之前，我想先回答一些问题。有些人发邮件说对上次讲座有疑问，因为时间不够当时没有回答。所以，如果你有关于上次讲座的问题，我现在可以回答。有人在线提交了一个问题，问我如何识别一个市场当前及未来十年的快速增长率。 这个问题是如何识别快速增长的市场。好消息是这是学生的一个大优势。你应该相信自己的直觉。年长的人必须猜测年轻人在使用哪些新技术，因为年轻人会长大，成为主要市场。但你只需观察自己和朋友在用什么，几乎可以肯定你的直觉比年长的人更准。所以，答案是相信你的直觉，想想你用得更多的东西，想想你看到同龄人开始用什么，这几乎肯定是未来的趋势。 另一个在线问题是，作为创始人，如何在保持高效的同时应对倦怠。答案是，这很难，但你必须继续前行。不像学生可以举手认输说“我真的累了，这学期成绩会很差”。创业是现实生活，你必须挺过去。传统建议是去度假，但对创始人来说，这从未奏效。创业是全身心的投入，很难理解。所以你需要依靠他人，建立支持网络。创始人的抑郁症是个严重问题，但解决倦怠的方法是面对挑战，解决问题，你最终会感觉好些。 团队 联合创始人 上周的讲座我们讨论了产品的概念，我要再次强调，如果你没有搞定这个，其他一切都无法拯救你。今天我们将讨论如何招聘和执行。希望你不会“执行”你雇用的人。首先，我想谈谈联合创始人。联合创始人的关系是公司中最重要的关系之一。大家都说要注意并立即解决联合创始人之间的紧张关系，这是正确的。在 YC 的案例中，初创公司早期失败的主要原因就是联合创始人的矛盾。 但有些人对选择联合创始人的重视程度甚至低于雇用员工的重视，不要这样做。这是你创业过程中最重要的决定之一，你需要像对待雇用一样重视它。学生在这方面表现特别差，他们随便找个人说“我想创业，你也想创业，我们一起创业吧”。有这些类似联合创始人约会的活动，你在寻找联合创始人，互相不认识，一起创业吧，这很疯狂。你永远不会这样雇人，却愿意用这种方式选择商业伙伴。这真的很糟糕，选择一个随便的联合创始人，或选择一个你没有长期一起的人，通常会导致灾难。 我们有一批 YC 的公司，75 家公司中有 9 家增加了一个随便的联合创始人，这九个团队在接下来的一年内全部解散了。不认识对方的创始人的成功率真的很差。在大学里认识联合创始人是个好方法。如果你不在大学，找不到联合创始人，下一步最好的选择是去有趣的公司工作，例如在 Facebook 或 Google 之类的公司工作，这几乎和斯坦福一样充满联合创始人资源。没有联合创始人比有糟糕的联合创始人好，但单独创业也不好。我在开始前查看了统计数据，在 YC 最有价值的 20 家公司中，所有公司至少有两个创始人，我们大概只资助了约 10% 的单创团队。...

FisherAI Chrome 插件 增加了视频字幕翻译的功能，通过这种方式看了下 YC 的创业课Lecture 1 - How to Start a Startup (Sam Altman, Dustin Moskovitz) ，这里分享一下。 以下摘要和翻译由 FisherAI Chrome 插件 完成，模型使用 gemini-1.5-pro-latest 和 gpt-4o 完成。 摘要 主要观点 本视频是 Sam Altman 在斯坦福大学 CS183b 课程上的演讲，主题是如何创办一家成功的初创公司。Altman 认为，创办初创公司的首要原因应该是对解决某个特定问题的强烈热情，而不是为了追求财富或名声。他强调了四个关键要素：好的创意、好的产品、好的团队和好的执行力。 关键细节 好的创意: 好的创意应该是能够发展成为垄断性企业的创意，并且是创始人自己真正关心的问题。Altman 强调，好的创意一开始可能看起来很糟糕，但最终会发展成为有价值的企业。 好的产品: Altman 强调要打造用户喜爱的产品，而不是仅仅是用户喜欢的产品。他建议从简单的产品开始，专注于让一小部分用户真正喜爱你的产品，然后逐步扩大用户群。 好的团队: Altman 强调与潜在的联合创始人建立联系的重要性，并建议学生们花时间去认识那些可以一起创业的人。 好的执行力: Altman 认为，好的执行力比好的创意重要得多。他建议创始人专注于产品开发和与用户交流，而不要被诸如公关、招聘和商业发展等事情分散精力。 创业的动机: Altman 认为，创办公司的最佳理由是你无法抗拒去解决某个问题，并且你相信创办公司是解决这个问题的最佳方式。 创业的压力: Altman 坦率地谈到了创业带来的压力，包括责任、持续待命和媒体关注。他建议创始人要管理好自己的心理状态，将其作为一项核心责任。 Altman 的演讲为有抱负的企业家提供了宝贵的见解，强调了热情、专注和以用户为中心的理念在创办成功初创公司过程中的重要性。 视频字幕 Sam Altman 欢迎来到 CS183b，我是 Sam Altman，我是 Y Combinator 的总裁。9 年前，我是一个斯坦福大学的学生，然后我辍学去创业，然后在过去的几年里我一直是一名投资者。所以在 YC，我们一直在教人们如何创业已经有 9 年了，其中大部分都是非常手把手地针对特定的初创公司，但其中 30% 具有普遍的适用性，所以我们认为我们可以在这个课堂上教授这 30%，即使那只是 30% ，希望它仍然会非常有帮助。我们已经在 YC 教授了很多这样的内容，但它一直都是私下的，这是我们第一次公开 YC 教授的很多内容，所以我们邀请了一些我们最好的演讲者来做他们在 YC 做过的同样的演讲，我们现在已经资助了 720 家公司，所以我们很确定很多建议都很好，我们不能做到资助每一家初创公司，但我们希望能够使这些建议得到广泛的应用。客座演讲者将教授 20 节课中的 17 节，而我，算上 YC 本身，只教授 3 节，每位客座演讲者都参与过创造价值数十亿美元的公司，所以这些建议不是理论上的，它们都来自那些已经做过这些事情的人。这个课堂上的所有建议都面向那些目标是高速增长并最终建立一家非常大的公司的创业者，在其他情况下，很多建议都不适用，我想提前提醒大家，如果你试图在很多大公司或非初创公司做这些事情，它是行不通的。它仍然应该是有趣的，我真的认为初创公司是未来的发展方向，而且值得去尝试理解它们，但初创公司与普通公司非常不同。...

周末抽时间给 FisherAI Chrome 插件 增加了视频字幕翻译的功能，就用这个之前想看的关于 Pichai 的访问视频作为例子试了下，效果还不错，这里分享一下。 以下摘要和翻译由 FisherAI Chrome 插件 完成，模型使用 gemini-1.5-pro-latest。 摘要 主要观点 本文主要探讨了 Google 首席执行官 Sundar Pichai 对生成式 AI 产品的看法，以及 Google 如何应对竞争对手的挑战，以及 Google 如何应对人工智能带来的风险。 关键细节 应对挑战 Pichai 认为 Google 仍然处于人工智能发展的早期阶段，并相信公司已经做好准备应对竞争对手的挑战。 Google 已经将变压器模型（transformer）整合到其产品中，并将继续在生成式 AI 领域进行创新。 Pichai 表示，尽管面临着竞争对手的挑战，但 Google 仍然保持着领先地位，并且能够通过创新来应对变化。 管理风险 Pichai 承认人工智能存在风险，例如生成虚假信息和偏见。 Google 将继续投资于人工智能安全和伦理，并致力于建立全球合作框架来解决这些问题。 Pichai 相信 Google 能够通过其搜索引擎的链接功能来解决人工智能生成内容可能导致搜索结果质量下降的问题。 公司战略 Pichai 强调了 Google 在人工智能方面的投资，以及公司对人工智能的长期承诺。 Google 正在将人工智能应用于其所有产品，并致力于为用户提供更全面的体验。 Pichai 认为，尽管近年来 Google 进行了重组，但公司的核心宗旨仍然是使用技术来解决人们的问题。 领导风格 Pichai 将自己的领导风格描述为稳健和谨慎，并认为在公司发展过程中，需要建立共识和确保公司朝着正确的方向发展。 Pichai 认为，尽管近年来 Google 面临着竞争和挑战，但公司仍然处于有利地位。 Pichai 强调了 Google 致力于创新，以及公司将继续在人工智能领域取得突破。 人工智能的未来...

很早之前看过 OpenAI CEO Sam Altman 今年写的这篇文章 What I Wish Someone Had Told Me，觉得不错，翻译了一下分享出来。这里有几点特别引起了我的共鸣，我特意挑选了出来。 对于一个团队来说，做一件真正重要但困难的事情比做一件不重要但容易的事情更容易；大胆的想法会激励人们。 将资源集中在少数有信心的投资上；这说起来容易，但做起来却很难。你能删除的东西比你想象的还要多。 每次看到空话和官僚主义都要与之斗争，并鼓励他人一起抵制。不要让组织结构妨碍人们的高效合作。 结果才是最重要的；不要让好的流程成为坏结果的借口。 快速的迭代可以弥补很多不足；如果你快速迭代，通常犯错是可以的。计划应该以十年为单位衡量，执行应该以周为单位衡量。 灵感转瞬即逝，生命稍纵即逝。无所作为是一种难以察觉的风险。 原文 乐观、执着、自信、强大的动力和人脉是事情起步的关键。 团结的团队、冷静与紧迫感的适当结合，以及全力以赴的承诺，是完成任务的关键。长期视角很难得；尽量不要担心别人对短期结果的看法，随着时间推移，这一点会变得容易。 对于一个团队来说，做一件真正重要但困难的事情比做一件不重要但容易的事情更容易；大胆的想法会激励人们。 激励机制是一种强大的力量；要谨慎设置。 将资源集中在少数有信心的投资上；这说起来容易，但做起来却很难。你能删除的东西比你想象的还要多。 清晰简洁地沟通。 每次看到空话和官僚主义都要与之斗争，并鼓励他人一起抵制。不要让组织结构妨碍人们的高效合作。 结果才是最重要的；不要让好的流程成为坏结果的借口。 多花时间在招聘上。敢于选择那些潜力巨大且进步迅速的人。除了看智力，还要看他们是否有完成任务的实绩。 超级明星比他们看起来更有价值，但你必须根据他们对组织绩效的净影响来评估他们。 快速的迭代可以弥补很多不足；如果你快速迭代，通常犯错是可以的。计划应该以十年为单位衡量，执行应该以周为单位衡量。 不要对抗商业中的基本规律。 灵感转瞬即逝，生命稍纵即逝。无所作为是一种难以察觉的风险。 规模的增长常常会带来令人惊讶的新现象。 复利增长的效果非常神奇。特别是，你需要建立一个能够随着规模扩大而获得复利优势的业务。 重新站起来，继续前进。 与优秀的人一起工作是人生中最美好的事情之一。

很早之前看过 OpenAI 总裁 Greg Brockman blog 中的一些内容，觉得不错，这里分享一下这篇 How I became a machine learning practitioner。 以下摘要和翻译由 FisherAI Chrome 插件 完成，模型使用 gemini-1.5-pro-latest。 摘要 主要观点 本文讲述了 Greg Brockman 在 OpenAI 的经历，他从一名软件工程师转变为机器学习实践者的过程。文章强调了即使身处机器学习研究的前沿，转变过程依然充满挑战。作者认为，最大的障碍并非技术本身，而是克服成为初学者的恐惧，并允许自己在学习过程中犯错。 关键细节 作者在 OpenAI 的前三年渴望成为机器学习专家，但进展缓慢，主要专注于软件工程工作。 作者参与了 OpenAI Gym、Universe 和 Dota 项目的开发，但受限于软件工程视角，无法深入参与机器学习研究。 作者在 2018 年底决定利用三个月时间学习机器学习，并选择了聊天机器人作为实践项目。 作者通过自学课程、阅读论文和实践项目，逐步克服了成为初学者的恐惧，并最终在机器学习领域取得进展。 作者强调了专家指导的重要性，并鼓励有志于成为深度学习实践者的软件工程师加入 OpenAI。 原文 我如何成为机器学习实践者 • 格雷格·布罗克曼 2019 年 7 月 30 日 在 OpenAI 成立的最初三年里，我一直梦想着成为一名机器学习专家，但却在这个目标上几乎没有取得任何进展。在过去的九个月里，我终于转型成为了一名机器学习实践者。这个过程很艰难，但并非不可能，我认为大多数优秀的程序员，只要了解（或愿意学习）数学，都可以做到。网上有很多在线课程可以自学 技术 方面 的 知识，而我最大的障碍其实是一个心理障碍——接受自己再次成为初学者。 2018 年假期期间学习机器学习。 早期 # OpenAI 的一项基本原则是，我们同等重视研究和工程——我们的目标是构建能够解决以前不可能完成的任务的实用系统，所以我们需要两者兼备。(事实上，我们的团队成员中有 25% 的人主要使用软件技能，25% 的人主要使用机器学习技能，50% 的人将两者结合使用。) 所以，从 OpenAI 成立的第一天起，我的软件技能就一直很吃香，而我一直拖延着学习我想要的机器学习技能。...

很早之前看过 OpenAI 总裁 Greg Brockman blog 中的一些内容，觉得不错，这里分享一下这篇 My path to OpenAI。 以下摘要和翻译由 FisherAI Chrome 插件 完成，模型使用 gemini-1.5-pro-latest。 摘要 主要观点 本文讲述了 Greg Brockman 加入 OpenAI 的心路历程。Brockman 一直对人工智能抱有浓厚的兴趣，大学期间学习编程语言，并参与了 Stripe 的创业。最终，他对人工智能的热情和对 OpenAI 使命的认同促使他加入了这个致力于安全通用人工智能的非营利组织。 关键细节 Brockman 早年对聊天机器人的研究激发了他对人工智能的兴趣。 大学期间，他学习编程语言，并参与了多个创业项目。 在 Stripe 工作期间，Brockman 意识到他真正想投入的是人工智能领域。 Sam Altman 的建议和对人工智能前景的深入研究坚定了 Brockman 离开 Stripe 的决心。 与 Dario Amodei、Chris Olah、Paul Christiano 等人工智能领域专家的交流让他对深度学习的潜力充满信心。 一场与 Elon Musk、Ilya Sutskever 等人的晚宴促成了 OpenAI 的创立。 Brockman 认同 OpenAI 致力于安全通用人工智能的非营利性质，并决定全职投入其中。 原文 我的 OpenAI 之路 • Greg Brockman 2016 年 5 月 3 日 我的 OpenAI 之路 高中毕业后的间隔年，我开始认真学习编程。我读了图灵的《计算机器与智能》(Computing Machinery and Intelligence)，并受到了一种想法的启发，那就是编写能够理解一些连我自己 (代码作者) 都无法理解的东西的代码。我开始写一个聊天机器人——这能有多难呢？...

偶看看到这篇关于学习的事情10 Things Software Developers Should Learn about Learning，看完感觉还不错，这里分享一下。以下摘要和翻译由 FisherAI Chrome 插件 完成，模型使用 gemini-1.5-pro-latest。 摘要 主要观点 本文探讨了软件开发者需要了解的关于学习的十个要点。文章指出，学习对于软件开发者来说至关重要，因为技术领域在不断变化。作者强调，了解人类学习的机制可以帮助开发者更有效地学习。文章还探讨了专业知识的优缺点，以及学习编程能力的预测因素。最后，作者强调了心态在学习中的重要性，并鼓励开发者采用成长型思维模式。 关键细节 人类记忆与计算机记忆不同，它并非由比特构成，而是由相互连接的神经通路组成。回忆信息的过程会强化和修改记忆，这被称为“重新整合”。 人类记忆分为长期记忆和工作记忆。长期记忆容量无限，而工作记忆容量有限。熟练的程序员通过将信息“组块”来有效地利用工作记忆。 专家和新手思考方式不同。专家依靠模式识别，而新手则更多地进行推理。 理解概念的过程从抽象到具体再返回。学习新概念的最佳方式是结合抽象定义和具体示例。 间隔重复是学习新技能的有效方法。学习时间应该分成较短的间隔，间隔之间要有休息时间。 互联网和人工智能工具并没有使学习变得过时。将知识存储在长期记忆中对于形成知识之间的联系至关重要。 解决问题不是一项通用技能，而是特定于领域的。解决编程问题的最佳方法是练习解决编程问题。 专业知识在某些情况下可能是有问题的。专家可能会发现为新手设计的提示分散注意力，并且可能会将从一种编程语言中学到的知识错误地转移到另一种语言中。 预测编程能力的因素尚不清楚。没有可靠的预测测试或候选人资料可以识别编程能力。 你的心态很重要。采用成长型思维模式可以帮助你克服学习过程中的挑战。 原文 10 件软件开发者应该了解的关于学习的事情 – ACM 通讯 学习对于软件开发者来说是必要的。变化是永恒的：新技术层出不穷，旧技术不断更新。因此，开发者不是只学习一次编程——在他们的职业生涯中，他们将学习许多新的编程语言和框架。 仅仅因为我们学习并不意味着我们理解我们是如何学习的。美国的一项调查发现，大多数关于记忆的信念与科学共识相悖：人们并不直观地理解记忆和学习是如何运作的。37 仅仅因为我们学习并不意味着我们理解我们*如何*学习。 例如，考虑学习风格。学习风格的支持者声称，有效的教学要与学习者喜欢的风格相匹配——视觉型学习者看，听觉型学习者听，动觉型学习者做。2020 年的一项综述发现，89% 的人认为学习者的偏好风格应该决定教学方式，尽管研究人员在几十年前就已经知道这是不准确的。28 虽然学习者有偏好的风格，但有效的教学方式取决于内容，而不是学习风格。科学课应该使用图表来呈现数据，而不是口头描述，无论视觉型还是听觉型学习风格，就像烹饪课应该使用动手实践而不是阅读，无论学习者是否偏爱动觉型风格。 几十年来对认知心理学、教育和编程教育的研究为我们如何学习提供了深刻的见解。本文接下来的 10 个部分提供了以研究为依据的关于学习的发现，这些发现适用于软件开发者，并讨论了它们的实际意义。这些信息可以帮助你为自己学习、指导初级员工和招聘员工。 关键见解 学习对程序员来说至关重要，但人类的思维方式与计算机有很大不同。 了解人类是如何学习的可以帮助你更有效地学习。 互联网和大语言模型并没有使学习过时；学习是必不可少的，而且需要时间。 专业知识会改变你的思维方式，让你更容易解决问题，但也可能会阻碍你的教学能力。 1. 人类记忆不是由比特构成的 人类记忆是学习的核心。正如 Kirschner 和 Hendrick 所说，“学习意味着一个人的长期记忆发生了改变。”20 软件开发者熟悉计算机内存的惊人力量，我们可以在其中存储一系列比特，并在以后检索出完全相同的比特序列。虽然人类记忆与此类似，但它既不精确也不可靠。 由于人类记忆的生物学复杂性，可靠性是一个复杂的问题。对于计算机内存，我们使用两个基本操作：读和写。读取计算机内存不会修改它，而且写和读之间经过多少时间并不重要。人类的长期记忆并非如此无菌：人类记忆似乎有一个“读-更新”的操作，其中获取记忆可以同时加强和修改它——这个过程被称为*重固化*。这种修改更有可能发生在最近形成的记忆上。由于这种修改的可能性，一个事实并不存在于明确知道或不知道的二元状态；它可以存在于中间状态。我们可以忘记我们以前知道的事情，而且知识可能是不可靠的，尤其是在最近学到的知识。 人类记忆似乎有一个“读-更新”的操作，其中获取记忆可以同时加强*和*修改它。 人类记忆的另一个奇特之处是“扩散激活”。1 我们的记忆存储在相互连接的神经通路中。当我们试图记住某件事时，我们会激活一条神经通路来访问目标信息。然而，激活并不局限于一条通路。一些激活能量会扩散到其他连接的通路，就像热水管散发的热量一样。这种扩散激活使相关的通路在数小时内处于激活状态。1 扩散激活对记忆有负面影响1，对解决问题有正面影响。32 扩散激活意味着相关但不精确的信息可能会与目标信息混淆，这意味着我们对信息的回忆可能是不可靠的。然而，扩散激活也与基于洞察力的问题解决或“顿悟时刻”有关。由于通路会保持数小时的激活状态，有时离开一个问题去处理另一个有其自身扩散激活的问题会导致两个不相关的区域在中间连接起来。当两个先前不相关的区域连接起来时，就会出现创造性和独特的解决方案。这就是为什么散步、淋浴或以其他方式离开问题一段时间可以帮助你在解决问题时摆脱困境。 总而言之，人类记忆并不像计算机内存那样，简单地从特定位置存储和检索。人类记忆更脆弱，更不可靠，但它也可以通过将知识联系在一起，在解决问题和深刻理解方面带来巨大的好处。我们将在后面的章节中进一步阐述这一点，特别是在从记忆中检索项目和加强记忆方面。 人类记忆并不像计算机内存那样，简单地从特定位置存储和检索。 2. 人类记忆由一个有限系统和一个无限系统组成 人类记忆有两个与学习相关的组成部分：*长期记忆*和*工作记忆*。长期记忆是永久存储信息的地方，功能上是无限的；1 在这个意义上，它的功能有点像计算机的磁盘存储。相比之下，工作记忆被用来有意识地推理信息以解决问题；2 它的功能就像 CPU 的寄存器，实时存储有限数量的信息，以允许访问和操作。...

好久没更新博客了，最近沉迷于开发不能自拔，做了一个对我个人而言非常有用的 Chrome 插件，现在完成度大概在 80%，还差两个有意思的能力没做。我自己使用了一段时间，它能帮我高效的处理日常的摘要、翻译、查词等等一系列需求，感兴趣的话可以体验一下。 本篇文章就是我用这款插件的 “智能摘要” 和 “全文翻译” 两个功能实现的。打开《How to Start Google》网页后，只需要点一下就全有了，体验非常丝滑。 核心要点 本文旨在为有志于创业的青少年提供建议，阐述了如何为创办一家像谷歌一样成功的公司做好准备。作者认为，创办自己的公司是避免传统工作束缚的最佳途径，并强调了技术能力、创业理念和联合创始人的重要性。 关键细节 技术能力: 作者鼓励年轻人积极参与个人项目，以此提升技术能力。编程被认为是最有价值的技能之一，但其他“制造”或“建造”相关的技能也同样重要。 创业理念: 作者认为，一旦具备了技术能力，创业理念将会自然涌现。通过观察世界，技术人才能够发现现存问题和技术缺口，从而产生创业想法。 联合创始人: 作者强调了寻找合适的联合创始人的重要性，并建议通过共同参与项目来建立联系和评估合作默契度。大学被视为寻找联合创始人以及创业理念的主要场所。 作者以 Facebook、Apple 和 Google 为例，说明了这些成功的公司最初都是源于个人项目，并强调了年轻人应该专注于构建自己和朋友真正需要的东西。最后，作者总结了成功的关键因素：提升技术能力，并在学校取得优异成绩以便进入优秀的大学，在那里寻找联合创始人并发现创业理念。 原文 2024 年 3 月(这是一篇我面向 14 岁和 15 岁的青少年所做的演讲，主题是如果他们将来想创办一家初创公司，现在应该做些什么。很多学校认为应该向学生传授一些关于初创公司的知识。我认为这就是他们应该告诉学生的。) 你们中的大多数人可能认为，当你们进入所谓的现实世界时，最终将不得不找一份工作。这不是真的，今天我要谈的是一个你可以用来避免找工作的诀窍。 这个诀窍就是创办自己的公司。所以这不是一个逃避工作的诀窍，因为如果你创办了自己的公司，你将比你有一份普通工作时更加努力地工作。但你将避免工作带来的许多烦恼，包括老板告诉你该做什么。 做自己的项目比做别人的项目更令人兴奋。你也可以变得更加富有。事实上，这是变得 真正富有的标准方式。如果你看看那些偶尔在媒体上公布的最富有的人的名单，几乎所有的人都是通过创办自己的公司来实现的。创办自己的公司可以意味着从开一家理发店到创办 Google 的任何事情。我来这里是为了谈论这一连续体的极端一端。我将告诉你如何创办 Google。 当 Google 处于连续体的末端时，这些公司在年轻的时候被称为初创公司。我知道它们的原因是我的妻子杰西卡和我创办了一家叫做 Y Combinator 的公司，它基本上是一家初创公司工厂。自 2005 年以来，Y Combinator 已经资助了 4000 多家初创公司。所以我们确切地知道你需要什么才能创办一家初创公司，因为我们在过去的 19 年里一直在帮助人们做到这一点。 你可能认为我说要告诉你如何创办 Google 是在开玩笑。你可能在想“我们怎么能创办 Google？”但实际上，这正是创办 Google 的人在创办它之前所想的。如果你告诉 Google 的创始人拉里·佩奇和谢尔盖·布林，他们即将创办的公司有一天会价值超过一万亿美元，他们的脑袋会爆炸的。 当你开始着手一家初创公司时，你所能知道的就是它似乎值得追求。你无法知道它会变成一家价值数十亿美元的公司，还是一家倒闭的公司。所以当我说我要告诉你如何创办 Google 时，我的意思是我要告诉你如何达到这样一个程度：你创办一家公司的可能性，与 Google 成为 Google 的可能性一样大。...

本文来自weibo上的一个视频分享，看了挺有意思这里分享出来。 核心内容 李想和马云在湖畔大学的讨论涉及企业经营战略中扩张与盈利的关系。以下是他们讨论的核心观点： 李想的观点： 竞争决定战略：李想认为是否优先扩张还是盈利，取决于竞争环境。如果竞争对手选择扩张，那么仅仅优先考虑盈利可能会使企业面临严重的风险。 扩张的必要性：他通过自己的经历强调，在数字时代，企业必须扩张以保持竞争力。小而美的企业模式在激烈的市场竞争中难以生存。 长期视角：李想分享了他如何通过不拘泥于短期盈利而专注于长期扩张和市场份额的获取，最终实现了在汽车之家的成功。 马云的观点： 情感与战略分离：马云强调在战略讨论中应去除情感因素，听取与自己观点不同的意见。 不被对手牵着走：他提醒说，虽然需要关注竞争对手，但企业不应完全由对手的策略决定自己的行动。 面对不确定性：马云认为，即使在充满不确定性的环境中，企业家应保持对理想的信念，并且需要有决断力，根据自己的资源和环境制定决策。 内容全文 李想说 我两个观点： 第一，优先扩张还是优先盈利是由竞争决定的。当下的环境你确实可以选择优先盈利而放弃扩张，但这不代表你的竞争对手也会选择放弃扩张。那些等着竞争对手在扩张中犯错的企业，往往等来的不是机会，等来的是灭顶之灾。就在上周，我和美团的王慧文吃饭，他讲了和饿了么竞争中的关键点，他夸奖对手有一支非常优秀的团队，产品好、服务好、运营好。美团在最初的竞争中处于非常严重的劣势，但是当时饿了么只经营了头部的12个省市，没有任何扩张的想法。美团很快调整了自己的经营策略，扩张到100个城市，给另外的88个城市率先提供了外卖的服务，很快整个市场份额就发生了扭转，等饿了么反应过来再想竞争的时候，美团的地位就已非常的牢固了。请问在座的同学中，你所在的行业里，难道没有遇到过凶悍的竞争对手吗？即使是当下的环境，当你选择优先盈利而放弃扩张的时候，他们就会原地不动吗？ 第二，小而美是最大的谎言，数字时代的企业扩张才是永恒的。高中毕业后我创办了第一家公司泡泡网，我的愿景是成为最专业的IT网站，翻译过来就是小而美，做好内容，没有什么扩张的欲望，走哪算哪。创业第四年我们年利润近千万，可用户规模我们是第三，做老三太痛苦了，没有底线的行业第一，随意的在扩展，把整个行业搞得乌烟瘴气。我们不但无能为力，为了盈利还必须跟上他种种龌龊的行为。因为行业的规则就是老大制定的，二选一是老大说了算。我们受够了做老三的地位，所以我们要掌控自你的命运。2005年我创办了汽车之家，并把泡泡网所有的利润用在汽车之家的发展上。虽然我们是后来者，但是我们找到了行业的问题。所以我们做了一个重要的决定，就是最开始的三年不考虑任何盈利的问题，把所有的钱投入到做最真实的内容，做最真实的论坛上面去，早日成为第一。随着这样的策略，我们到2007年就拿下了整个汽车市场20%的市场份额，进入了汽车网站前三名。但是糟糕的时候来了，2008年经济危机来了。在2008年经济危机来的时候，我们有两个选择，一个是跟大多数网站一样选择收缩，还有一个方式是选择扩张。我和秦致商量了一下，就决定开干。那一年，秦致负责买下了所有网址站的入口。那时候网址站占了整个流量60%，这是一笔千万级的投入。那时候我们高管的年薪普遍在10万到20万，我的技术合伙人又买了几百万的服务器，保证有足够的带宽来接入用户，我则保证我们的产品和内容的高质量，我们在扩张的同时做到了内容质量最好，产品最好，访问最快。好的运营质量恰恰是扩张过程中的好兄弟。到了2018年底，我们的用户份额从20%快速的涨到60%，稳稳的占据了第一的位置。如果说我们还有什么遗憾，最大遗憾就是我们IPO以后被利润绑架了，还有那么多广阔的领域我们没有去扩张。我真心的希望在座的每一个同学，就是当我们老了以后，跟我们的子孙讲我们当年创业的故事的时候，千万不要留下这样的遗憾。感谢大家。 马云说 就讲讲我的一些看法和观感。在座每个人，你们公司一定有这样的争吵，但是一定要在争吵中把情绪刨掉。你要听见那些跟自己不同的东西。每一个人都知道此时此刻你是要盈利还是要发展，每个企业都不一样。如果你们家现在就没有盈利，那你今天是真要考虑一下先活下来。 还有一个对手的问题，我今天早上也讲了，我们做企业千万千万不要被对手牵着走。你有困难，对手其实也有很困难。企业家的精神就相信。不管再困难，有的时候战术层面上你确实要考虑我该往后退一退，此时退是为了明天更好的进，但是千万不能放弃，心中相信这个理想。如果你把这个放掉了，你的员工会看不起你。但是你说我就是要死扛，就讲理念和理想了，员工也看不起你。所以我相信在座的每一个湖畔人，我们是能够把握好这个，你根据自己还有多少子弹来判断。最优秀的拳手不在于多会抗击打能力，而是躲过对方的重拳。 有不确定性。但是有一点是确定的，世界即使隔离，我认为不可能分隔。即使隔离，能够创造跨越隔离重建信任的是企业家，是创业者，是年轻人。这一点是湖畔大学的很多学生。我今天很高兴看见今天早上开学典礼到今天下午的辩论。我看到你们的勇气，看到你们的智慧，看到你们的口才，特别看到大家的激情。这就是代表中国21世纪早期，我们需要那帮企业家。我们每个公司都要把握好自己的风险，把握自己对未来的判断。但是千万千万的不要有这个侥幸心理，说没有风险。 今天早上我讲了当CEO和当总裁是不一样的。总裁做很多决定拿结果，CEO是做决策，而决策你一定要做。在今天做这件事情对未来的影响多大？今天的企业家们已经带有强大的理想主义精神。最后我们赢得这世界的尊重就是情怀。最后我们赢得家人的尊重、朋友的尊重，那就是有结果。

看到红杉发布的一篇关于 AI 50 企业相关的文章：AI 50: Companies of the Future，分享一下。 核心观点 这篇文章概述了AI技术如何转变企业生产力，并讨论了AI未来的潜力及其对商业和社会的深远影响。 生成式AI的崛起：2024年的AI 50名单显示，生成式AI已从一个边缘领域走向主流，成为推动企业生产力增长的关键因素。大型公司如ServiceNow、Palo Alto Networks 和 Hubspot通过整合AI提高了效率和降低了成本。 AI企业的发展：文章强调，越来越多的企业将AI融入其业务流程，以提升关键绩效指标。这不仅涉及自动化和成本节约，也包括客户服务和产品开发的优化。 技术扩展和新进展：AI 50名单的公司显示了生成式AI如何在企业生产力应用中快速扩张，从四家增至八家，涵盖了更多企业部门。同时，消费者和专业消费者之间的界限变得模糊，创意软件的使用越来越广泛。 行业应用变革：AI正在被应用于工业领域，如机器人、工业维护和自动驾驶，展示了软硬件结合的变革潜力。基础设施领域也见证了显著发展，如向量数据库和大型语言模型的应用开发框架。 企业的未来形态：AI技术预示着一场生产力革命，类似于个人计算机时代的变革。未来的企业可能会更加精简，企业数量将大增，企业结构将更加灵活和迅速形成。 成本和社会影响：AI有潜力在教育、医疗等关键领域降低成本，提高可获得性和负担能力。这需要负责任地进行，通过政府和私营部门的共同努力，重新培训和赋能所有人。 长远预期：AI的应用预计将在未来几年内在深度和广度上扩展，2024年只是一个开始，标志着AI在各行各业的广泛应用和深远影响的起点。 总之，文章展望了AI如何作为未来企业的核心驱动力，重塑工作方式、增加企业效率，并为社会带来更广泛的变革。 原文 2024年版的 AI 50 显示了生成式 AI 如何开始改变企业生产力。 去年，生成式 AI 从 AI 50 名单的背后走到了前台。今年，它成了焦点，我们看到了企业客户和消费者在 AI 生产力方面的重大增长初现端倪。尽管2023年美国的 AI 风险投资大部分用于基础设施——60%给予了最大的大语言模型（LLM）提供商——但应用公司继续主导 AI 50 名单。 同时，我们开始见识到植入 AI 的公司将会呈现何种面貌。如今，许多公司正在将 AI 融入其流程，以此加速关键绩效指标（KPI）的提升。我们见证了大型公司通过将 AI 融入产品而获益良多。例如，工作流自动化平台 ServiceNow 通过其 AI 驱动的 Now Assist 实现了近20%的案例避免率。Palo Alto Networks 通过 AI 降低了费用处理成本。Hubspot 利用 AI 扩展了其客户支持服务。瑞典金融科技公司 Klarna 最近宣布，通过在客户支持中使用 AI，节省了超过4000万美元的运营成本。数千家企业现在正将 AI 整合进他们的工作流程中，以促进增长和降低成本。AI 50中的企业正推动这些迅速的改进。...

上周在 twitter 上看到一篇关于深度学习入门的帖子，翻译完之后一直没时间发出来，今天抽空整理完分享一下。 核心观点 这篇文章详细描述了作者如何从一个机器学习初学者转变为深度学习领域的专家，并为那些对深度学习感兴趣的读者提供了一系列学习策略和资源。 背景和动机：作者拥有非计算机科学背景，但因为对深度学习的强烈兴趣，他决定克服初学者的困难，重新学习这一领域。 自学之路：作者强调，他的深度学习技能主要是通过自学获得的。他最初通过Kaggle竞赛接触机器学习，但后来意识到这种方式虽然快速，却无法深入理解深度学习的数学和算法基础。 技能和工具：作者认为扎实的Python编程能力对于深度学习非常重要，因为Python是AI领域的主流语言。此外，数据清洗和处理技能占据了他工作的大部分时间，这些是进入AI领域不可或缺的实用技能。 学习策略和资源： 作者选择了自底向上的学习方法，首先通过阅读《深度学习》这本书建立坚实的理论基础。 为了更好地理解复杂的数学概念和术语，他建议通过绘图和编程实践来辅助学习。 提及了多个高质量的在线资源，如fast.ai的课程和Andrej Karpathy的视频，这些都是优秀的自学材料。 推荐使用Google Colab和Weights and Biases这样的工具来访问GPU资源并监控训练过程。 应用和实践： 在掌握理论后，作者开始研究并实现从2015年到2022年间的重要深度学习论文，如Transformers和视觉Transformer等，进一步深化了他对深度学习架构的理解。 他还创建了一个名为“从零到GPT”的课程，通过教学来加深自己对深度学习的理解。 实用主义的重要性：作者强调，在深度学习中，能够识别何时应深入钻研，何时应追求快速简便的解决方案是一个重要的技能。 原文 我曾经运营了一家名为 Dataquest 的教育公司长达8年。去年，我重新产生了创造的渴望。深度学习对我来说一直很有吸引力，但我对它知之甚少，因此我决定解决这个问题。从那时起，我训练了许多模型（其中几个达到了开源领域的最先进水平），开发了两个GitHub星标超过5000的库，并最近接受了 answer.ai 的工作邀请，该研究所由 Jeremy Howard 创立。我这样描述是为了大致勾勒出我的学习历程。在本文中，我将更详细地讲述我是如何学习深度学习的。希望这对你的学习之旅有所帮助。 我并非在学校里学到这些技能的。我本科主修美国历史，期间挂了不少科。2012年，我涉足了机器学习和Python编程，但我曾自认为深度学习对我而言过于复杂。其中一个原因是我通过参加Kaggle竞赛来学习。Kaggle竞赛是迅速学习的好方法，但可能会让你在基础知识上有所欠缺——比如算法的数学原理。 当深度学习开始流行，它非常依赖数学，我认为自己永远无法理解它。当然，这种看法是错误的，我在十年后证明了这一点，但接近问题的角度决定了一切。我第一次学习深度学习是从顶向下的方式，即直接组装模型而不理解其工作原理。最终我遇到了障碍，无法突破。 去年我再次学习深度学习时，已经具备了一些有用的技能。最重要的是扎实的Python编程能力。尽管有人尝试改变，但Python仍然是AI领域的通用语言。如果你想进入AI领域，那就从精通编程开始吧。 不论我身处AI的哪个阶段，数据清洗都占了我工作的超过70%。如果你从事纯理论研究或者只处理简单问题，可能可以避免数据处理，但在其他情况下，数据处理技能是必不可少的。 还有一个更加抽象的技能，我称之为实用主义。深度学习中充满了各种诱惑，从“什么是完美的基模型？”到“如果我去掉这里的sigmoid会怎样？”虽然有些探索是有价值的，但大部分都会耗费大量时间。能够识别何时应深入钻研，何时应追求快速简便的解决方案，这一点非常重要。 这次，我决定从底层基础开始学习。我精读了一本书，名为《深度学习》。这本书虽已出版数年，但依然是学习深度学习不可多得的资源。建议慢慢阅读。书中许多术语和数学公式初看会让人生疏——需要查阅资料。你可能需要通过绘图或编程来帮助理解这些概念——给自己足够的时间和空间去做这些。如果你觉得数学部分有难度，可以辅以阅读《机器学习的数学》。虽然我个人未参与，但fast.ai的课程和Andrej Karpathy的视频都是非常优质的学习资源。 尽管在一个向Transformer全面过渡的世界里，CNN或RNN可能显得有些过时，但是CNN依然广泛应用于多个领域，RNN在某些方面也是旧技术重用。 当你读完这本书的前两部分之后（第三部分可以跳过），你应该能够自己用纯numpy编码实现任何主流的神经网络架构，包括前向和后向传播。 我在阅读《深度学习》书的同时，开始编写了一个课程，名为从零到GPT。教学是加深理解的最好方式，我发现自己进入了一个良性循环：学习新知识，梳理并描绘不理解的部分，然后教授它。 在读完这本书之后，你将对2015年以来的深度学习有一个全面的理解。随后，我开始研究一些从2015年到2022年间的重要深度学习论文，并在PyTorch中实现这些理论。你可以使用 Google Colab 来免费或低成本地访问GPU资源，并借助 Weights and Biases 来监控你的训练进程。 以下是一些关键论文的非全面列表： RNN注意力机制 Transformers Switch Transformer LoRA 视觉Transformer AdamW GPT-2 深入这些文献之后，你应该能够理解关于深度学习模型架构的大多数讨论。

在 twitter 上看到 devv.ai 的作者发了一篇自己从0到1的文章，这里分享一下。 核心内容 文章主要讲述了作者如何创建并发展了一个月收入达3万美元的开发者AI搜索引擎——Devv。以下是文章的核心观点提取： 解决真实问题的重要性：作者创建Devv是为了解决开发者在寻找可靠编程答案时遇到的挑战。尽管有ChatGPT等工具，但它们有时会生成错误或不准确的代码。 市场调研：在开发之前，作者通过与50位不同背景的开发者进行深入访谈，了解他们的需求和痛点。这些访谈揭示了一个共识：开发者对提供不精确代码片段和解释的通用AI工具感到不满，并渴望一个更可靠、更专注的解决方案。 Devv的创建和技术基础：基于前期的洞察，Devv被设计为一个专门为开发者打造的AI搜索引擎，能提供可靠的编程问题答案和整洁的代码片段。Devv使用了RAG（检索增强生成）和大型语言模型，并创建了自己的专门搜索索引，包含开发相关的网站、官方文档和开源代码库。 快速迭代和市场验证：作者设定了在一周内构建并推出最小可行产品（MVP）的目标，以快速验证他们的想法。MVP获得了积极的反馈，鼓励团队继续发展。 竞争策略：尽管市场上存在竞争者如Perplexity、You.com和Phind，Devv通过构建自定义搜索索引和专注于开发者资源的独特视角来区分自己，提供了更相关和精确的编码查询结果。 核心功能和用户体验：Devv引入了代理模式和干净的用户界面，专为复杂查询和提供定制化解决方案而设计，强化了其作为开发者首选搜索引擎的价值主张。 在中国的成功和挑战：通过Twitter分享，Devv在中国开发者中迅速获得了关注，并实现了用户数量的指数级增长。然而，随后Devv在中国被封锁，导致主要增长动力的丧失。 全球扩展和盈利模式：面对挑战，Devv调整策略，适应全球受众。通过引入高级订阅方案，Devv实现了可观的月收入，证明了其可持续的业务模型。 创业经验和建议：文章最后，作者分享了他的创业经验，强调了解决真正问题、通过MVP快速验证、产品差异化、口碑的力量和面对挑战的重要性。同时，提供了几个对创业者有用的资源。 整体而言，这篇文章不仅是一个成功创建和发展AI搜索引擎的案例研究，也为有志于科技创业的读者提供了宝贵的经验和建议。 原文 我们是如何打造一个月入3万美元的开发者AI搜索引擎的 解决真实问题的威力 作为开发者，我们都曾感受过寻找可靠编程答案的挑战。虽然ChatGPT等工具在某种程度上提供了帮助，但它们往往会生成错误或虚假的代码。正是为了解决这个问题，我创立了 Devv —— 一个专门为开发者设计的AI搜索引擎。 50位开发者的深入访谈 在动手编码之前，我希望深刻理解目标用户的需求和痛点。通过与50位来自不同背景的开发者进行Zoom一对一访谈，我深入探讨了他们当前面临的挑战及所采用的解决方案。一个共识逐渐浮现：开发者们已经对那些提供不精确代码片段和解释的通用AI工具感到不满。他们渴望有一个可靠、专注于开发者需求的选择。 打造解决方案 有了这一关键洞见，我们开始构建 Devv。我们的目标是打造一个能提供可靠、无误的编程问题答案，以及生成整洁、可用代码片段的AI搜索引擎。 在技术层面，Devv 依托于 RAG（检索增强生成）和大型语言模型。为确保最相关且准确的结果，我们创建了自己的专门搜索索引，包含了开发相关的网站、官方文档和开源代码库等内容。 为了迅速验证我们的想法，我们设定了在一周内构建并推出最小可行产品（MVP）的目标。初版虽简单，却已经能够针对不准确的AI代码生成和回答这一核心问题提供解决方案。 将MVP推广给一小群朋友和同事后，收到了极其正面的反馈。开发者们对于能够真正信赖的日常编码AI工具表示欢迎，这让我们信心倍增，继续前进。 在竞争激烈的市场中突围 我们清楚，我们并非市场上唯一的生成式搜索引擎。Perplexity、You.com、Phind 等竞争对手已经站稳脚跟。虽然他们也利用Google或Bing搜索结果来获取最新信息，但我们认为，要真正满足开发者的需求，我们必须更进一步。 这就是我们决定构建自定义搜索索引的原因，专门针对开发相关场景。除了整合Google搜索，我们还爬取并索引了大量的开发者网站、官方文档和如GitHub这样的开源代码库。 这种专注于开发者资源的独特视角，使我们能够为编码查询提供更相关和精确的结果。Devv 能够依托于编程特定信息的丰富知识库来解答问题和生成代码片段，而非仅依赖通用网页结果。 为了进一步提升 Devv 的独特性，我们引入了两大核心功能： 代理模式：对于复杂查询，Devv 能够理解用户意图，并从专门的代理类型（包括代码生成、解释、调试、优化、网页搜索等）中挑选，以提供定制化的解决方案。 干净、专注的用户界面：我们为 Devv 设计了一个简洁且直观的界面，使开发者可以专注于工作，而不被工具本身分心。 通过将我们的自定义开发者搜索索引与这些独特功能结合起来，我们为 Devv 塑造了强大的价值主张，成为开发者首选的搜索引擎。我们的专注于特定领域的方法，使我们与广泛定位的竞争者区别开来。 在中国获得初步成功 有了一个经过优化的MVP，我们开始向更广泛的受众展示 Devv。首先，我通过我的Twitter账户分享给主要是中国开发者的关注者。 反响远超我们的预期。纯粹通过口碑，Devv 在几个月内的用户数量激增至50万。中国各地的开发者都在推崇这个工具，我们的用户群呈指数增长。 但正当我们开始取得成功时，遭遇不幸。Devv 突遭中国的防火长城封锁，导致所有中国大陆的用户无法访问。我们的主要增长动力瞬间消失。 被中国封禁 失去中国用户群是重大挫折，但我们没有放弃。我们相信我们构建了有价值之物，并且坚信中国之外的开发者也面临相似挑战。 于是，我们重新出发，调整 Devv 以适应全球受众。我们从头开始，一步一个脚印地重建用户基础。渐渐地，我们开始在其他市场取得进展。 重新建立并实现盈利 随着全球用户基础的扩大，我们开始考虑如何实现盈利，以构建一个可持续的业务模式，同时不牺牲用户体验。 在三月份，我们推出了 Devv 的高级订阅方案。让我们欣喜若狂的是，仅首月它就创造了超过28,000美元的收入。从那以后，这个数字还在持续增长。 今天，Devv 正在帮助全球的开发者更快更好地编写代码。而我们的旅程仅仅刚刚开始。...

ss 在 twitter 看到有人分享 Obsidian CEO 的这篇文章，看了感觉里面的一个比喻挺有意思，分享一下 核心观点 这篇文章强调了优质独立软件的价值，与大型科技公司生产的软件相比较。文章的核心观点包括： 优质独立软件与工业化软件的对比：作者将优质独立软件比作农贸市场上的手工有机果酱，而将大型科技公司的软件比作添加了廉价原料和稳定剂的超市果酱，突出了独立软件在质量和个性化方面的优势。 大型科技公司的市场优势：文章指出，由于规模经济和其他因素，如巨额收入和全球推广能力，大型科技公司能够以较低成本生产和分发软件，从而压低价格。这种情况为这些公司提供了不公平的市场优势，并对独立开发者构成了巨大挑战。 成本补贴策略的影响：文章详述了大型科技公司如何通过不同的补贴策略（例如，通过广告收入、销售硬件或捆绑企业合同）来降低软件成本，这种做法让人误以为所有软件都应该是低廉或免费的。 优质软件的价值被低估：作者指出，人们似乎更愿意为高品质的物理产品（如果酱）支付费用，而不是为软件支付，这反映出优质软件的价值在市场上被低估了。 支持独立开发者的呼吁：文章呼吁读者支持独立软件开发者，认为这不仅是为了获得更高质量和更安全隐私的软件，也是为了促进一个有着更多选择和创新的软件生态系统的发展。作者鼓励读者为优质的独立软件支付，强调这些软件值得人们的投资。 总的来说，文章倡导读者认识到独立软件开发者的价值，支持他们通过支付公平价格，以确保软件市场的多样性和创新。 原文 优质软件来自独立开发者，就像农贸市场上的优质食品一样。一罐手工有机果酱与超市里的大批量生产、添加玉米糖浆的果酱大不相同。 工业果酱充斥着廉价原料和货架稳定剂，而工业软件则满是侵犯隐私的跟踪器和专有格式。 谷歌（Google）、苹果（Apple）和微软（Microsoft）生产的就是这样的工业化软件。虽然工业软件便宜、相对可靠、广泛可用，通常能够满足基本需求，但也有其缺点。 这些大型科技公司凭借数千亿美元的收入和数十万员工的规模，轻松地向全球数十亿用户推广他们的新应用，享有开发和维护应用成本上的无比优势。 相比之下，独立软件开发者通常是小团队，没有规模经济的优势。他们要么通过牺牲品质来降低价格竞争，要么只能收取公平价格，但这往往导致许多人转向大型科技公司。不管怎样，大型科技公司总是赢家，因为他们能从大多数独立开发者在应用商店里赚到的钱中抽成20-30%，这是他们不需要承担的成本。 大型科技公司能够通过多种方式补贴成本，使其软件价格低廉： 谷歌通过销售利润丰厚的广告让应用免费，但用户将面临广告和侵犯隐私的追踪。 苹果通过销售高利润的设备免费提供应用，但这会将用户锁定在其专有的生态系统内。 微软则通过捆绑销售利润丰厚的企业合同来降低应用价格，同样使用户被锁定在其专有生态系统内。 一些科技公司通过向风险资本投资者筹集数亿美元，用这笔钱来补贴定价——直到资金耗尽，软件质量也随之下降。 这并不意味着这些公司有恶意。但他们的补贴策略造成了一种错觉，让人们认为所有软件都应该便宜或免费。 工业软件变得极为便宜，许多人已经不再知道优质软件能带来多少价值。我们对优秀软件的感知变得麻木，被“免费”这个概念迷惑。 不知为何，我们似乎更愿意为高品质的果酱而非高品质的软件付费。我发现自己在个人软件上的支出远少于在食品杂货等基本生活用品上的支出。然而，软件是为数不多的能真正带给我效用的产品之一。考虑它的每次使用成本吧。 独立优质软件的制作者们不遗余力地为你打造更好的应用，采取原则性的方法开发工具，既不妥协你的隐私，也不让你受限。 独立软件开发者就像你可以交流的朋友。如同农贸市场上的优质果酱，你可能会和制作它的人成为朋友，他们愿意聆听你的建议和不满。 如果你希望生活在一个有着更多软件选择的世界里，请在优质独立软件上多花一点钱。它们值得你的辛苦所得。

看到微博上宝玉老师分享的乔布斯解释伟大创意与伟大产品之间的区别的一个视频，看了深表认同。这里我用 Claude3 Opus 进行了总结，并附录上视频原文。 核心观点 一个好的想法只是成功的开始，将想法转化为好的产品需要大量的精细工艺和打磨。产品会在这个过程中不断演变和成长，变得比最初设想的更加复杂。 设计产品需要在脑海中整合数千个不同的概念，并以新颖的方式将它们组合在一起。这个过程中会不断发现新问题和机会，需要持续创新。这就是创造力的源泉。 一群对工作充满热情的人在一起努力，会相互碰撞、争执、冲突，但也会在这个过程中互相改善提升，最终产生美好的成果。这就像石头互相摩擦，最后变成美丽的抛光石头。 在生活的大多数领域，二比一是一个相当大的差距。而在软件和硬件领域，最优秀的人才可以比一般人高出 50 倍甚至 100 倍。Jobs 认为自己成功的关键在于找到这些顶尖的 A 级人才，而不满足于 B 级 C 级。 当足够多的 A 级人才聚在一起时,他们会喜欢彼此合作，因为之前没有过这样的机会。他们会自发地保持高标准，只愿意与其他 A 级人才共事。这样就能建立并扩展一支全是顶尖人才的团队。 内容原文 苹果遭受的一次重大打击是，我离开后，John Sculley 得了一种严重的病。我也见过其他人得这种病，那就是过分地认为一个好的想法就是成功的 90%。他们认为只要把这个好的想法告诉其他人，然后其他人自然就能够实现它。 然而，问题在于，一个好的想法与一个好的产品之间，需要大量的精细工艺去打磨。随着这个好的想法的发展，它会不断变化和成长。它不会像最初设想的那样简单，因为在深入了解其微妙之处时，你会学到更多的东西。你还会发现，你必须要做出许多的权衡。比如，有些事情你就是无法让电子元件去完成，有些事情你无法让塑料、玻璃去完成。有些事情你无法让工厂或机器人去完成。 在设计一个产品的过程中，你需要在脑海中储存和整合 5000 个不同的概念，并持续推动他们以新的、不同的方式配合在一起，达到你想要的效果。每一天，你都会发现一些新的问题，或者是新的机会，这些都能让你以新的方式去整合这些概念。这个过程就是创造力的源泉。 因此，虽然我们一开始就有很多好的想法，但我一直认为，一群真心热爱他们正在做的事情的人，像我小时候那条街上的那个鳏夫。他那时已经 80 多岁了，看上去有点让人畏惧。我稍微了解了他一些，我想他可能雇我来给他的草坪修整或者做些什么。有一天，他说，跟我来我的车库，我有些东西想给你看。他拿出了一台老旧且积满尘土的石头研磨机，那是一台电动机，一个咖啡罐，以及它们之间的一根小皮带。 他说，跟我来。我们走到后院，只是拿了一些石头，一些普通的、长相平凡的石头。我们把它们放进罐子里，加了一点液体，一点研磨粉，然后我们把罐子盖上，他开启了这台电动机。他说，明天再来。他的罐子在石头转动时发出声响。我第二天回来时，我们打开了罐子，我看到了一些令人惊叹的美丽抛光石头。那些原本平常的石头经过相互摩擦，产生了一些声响，竟然变成了这样美丽的抛光石头。 这一过程在我心中一直是我对团队努力工作的隐喻。他们对某件事充满热情，就像这群无比有才华的人在团队中相互碰撞，有时候会有争执，争吵，甚至冲突。共同工作，相互磨砺，最终让彼此和想法都得到了改善和提升，最终产生的是那些非常美丽的石头。这个过程很难解释，肯定不是一个人能完成的。人们喜欢寻找代表或象征，所以我成为了某些事物的象征。但实际上，Mac 是团队的努力成果。 我在苹果公司早期观察到一种现象，当时我并不知道如何解释，但从那时候开始，我对此进行了深入的思考。在生活中的大多数事情，平均水平与最好的水平之间的差距最多是二比一。比如你去纽约，找普通的出租车司机与找最好的出租车司机，你可能会发现，最好的司机可能会让你比普通司机快 30% 到达目的地。汽车，平均与最好之间的差距是多少？可能是 20%。最好的 CD 播放器和普通的 CD 播放器，可能也只差 20%。因此，在生活的大多数领域，二比一是一个相当大的差距。 但在软件行业，甚至过去的硬件行业，平均水平和最好水平之间的差距是五十比一，甚至是一百比一。这真的很明显。生活中很少有这样的事情，但我有幸能在这样的环境中度过我的一生。因此，我成功的很大一部分是因为我找到了这些真正有天赋的人，并且我从不满足于 B 级和 C 级的人，我一直在寻找 A 级的人。 我发现了一件事。我发现当你有足够多的 A 级人才在一起时，当你付出巨大努力找到这五个 A 级人才后，他们非常喜欢一起工作，因为他们之前从未有过这样的机会。他们不愿意和 B 级和 C 级的人一起工作。所以，他们会自发地保持团队的高水平，他们只愿意聘请更多的 A 级人才。于是，你就能建立起一支由 A 级人才组成的团队，并不断地扩展。这就是 Mac 团队的情况。他们都是 A 级人才。这些人才都非常出色。

本文来自Andrej Karpathy 在红杉组织的 AI Ascent 2024 上的演讲视频，我用 Claude3 opus 提取了 Karpathy 提到的核心观点。 核心观点 目前各家公司都在努力构建一个 “LLM OS”，包括获取外围设备（文本、图像、音频等）作为输入，用LLM作为CPU，并连接到现有的软件基础设施上。未来可能会出现一些默认应用（如 Windows 系统自带的 Edge 浏览器），但也会有一个生机勃勃的生态系统。 目前 LLM 生态系统包括完全开源的模型(如Pythia、LLaMA等)、只开放权重的模型和专有模型。未来可能会类似于操作系统生态（如 Windows系统、Mac系统、Linux操作系统，而Linux 有无数的分发版本）。 规模化训练这些模型非常困难，是一个非常复杂的分布式优化问题。实际上，目前这方面的人才相当稀缺。 模型规模是最重要的，但还需要很多其他细节，如数据集准备、算法优化等。单纯给钱和算力还训练不出 SOTA（“State of the Art"的缩写，意为"最先进"或"最高水平）模型，还需要很多专业知识。 扩散模型和自回归语言模型是概率建模的两种形式，可能存在将二者统一的空间。目前模型能效还比人脑低几个数量级，未来可能的改进方向包括针对性的计算架构、低精度训练、稀疏性等。 马斯克管理公司的特点包括保持团队小而精干、办公室氛围紧张忙碌、鼓励无用会议早退、与基层工程师直接沟通、果断消除瓶颈等。 Karpathy 更关心 AI 生态系统的健康发展，而非某家公司。他希望生态像珊瑚礁一样丰富多彩，对巨头垄断持谨慎态度。 字幕详情 1 00:00:03,190 --> 00:00:06,535 我很高兴介绍我们的下一个也是最后一个演讲者, Andrej Karpathy. 2 00:00:06,894 --> 00:00:08,737 Karpathy可能不需要介绍. 3 00:00:08,797 --> 00:00:11,941 我们大多数人可能在YouTube上长时间观看过他的视频. 4 00:00:12,901 --> 00:00:17,588 他以深度学习研究闻名. 5 00:00:17,667 --> 00:00:22,452 他设计了斯坦福大学的第一个深度学习课程, 是OpenAI创始团队的一员. 6 00:00:23,454 --> 00:00:28,795 领导了特斯拉的计算机视觉团队, 现在又成为一个神秘人物, 因为他刚刚离开了OpenAI....

在github 上看到一个超级小的编译器实现，看了一下具体实现，大概了解了编译器的实现逻辑，这里分享给大家。 今天，我们将一起编写一个编译器。不过，这不是任何普通的编译器……这是一个超级超级小的编译器！这个编译器小到，如果你把所有注释都删掉，真正的代码只有大约200行。 我们即将将一些类似LISP的函数调用编译成一些类似C的函数调用。 如果你对这两种语言都不太熟悉，我会快速介绍一下。 假如我们有两个函数 add 和 subtract，它们的写法如下： LISP C 2 + 2 (add 2 2) add(2, 2) 4 - 2 (subtract 4 2) subtract(4, 2) 2 + (4 - 2) (add 2 (subtract 4 2)) add(2, subtract(4, 2)) 很简单，对吧？ 那很好，因为这正是我们要编译的内容。虽然这既不完全符合LISP也不完全符合C的语法，但它足以演示现代编译器的许多主要部分。 大多数编译器分为三个主要阶段：解析、转换和代码生成。 解析，即将原始代码转换成更抽象的代码表示形式。 转换，即对这种抽象表示进行操作，完成编译器想要完成的任何任务。 代码生成，即将转换后的代码表示转换成新的代码。 核心截断 解析 解析通常分为两个阶段：词法分析和句法分析。 词法分析，将原始代码分割成所谓的tokens，这一过程由一个称为 tokenizer（或lexer）的工具完成。 Tokens是描述语法的孤立部分的一系列小对象。他们可以是数字、标签、标点、操作符等。 句法分析，将 tokens 重新组织成一种表示语法各部分及其相互关系的形式。这种表示称为中间表示或抽象语法树（AST）。 抽象语法树（AST）是一个深度嵌套的对象，它以易于操作的方式表示代码，并提供大量信息。 对于如下语法： (add 2 (subtract 4 2)) Tokens可能如下所示： [ { type: 'paren', value: '(' }, { type: 'name', value: 'add' }, { type: 'number', value: '2' }, { type: 'paren', value: '(' }, { type: 'name', value: 'subtract' }, { type: 'number', value: '4' }, { type: 'number', value: '2' }, { type: 'paren', value: ')' }, { type: 'paren', value: ')' }, ] 而抽象语法树（AST）可能如下所示：...

前段时间看了 Andrew Ng 在红杉组织的AI Ascent 2024 主题活动中的演讲视频，今天正好在 DeepLearning.AI 官方也看到了相关内容，就索性翻译了一下。 我认为，今年 AI agent 的 workflows 将大大推动 AI 的进步，其影响甚至可能超过下一代基础模型的发展。这是一个不容忽视的趋势，我强烈建议所有 AI 领域的工作者都应该重视起来。 目前，我们主要是在零样本模式下使用大语言模型（LLM），即直接提示模型一步步生成最终输出，不进行任何修改。这好比让某人一气呵成地写完一篇文章，不允许回退修改，期望其能写出高质量的作品。尽管这样做颇具挑战，但大语言模型在这方面的表现出奇的好！ 然而，通过采用 AI 代理的工作流程，我们可以让 LLM 多次迭代文档。例如，它可能会执行以下一系列步骤： 规划提纲。 确定是否需要进行网络搜索来收集更多信息。 撰写初稿。 复审初稿，寻找不合理的论点或无关的信息。 针对发现的问题修改草稿。 诸如此类的其他步骤。 这种迭代过程是大多数人类写作者撰写优质文本的关键。对于 AI 来说，采用这种迭代的工作流程比一次性完成整篇文章能带来更好的结果。 近期，Devin 的一次引人注目的演示在社交媒体上引发了广泛关注。我们团队一直紧密跟踪代码编写 AI 的发展。我们分析了多个研究团队的成果，重点关注算法在广泛使用的 HumanEval 编码基准上的表现。您可以在下方的图表中看到我们的发现。 GPT-3.5 在零样本模式下的正确率为 48.1%，而 GPT-4 的表现更佳，达到了 67.0%。然而，从 GPT-3.5 到 GPT-4 的进步与采用迭代代理工作流程的提升相比则显得微不足道。实际上，在代理循环的加持下，GPT-3.5 的表现提升至高达 95.1%。 开源代理工具和代理相关的学术文献正迅速增加，这既是一个令人兴奋的时刻，也是一个令人困惑的时期。为了帮助大家更好地理解这项工作，我想分享一个框架，用于对构建代理的设计模式进行分类。我的团队 AI Fund 在许多应用中成功采用了这些模式，我希望它们对你也有帮助。 反思：LLM 审视自己的工作，并提出改进方案。 工具使用：LLM 被赋予工具，比如网络搜索、代码执行等，以帮助其收集信息、采取行动或处理数据。 规划：LLM 设计并执行一个多步骤计划来实现目标（比如，为一篇文章制定提纲，接着进行在线研究，然后撰写草稿等等）。 多代理合作：多个 AI 代理合作，分担任务，讨论和辩论观点，以提出比单一代理更好的解决方案。 反思 也许你曾这样体验过：你向 ChatGPT 、 Claude 或 Gemini 提出请求，结果不尽如人意。之后，你给出关键反馈，帮助模型优化答案，然后它给出了更好的回应。如果我们将提供关键反馈的步骤自动化，让模型能自我批评并优化输出呢？这正是“反思”模式的核心所在。...

本文翻译自 Llamaindex 官方发布的一篇文章：《Towards Long Context RAG》 Google 最近发布了 Gemini 1.5 Pro，带有 1M context window，仅向一小部分开发者和企业客户提供。它在由 Greg Kamradt 推广的“大海捞针”实验中实现了 99.7% 的召回率。这一成就引起了 Twitter 上的 AI 圈子的广泛关注。早期用户输入了大量研究论文和财务报告进行测试，并报告说其在整合海量信息方面表现出色。 这自然引发了一个问题：RAG 是否已经过时了？有人认为确实如此，而另一些人则持不同意见。认为 RAG 过时的一方提出了一些有力的论点，比如大多数小数据场景都可以适应 1 到 10M 的上下文窗口大小，而且随着时间的推移，处理 token 的成本和速度都会降低。通过注意力层直接在大语言模型（LLM）中融合检索和生成过程，与简单的 RAG 模型中单次检索相比，可以获得更高质量的响应。 我们有幸提前体验到 Gemini 1.5 Pro 的能力，并在此基础上发展了一套论点，关于 context-augmented LLM 应用的未来发展方向。本篇博客旨在明确我们作为数据框架的使命，以及我们对长上下文大语言模型架构未来形态的看法。我们认为，尽管长上下文的大语言模型会简化某些 RAG 处理流程（如数据分块），但为了应对新的使用场景，还需发展新的 RAG 架构。无论未来发展如何，LlamaIndex 的使命都是为构建未来的工具而努力。 我们的使命远不止于 RAG LlamaIndex 的宗旨非常明确：赋能开发者在自己的数据上构建基于大语言模型的应用。这个目标远不止于 RAG。迄今为止，我们已经在推动现有大语言模型使用 RAG 技术方面投入了巨大的努力，这使得开发者能够开发出许多新的应用场景，例如在半结构化数据、复杂文档上进行问答(QA)以及在多文档环境中进行具有代理能力的推理。 对 Gemini Pro 的兴奋之情也同样激励着我们，未来我们将继续推动 LlamaIndex 作为一个面向长上下文大语言模型时代的数据框架向前发展。 **大语言模型框架本身极具价值。**作为一个开源的数据框架，LlamaIndex 为从原型到生产构建任何大语言模型应用场景提供了一条清晰的路径。与从头开始构建相比，使用框架能显著简化开发过程。我们使所有开发者都能够构建这些应用场景，无论是通过使用我们的核心抽象来搭建恰当的架构，还是利用我们生态系统中的众多集成。不论底层大语言模型技术如何进步，不论 RAG 是否继续以当前形式存在，我们会持续优化框架，确保其准备就绪，包括严密的抽象设计、一流的文档和一致性。 我们上周还推出了 LlamaCloud。LlamaCloud 的使命是构建数据基础设施，使任何企业能够让其庞大的非结构化、半结构化和结构化数据源为使用大语言模型做好准备。 Gemini 1.5 Pro 初步观察 在我们的初步测试中，我们尝试了一些 PDF 文件，如 SEC 10K 文件、ArXiv 论文、这个庞大的 Schematic Design Binder，等等。一旦 API 可用，我们将进行更深入的分析，但暂时，我们在下面分享了一些观察结果。...

刚看完马斯克在 twitter 上转发的他在2016年写的 特斯拉总体规划其二 这篇文章，写的非常好且都实现了，其中也提到了一些行业认知，顺手就把两篇规划内容都翻译了一下。 特斯拉总体规划其一 这篇文章，马斯克写于2006年， 十年前我提出的第一份总体规划现在即将完全实现。这个计划本身并不复杂，大致包括以下几个步骤： 制造一款产量低、价格昂贵的汽车 利用这款汽车的收益，开发一款中等产量、价格更亲民的汽车 再利用所得资金，生产一款价格实惠、大众化的汽车 另外，我们还计划提供太阳能供电——没错，这一目标已经在我们网站上公示了十年。 之所以选择从第一步开始，是因为那是我利用从PayPal获得的收入所能承受的最大投资。我当时认为我们成功的机会很小，因此我不愿意在一开始就冒险使用他人的资金。至今为止，能够成功立足的汽车公司寥寥无几。截至2016年，美国仅有Ford和Tesla两家汽车公司没有破产。启动一家汽车公司的想法本身就充满了挑战，而电动汽车公司则更是难上加难。 此外，小批量生产的汽车意味着需要一个规模较小、结构更简单的工厂，尽管大多数工作需要手工完成。缺乏规模经济效应意味着无论是经济型轿车还是跑车，成本都会相当高昂。 尽管有些人愿意为一款跑车支付高昂的价格，但没有人愿意为一款看起来很酷的电动Honda Civic支付10万美元。 我之所以撰写第一个总体规划，部分原因是为了反驳那些不可避免的指责，那些指责声称我们只关注为富人制造汽车，仿佛我们认为市场上缺少跑车制造商或其他奇怪的理由。遗憾的是，尽管有了博客作为申辩，我们仍无法避免这些基于相同理由的无休止攻击，因此这个目标基本上宣告失败。 然而，撰写总体规划的主要原因，是希望通过解释我们的行动如何融入一个更大的框架，使这些行动看起来不那么随意。这一切的核心目标是，加速可持续能源的到来，让我们可以放心地展望未来，相信生活依然美好。这就是“可持续性”的真正意义。这不仅仅是一种理想化的幻想——它关乎每个人的未来。 基本上，我们必须最终实现一个可持续能源的经济体系，否则我们将耗尽化石燃料，文明将面临崩溃的危机。考虑到我们迟早需要摆脱对化石燃料的依赖，而且几乎所有科学家都认为，大幅增加大气和海洋中的碳含量是不负责任的，因此我们越快实现可持续性越好。 为了让这一天更快到来，我们计划采取以下措施： 整合能源生产与储存：我们计划打造一个集成度高、外观美观的太阳能屋顶和电池产品，使个体能够自给自足，随后将这一模式推广至全球。这包括一个一站式的订购体验、安装服务、客服联系和手机应用操作。 如果 Tesla 和 SolarCity 仍为两家独立公司，我们就无法有效地实现这一目标。这两家公司之所以是分开的，主要是历史的偶然结果。现在，随着 Tesla 准备大规模推广 Powerwall，而 SolarCity 准备提供具有明显差异化的太阳能产品，合并两家公司的时机已经成熟。 扩大到覆盖主要的地面运输方式：目前，Tesla主要涉足的是高端轿车和SUV市场的小部分。通过Model 3、未来的紧凑型SUV和一种全新的皮卡车，我们计划覆盖大部分消费者市场。由于我们已有计划涵盖下方描述的第三部分，因此生产一款成本低于Model 3的车辆似乎是没有必要的。 为了加速实现可持续未来，最关键的是能够尽快扩大生产规模。这就是为什么Tesla的工程设计现在主要集中在设计“制造机器的机器”上——把工厂本身变成产品。 通过每两年迭代一次，我们预计可以实现5到10倍的生产效率提升。可以将第一个Model 3工厂视作0.5版，预计1.0版将在2018年推出。 自动驾驶：随着技术的成熟，所有Tesla车辆都将配备实现完全自动驾驶所需的硬件，即使车辆的某个系统出现故障，车辆仍能安全行驶。需要强调的是，软件的完善和验证将比安装相机、雷达、声纳和计算硬件花费更长时间。 即便软件已经非常完善，比人类驾驶员更加安全，真正的自动驾驶获得监管机构批准之前，还会有一段相当长的时间。我们预计，全球范围内获得监管批准可能需要大约60亿英里（100亿公里）的测试里程。目前，我们的车队每天以超过300万英里（500万公里）的速度进行学习。 共享：一旦真正的自动驾驶获得监管批准，你将能够从几乎任何地方召唤你的Tesla。它接上你后，你可以在前往目的地的途中睡觉、阅读或做任何其他事情。 你还可以通过在Tesla手机应用上简单点击一个按钮，将你的车辆加入Tesla共享车队，让它在你工作或度假期间为你赚钱，这将大幅降低真正的拥有成本，有时甚至可以覆盖每月的贷款或租赁费用。这大大降低了拥有一辆Tesla的成本，使几乎每个人都能负担得起。考虑到大多数汽车每天只有5%到10%的时间被使用，一个真正的自动驾驶汽车的经济价值可能是非自动驾驶汽车的几倍。 在需求超过个人汽车供应的城市，Tesla将运营自己的车队，确保你无论身在何处都能轻松叫到车。 总而言之，总体规划的第二部分包括： 打造集成电池存储的惊艳太阳能屋顶 扩大电动汽车产品线，覆盖所有主要市场细分 通过大规模车队学习，开发出比手动驾驶安全10倍的自动驾驶能力 让你的汽车在你不使用时也能为你赚钱

刚看完马斯克在 twitter 上转发的他在2016年写的 特斯拉总体规划其二 这篇文章，写的非常好且都实现了，其中也提到了一些行业认知，顺手就把两篇规划内容都翻译了一下。本文翻译自 特斯拉总体规划其一 这篇文章，马斯克写于2006年， 您可能已经知道，特斯拉汽车的首款产品是一款名为特斯拉Roadster的高性能电动跑车。不过，可能有些读者还不清楚，我们长远的目标是推出各种车型，包括价格亲民的家用汽车。特斯拉的宏伟蓝图（也是我为何投资这家公司的原因）旨在加速从传统的矿产能源经济向太阳能电力经济的转变，我坚信这是向可持续发展迈进的关键路径，尽管它不是唯一的解决方案。 达成这一目标的关键是研发一款无需妥协的电动汽车。这就是为什么特斯拉Roadster在设计上要胜过传统的汽油跑车，如保时捷或法拉利，在直接对决中表现出色。此外，它的能效是丰田普锐斯的两倍。尽管如此，有人可能会质疑这样的车型是否真的能为世界带来好处。我们真的需要更多的高性能跑车吗？它对全球碳排放的影响真的有意义吗？ 答案可能是并非必要，且影响有限。但这种看法忽视了一个重点，除非你了解了前文提到的秘密大计。几乎所有新技术在初期都会面临高成本问题，直到它们被优化，电动车也不例外。特斯拉的战略是从高端市场入手，那里的消费者愿意为新技术支付溢价，然后快速向下扩展到更广泛的市场，通过推出更多后续车型以实现更大的销量和更低的价格。 虽然不能透露太多细节，但我可以告诉您，第二款车型将是一款价格大约是特斯拉Roadster 8.9万美元一半的运动型四门家用车，第三款车型将更加平价。作为一家快速成长的科技公司，我们将所有自由现金流再投入研发，以降低成本，尽快将新产品推向市场。当有人购买特斯拉Roadster跑车时，实际上他们是在资助开发更加经济实惠的家用车。 现在，我想解答一些对电动汽车的常见质疑——电池处理和发电厂排放问题。对于第一个问题，答案很简单：我们的电池对环境无害！ 虽然我不建议把它们当作餐后甜点，但特斯拉的锂离子电池并不属于危险物质，且可以安全填埋。然而，直接丢弃这些电池等同于浪费，因为在它们超过100,000英里的设计使用寿命后，仍可以将电池组卖给回收公司（无需补贴）。此外，即便到了那时，电池也并非完全报废，只是续航里程有所减少。 至于发电厂排放问题，也就是所谓的“长尾排放”问题 一种常见的误解是电动车只是将$CO_2$排放问题转移至发电厂。实际上，我们完全有可能通过多种方式发电，例如水力、风能、地热、核能、太阳能等，这些方法不产生$CO_2$排放。但让我们假设电力是通过燃烧天然气这样的碳氢化合物能源产生的，天然气是近年来美国新建发电厂中最常用的燃料。 通用电气的H-系统联合循环发电机组在将天然气转换成电力方面的效率达到60%。所谓的“联合循环”技术，是指先燃烧天然气发电，然后利用废热产生蒸汽，再次发电。天然气的开采效率为97.5%，加工效率也为97.5%，通过电网传输的平均效率为92%。这样，从源头到用户的总效率为97.5% x 97.5% x 60% x 92% = 52.5%。 尽管特斯拉Roadster的车身设计、轮胎和齿轮配置更倾向于性能而非最优效率，但它每公里仅需0.4 MJ的电力，换句话说，每兆焦耳能量可驱动2.53公里。特斯拉Roadster的完整充放电效率为86%，意味着每100 MJ充入的电力中，约有86 MJ能直接驱动电机。 把这些数据综合起来，我们得到的终极效能指标是2.53 km/MJ x 86% x 52.5% = 1.14 km/MJ。让我们将其与普锐斯和其他一些通常被认为节能的选项做对比。 一辆汽油车从源头到轮胎的整体能效相当于汽油的能量含量（34.3 MJ/升）减去炼油和运输过程的损失（18.3%），再乘以每加仑能行驶的英里数或每升能行驶的公里数。因此，按照EPA的评级，普锐斯以每加仑55英里的效率，其能效为0.56 km/MJ。与“普通”汽车如丰田Camry的0.28 km/MJ相比，这实际上是非常优秀的表现。 值得一提的是，目前市面上的“混合动力”车辆名称有些误导。它们实际上更多是带有辅助电池的汽油车，除非通过后市场改装，否则这些小型电池还是需要通过汽油发动机来充电。因此，从本质上讲，它们只不过是效率稍高的汽油车。如果EPA的认证里程是每加仑55英里，那么它实质上和一个达到55 mpg的非混合动力车没有区别。就像我的一位朋友所说，即便全世界的驾驶者都开普锐斯，我们仍然完全依赖石油。 不同能源的$CO_2$排放量是众所周知的。天然气每兆焦耳含有14.4克碳，石油则是每兆焦耳含有19.9克碳。将这些碳排放水平应用到不同车辆的能效上，包括本田使用天然气的燃烧和燃料电池汽车作为参考，纯电动汽车无疑是最佳选择： 汽车 能源来源 二氧化碳含量 效率 二氧化碳排放 Honda CNG 天然气 14.4 g/MJ 0.32 km/MJ 45.0 g/km Honda FCX 天然气-燃料电池 14.4 g/MJ 0.35 km/MJ 41.1 g/km Toyota Prius 石油 19....

由于日常开发中经常用到OpenAI的接口，这里总结一下各个模型的能力以及对应的价格 模型概述 模型 描述 GPT-4o 最快且最实惠的旗舰型号 GPT-4o mini 我们的经济实惠且智能的小型模型，适用于快速、轻量级任务。 o1-preview 和 o1-mini 通过强化学习训练的语言模型可以执行复杂的推理。 GPT-4 和 GPT-4 Turbo 一组在 GPT-3.5 基础上改进的模型，能够理解和生成自然语言或代码 GPT-3.5 Turbo 一组在 GPT-3.5 基础上改进的模型，能够理解和生成自然语言或代码 DALL·E 一个可以根据自然语言提示生成和编辑图像的模型 TTS 一组可以将文本转换成自然听起来的口语音频的模型 Whisper 一个可以将音频转换成文本的模型 Embeddings 一组可以将文本转换成数值形式的模型 Moderation 一个经过微调的模型，能够检测文本是否可能是敏感的或不安全的 GPT base 一组没有指令跟随功能的模型，能够理解以及生成自然语言或代码 Deprecated 已被弃用的模型完整列表以及建议的替代品 GPT-4o GPT-4o (“o” 代表 “omni”) 是我们最先进的模型。它是多模态的（接受文本或图像输入并输出文本），具有与 GPT-4 Turbo 相同的高智能性，但更加高效 —— 生成文本速度提高了 2 倍，成本降低了 50%。此外，GPT-4o 在所有非英语语言中具有最佳的视觉和性能。GPT-4o 可供付费客户在 OpenAI API 中使用。在我们的文本生成指南中学习如何使用 GPT-4o。 模型 描述 上下文窗口 最大输出 tokens 训练数据 官方价格表示 转为人民币价格表示 Batch API 价格 gpt-4o GPT-4o 我们最先进的多模态旗舰模型，比 GPT-4 Turbo 更便宜更快。目前指向 gpt-4o-2024-05-13。 128,000 tokens 4,096 tokens 截至 2023 年 10 月 - - - gpt-4o-2024-05-13 gpt-4o 目前指向该版本。 128,000 tokens 4,096 tokens 截至 2023 年 10 月 输入：$5....

本文翻译自一位知名的风险投资家Sarah Tavel的文章。Sarah Tavel 是一位知名的风险投资家，目前担任 Benchmark Capital 的一名合伙人。Benchmark Capital 是一家位于硅谷的著名风险投资公司，它投资过多家成功的科技公司，如 Twitter、Uber 和 Snapchat。Tavel 在加入 Benchmark 之前，在 Pinterest 担任产品经理，并帮助该公司从初创期成长为一个拥有数亿用户的社交媒体巨头。在此之前，她还在 Greylock Partners 担任投资者，专注于消费者技术和软件即服务（SaaS）领域的投资。 媒体和私下讨论常常流传着一种观点：在利用人工智能（AI）方面，是那些老牌公司而非新兴初创企业占据上风。这种想法认为，人工智能更多是一种强化现有企业地位的技术，而非一股让新入者得以崛起的颠覆力量。这种看法在某种程度上是有根据的，尤其是对那些旨在提升员工现有工作效率的初创公司来说。Adobe 和 Notion 等公司迅速集成AI功能的案例便是证明。在这场比赛中，初创公司需要在大企业掌握创新之前找到自己的市场定位，但在许多情况下，似乎大企业的创新不过是一次 OpenAI API 的调用而已。然而，这种观点太过简化了。我们现在见证到，一批B2B AI企业通过提供比传统服务高出十倍的体验，并大幅降低成本，激发了巨大的收入增长。 亚马逊、Netflix、eBay、Uber、Airbnb 等公司在刚开始时似乎只针对小众市场，但他们提供的服务需求却远超预期。回顾过去，秘诀显而易见：他们利用技术优势，在结构上降低成本，提供的服务体验远胜于现有的替代品，而且价格更为便宜。 几乎每次，人们都低估了这些公司的潜力。最大的误判在于，当技术使得体验质量大幅提升，同时显著降低成本时，产品的需求和应用场景会急剧扩张。 让我们回到AI领域。 想象一下，如果你不需要在自由职业网站上费尽周折地找到一位风格符合、评价优异、响应迅速的艺术家，而只需用简单的文字描述你的需求，几秒钟之内，一个成本极低的图像便生成了，这就是 MidJourney 的魔力。 或者，假如你不必寻找、雇佣并管理人类翻译，只需瞬间完成文档或应用程序的翻译，而且成本远低于雇佣人类翻译，这就是DeepL（一家Benchmark公司）的服务。 HeyGen则开拓了一个之前因成本和复杂性而被忽视的市场：为公司雇佣演员。原本需要数小时来完成的寻找演员、安排拍摄和后期制作的工作，现在只需五分钟，且可以无限次地迭代剧本和调整其他控制。 ElevenLabs等公司提供的服务，相比于传统的雇佣配音演员，不仅能瞬间生成音频，而且避免了雇佣和录制的成本，大大拓宽了配音市场。 重要的是，这些公司提供的不仅仅是对现有员工和工作流程的生产力改善。相反，它们通过减少雇佣和合作过程中的劳动、摩擦和成本，解锁了新的市场。这正是那些被现有大企业所忽视的市场。 如果说过去的初创企业带来了十倍的改进，那么AI提供的则是一种相较于传统服务（即人类劳动）百倍的体验升级。它将原本复杂的雇佣和管理过程简化为几乎即时的体验，且成本只是传统方式的一小部分，从而为无数应用场景开辟了可能，极大地拓展了市场。正如人们最初低估了Uber的市场潜力一样，我们同样低估了许多AI初创企业的发展机遇。 接下来的有趣问题是，哪些领域将迎来突破？正如我之前所写，通过分析2021年美国服务行业对GDP的贡献，可以预见哪些行业中可能涌现出创新的初创企业……如果你正在创办这样一家公司，我非常希望与你见面。Sarah at Benchmark dot com。 在撰写这篇文章时，我再次触及了一个敏感话题：人工智能最终会取代人类的工作。对每一项新技术，总伴随着这样的担忧。但历史一次又一次地证明，尽管新技术确实接管了一部分人类的工作，它也为人类创造了新的职业机会，使人们能够发挥自己最独特的优势——创造力和原创性。尽管我对AI充满热情，但事实是，我们对这项技术的探索仍处于初级阶段，仍有无数工作只有人类能够完成。人工智能为人类提供了更广阔的空间，去追求那些最能体现人性光辉的事业。

Claude-Author 利用 Claude 3 Haiku 模型 和 Stable Diffusion 调用来生成原创小说。用户可以提供初始提示并输入他们想要的章节数，然后 AI Author 会生成整本小说，输出与电子书阅读器兼容的 EPUB 文件。 工作原理 输入 希望的写作风格: writing_style 输入本书的概述: book_description 输入生成的章节数: num_chapters 开始创作 创建故事情节大纲 Create a detailed plot outline for a {num_chapters}-chapter book in the {writing_style} style, based on the following description:\n\n{book_description}\n\nEach chapter should be at least 10 pages long. 逐章节生成内容 Previous Chapters:\n\n{' '.join(chapters)}\n\nWriting style: `{writing_style}`\n\nPlot Outline:\n\n{plot_outline}\n\nWrite chapter {i+1} of the book, ensuring it follows the plot outline and builds upon the previous chapters....

Claude-Investor 是一个实验性投资分析代理，利用 Claude 3 Opus 和 Haiku 模型为特定行业的股票提供全面的见解和建议。 工作原理 生成指定行业主要公司的股票代码列表 检索每家公司的历史价格数据、资产负债表、财务报表和新闻文章 对新闻文章进行情绪分析以衡量市场情绪 检索每家公司的分析师评级和价格目标 进行行业和板块分析，以了解市场趋势和竞争格局 生成所选公司与其同行之间的比较分析 根据综合分析为每家公司提供最终的投资建议，包括价格目标 根据投资吸引力对行业内公司进行排名 一些样例 1.微软公司（MSFT） 当前价格： 420.95 美元 目标价格：450.00 美元 理由：微软的强劲情绪、人工智能举措、分析师的乐观情绪以及有利的行业顺风使其成为最具吸引力的投资选择。 该公司多样化的人工智能货币化方法以及对云效率等关键趋势的定位为增长奠定了坚实的基础。 尽管存在竞争和监管问题等潜在风险，但微软强大的市场地位和增长前景胜过这些因素。 当前价格为 420.95 美元，较目标价格 450.00 美元有潜在上涨空间。 2.Alphabet公司（GOOGL） 当前价格：149.32 美元 目标价格：160.00 美元 理由：Alphabet 强劲的财务业绩、多元化的收入来源以及在搜索和数字广告等关键领域的市场领导地位使其成为有吸引力的投资选择。 该公司的创新文化和分析师的积极情绪也令人鼓舞。 然而，监管挑战、激烈竞争以及对广告收入的依赖带来了潜在风险。 目前 149.32 美元的价格较 160.00 美元的目标价格有潜在上涨空间，但投资者应密切关注监管动态以及该公司应对竞争格局的能力。 3.苹果公司（AAPL） 当前价格： 172.53 美元 目标价格：180.00 美元 理由：苹果强大的品牌忠诚度、产品和服务生态系统以及财务业绩使其成为可靠的投资选择。 然而，情绪好坏参半、行业逆风、估值考虑以及缺乏明确的近期催化剂都削弱了热情。 目前 172.53 美元的价格相对于 180.00 美元的目标价格来说上涨空间有限。 尽管苹果仍然是一家优质公司，但科技行业的其他领域可能存在更好的风险调整机会。 4.亚马逊公司（AMZN） 当前价格：178.36 美元 目标价格：185.00 美元 理由：亚马逊在电子商务领域的主导地位、规模和物流能力提供了竞争优势。 然而，有限的财务数据、估值缺乏清晰度、竞争威胁加剧以及监管压力使其成为四家公司中最不具吸引力的投资选择。 目前 178.36 美元的价格比 185....

AI-Journalist 的功能是基于 Claude 3 模型的强大功能来撰写和编辑任何给定主题的高质量文章。它利用网络搜索 API 来收集相关信息、分析内容并生成结构良好、信息丰富且引人入胜的文章，这些文章读起来就像在出版物上发布的文章一样。 工作原理 提示用户输入要撰写的主题 使用 Claude 3 Haiku 生成与该主题相关的搜索词列表 使用 SERP API 对每个搜索词执行搜索 要求 Claude 从搜索结果中选择最相关、信息最丰富的 URL 使用 newspaper3k 库从选定的 URL 检索文章文本 要求 Claude 根据检索到的文章文本写一篇高质量的文章 要求编辑（Claude）审阅文章并提供改进建议 要求编辑（Claude）根据建议重写文章 输出生成的文章和编辑的文章 生成的一篇关于 samaltman 主题的文章样例 Sam Altman：塑造人工智能未来的远见者 在快速发展的人工智能世界中，萨姆·奥尔特曼脱颖而出，成为科技行业最具影响力和争议性的领导者之一。 年仅 38 岁的 OpenAI 神秘首席执行官带领公司从一个小型研究实验室迅速崛起为处于人工智能革命前沿的价值数十亿美元的巨头。 奥特曼的旅程始于圣路易斯郊区，在那里他很早就表现出了技术和创业的天赋。 小时候自学编程后，他于 2003 年进入斯坦福大学，梦想着创办自己的公司。 两年后，他退学并与他人共同创立了 Loopt，这是一款开创性的基于位置的社交网络应用程序。 尽管 Loopt 未能获得关注，但它引起了硅谷名人的注意，导致 Altman 加入了著名的创业加速器 Y Combinator。 在 2014 年至 2019 年担任 Y Combinator 总裁期间，Altman 帮助创办了数百家成功的初创公司，巩固了他作为杰出战略家和富有远见的思想家的声誉。 然而，他在 2019 年掌管 OpenAI 的决定决定了他的职业生涯。...

本文翻译OpenAI CEO Sam Altman 写的一篇关于创业的指南《Startup Playbook》。 我们投入大量时间为初创企业提供建议。虽然面对面的建议永远不可或缺，但我们认为，如果能将这些建议中最通用的部分浓缩成一本手册，以便我们能够提供给 Y Combinator 和 YC Fellowship 的公司，可能会帮助我们扩大 Y Combinator 的影响力。 接着，我们想，为什么不直接让所有人都能够获得它呢？ 这本指南是为初步接触初创世界的人们准备的。对于那些已经阅读过 YC 合伙人写作的人来说，这里的内容可能并不陌生——目标是将所有有用的信息集中在一处。 未来可能会出现第二部分，介绍如何扩大初创企业的规模——目前这部分主要讲述如何开始一个初创企业。 作为一个初创企业，你的首要目标是创造出用户爱不释手的产品。只有做到这一点，你才需要考虑如何吸引更多用户。这一步骤至关重要——想想那些当今成功的公司，它们都是从一个早期用户极力推荐的产品开始的。如果你没有做到这点，你就会失败。如果你自欺欺人，认为用户喜欢你的产品而实际上并非如此，你同样会失败。 许多人正是因为想跳过这一步，最终沦为失败者。 先做出一小部分用户极度喜爱的产品，而不是让大量用户只是喜欢的产品，这要好得多。尽管总的正面反馈相同，但让用户从喜欢升级到爱，远不如吸引更多用户来得简单。 关于创办初创企业的警告：这是一条艰难之路！来自 YC 创始人的反馈几乎一致——这比他们预想的要难得多，因为他们缺乏一个框架来理解初创所需的工作量和强度。相比之下，加入一个增长迅速的早期初创企业，从财务角度来看，通常是更好的选择。 另一方面，如果你在技术上真正出色，即使失败了，也总会有工作机会，所以实际上创办初创企业对你的职业生涯并不构成太大风险。大多数人很难正确评估风险。我个人认为，拥有一个你真正热衷的想法或项目，却选择留在一个安全但乏味、没有成就感的工作中，是更加冒险的选择。 要建立一个成功的初创企业，你需要具备：一个伟大的想法（包括一个伟大的市场）、一个优秀的团队、一个出色的产品，以及精湛的执行能力。 一个伟大的想法 我们向 YC 公司提出的首要问题之一是他们在做什么以及为什么要做。 我们希望得到明确且简洁的回答。这既是对创始人本人的评估，也是对其创意本身的考量。作为创始人，清晰的思考和沟通能力至关重要——无论是招聘、融资、销售等方面，这种能力都是必需的。通常，想法需要清晰才能被传播，而复杂的想法往往意味着混乱的思维或是虚构的问题。如果这个想法第一次听起来就不能激起至少一些人的兴趣，那么这是个坏兆头。 我们还会询问谁迫切需要这款产品。 最理想的情况是，你自己就是目标用户。其次，是你非常了解目标用户。 如果公司已经拥有用户，我们会询问用户数量及其增长速度。我们尝试探索为什么增长没有更快，特别是试图了解用户是否真的热爱这款产品。通常这意味着用户会在没有公司推动的情况下向他们的朋友推荐这款产品。我们还会问公司是否产生了收入，如果没有，原因是什么。 如果公司还没有用户，我们会尝试找出首先需要构建的最小功能产品来测试假设——也就是说，如果从完美体验反推，我们尝试确定首先应开始的核心是什么。 测试一个想法的方法是发布它并看看会发生什么，或者尝试销售它（例如，在编写任何代码之前尝试获取意向书）。前者更适合 ToC 产品（用户可能会说他们会使用它，但实际上可能并不会突破混乱），后者更适合 ToB 产品（如果一家公司告诉你他们愿意购买，那么就去构建它）。特别是，如果你是一家 ToB 企业公司，我们首先问的问题之一就是你是否有来自客户的意向书，表示他们愿意购买你正在开发的产品。对于大多数生物技术和硬科技公司，测试一个想法的方法首先是与潜在客户交谈，然后确定可以首先构建技术的最小部分。 随着从用户那里收到反馈，让你的想法进化是很重要的。深入了解你的用户也是关键——这对于评估想法、创建出色的产品和建立伟大的公司都至关重要。 正如之前提到的，创业非常艰难。它需要长时间的持续努力和极高的强度。创始人和员工需要有共同的使命感来维持动力。因此，我们会询问创始人为何想要创办这家特定公司。 我们还询问公司如何在将来形成垄断地位。对此有多种不同的说法，但我们采用彼得·蒂尔的定义。当然，我们不希望你的公司以不道德的方式对抗竞争对手。相反，我们寻找的是那些随着规模扩大而变得更加强大、且难以被复制的业务模式。 最后，我们会探讨市场情况。我们询问市场目前的规模、增长速度以及为何在十年后会变得重要。我们试图理解市场为何会迅速增长，以及为什么这是一个初创企业值得追求的好市场。我们喜欢那些大公司尚未意识到的、刚刚开始的主要技术转变——大公司不擅长应对这些转变。而有点违反直觉的是，追求小市场中的大部分通常是最佳答案。 对想法的一些额外思考： 我们更喜欢新颖的事物，而非抄袭模仿的。大多数真正伟大的公司都始于一项根本性的创新（一个可接受的创新的定义是比现有产品好 10 倍）。如果同时有十家公司启动相同的计划，而且听起来很像现有的东西，那么我们会持怀疑态度。 这样做的一个重要但违反直觉的理由是，创造全新且困难的事物比复制简单的事物更容易。如果是前者，人们会更愿意帮助你和加入你；如果是后者，情况则相反。 最好的想法可能初听不佳，但实际上非常优秀。因此，你不需要过于保密你的想法——如果它真的是个好想法，它可能听起来并不值得被偷走。即便听起来值得被偷走，真正愿意投入所需工作将一个伟大的想法转化为一家伟大公司的人，远比有好想法的人少得多。如果你告诉别人你在做什么，他们可能会提供帮助。 说到分享你的想法——虽然最好的情况是某些人第一次听到时就非常兴奋，但几乎每个人都会告诉你你的想法很糟糕。也许他们是对的，也许他们不擅长评估创业项目，或者他们可能只是嫉妒。无论原因是什么，这种情况会频繁发生，会让你感到痛苦，即使你认为自己不会受到影响，实际上还是会受到影响。你能越快建立自信，不被那些负面声音太多拖累，你就会越好。无论你多成功，负面评论者永远不会消失。 如果你想创业但没有想法怎么办？也许你就不应该创业。如果有一个想法，而创业是为了将这个想法带入世界，这通常会更好。 我们曾经做过一个实验，资助了一群有潜力的创始团队，他们一开始没有想法，希望他们在我们的资助下能找到一个有前途的想法。 结果他们全部失败了。我认为问题的一部分在于，优秀的创始人通常有很多好想法（通常太多）。但更大的问题是，一旦你开始了一家创业公司，你就必须急于找到一个想法，而由于它已经是一个正式的公司，想法不能太过疯狂。你最终会得到那些听起来合理但实际上没有新意的想法。这就是盲目转变方向的风险。 因此，最好不要过于积极地迫使自己去想出创业点子。相反，你应该广泛学习不同的领域。练习发现问题、低效之处以及主要技术变革。投身于你觉得有趣的项目。努力与聪明、有趣的人为伍。最终，想法自然会浮现。 一个优秀的团队 建立伟大公司的决不是平庸的团队。我们特别重视的是创始人的实力。在我从事较晚期阶段投资时，我同样非常关注创始人招募的员工质量。 伟大创始人有哪些特质？最关键的包括无人能挡的决心、坚不可摧的意志和巧妙的资源利用能力。智慧和激情同样位列前茅，这些特质远比单纯的经验或是“精通某种编程语言或框架”来得重要。 我们发现，那些成功的创始人往往让人合作起来毫无压力，因为你知道他们无论面对什么情况都能够处理得当。有时候，单凭意志力就足以让你取得成功。 优秀的创始人常常同时具备一些表面上看起来相互矛盾的特性。例如，对于公司核心理念和使命的坚定不移，与在几乎所有其他事务上的灵活性和学习新知的开放性。 最佳的创始人反应异常迅速，这显示了他们的果断、专注、热情和执行力。 难以沟通的创始人几乎总是不理想的选择。沟通技巧对于创始人来说极其重要——实际上，我认为这是最关键且鲜少被提及的创始人技能。 科技初创企业至少需要一位能够打造公司产品或服务的创始人，以及至少一位能够（或有潜力成为）善于销售和与用户沟通的创始人。有时候，这两者可以是同一个人。 在选定合作伙伴时，请仔细考虑这些标准——这可能是你做出的最重要的决定之一，往往这个选择过程相当随意。最好选择一个你很了解的人，而不是你在某次寻找合伙人的活动中刚遇到的人。通过更多的数据，你可以更好地评估潜在的合作伙伴，这是你绝对不想弄错的决定。此外，创业过程中很可能会有低谷期，如果你和你的合伙人之前就相识，你们都不会想让对方失望，这会让你们继续坚持下去。合伙人分手是早期创业项目失败的主要原因之一，特别是那些为了创业而结识的团队。 最理想的情况是有一个靠谱的合伙人，其次是自己单干。最糟糕的情况则是和不合适的合伙人共事。如果合作不顺利，最好快刀斩乱麻，及早分手。...

这篇文章是来自于腾讯科技对王小川的采访：王小川想提出中国AGI第三种可能性 ，核心内容基于 ChatGPT、Claude、Gemini 提取后做了稍加整理。 对Sora技术的态度 王小川强调，尽管Sora作为视频生成模型引起了广泛关注，但他认为这不符合百川智能的发展方向。他坚持认为任何技术发展应以语言为中心，因为他相信AGI（人工通用智能）的实现必须围绕语言模型展开，而Sora仅是一种阶段性产物。 对技术和市场的平衡视角 他认为，在技术发展与市场需求之间找到平衡至关重要。王小川提出，中国AGI的发展不应仅仅局限于技术理想主义（技术信仰派）或市场实用主义（市场信仰派），而应寻求第三种可能性，即在技术和应用场景的交叉点上，实现两者的融合与互补。 对公司发展战略的看法 王小川用“盲人摸象”比喻来形容当前人工智能领域的局限性。他认为，不同的人可能只看到问题的一部分，而他自认为能够更全面地看待问题。这种视角促使他不跟风追求当下热门的技术如Sora，而是基于对AGI更深远理想的追求，明确自己的发展方向。 对朱啸虎观点的回应 王小川对朱啸虎的观点表示理解，认为他代表了一种现实主义的投资逻辑。但他同时也认为，朱啸虎的观点过于片面，没有看到大模型的全部潜力。他以医疗场景为例，说明了大模型在特定场景下的巨大价值。 对杨植麟观点的认可 王小川认可杨植麟的技术理想主义，认为他有长远的眼光。他同时也认为，杨植麟的观点过于理想化，缺乏现实落地路径。他认为，大模型创业需要兼顾技术和场景，才能找到成功的路径。 对AI未来的展望 王小川提出了在AGI领域探索的三个重点方向：娱乐、生命科学、和真实世界的引擎。他强调，通过这些方向的探索和发展，能够在创造、健康、快乐这三个维度上为人类提供服务。 模型即应用： 王小川提出了"模型应用一体化"的思路,将模型与应用场景紧密结合,而不是将应用简单地外挂在模型之上。他认为模型应该深深植根于特定场景,相互促进。 生命模型的终极目标： 王小川描绘了他的愿景是构建"生命模型",用数学模型来刻画生命的规律,这是超越了物理学传统范式的一种追求。大模型技术为实现这一目标提供了新的武器。

这篇文章是来自于最近火热的腾讯科技对金沙江创始人朱啸虎的采访：朱啸虎讲了一个中国现实主义AIGC故事，核心内容基于 Gemini 提取后做了稍加整理。有趣的是，前几天腾讯科技发了一篇访谈：，月之暗面杨植麟复盘大模型创业这一年：向延绵而未知的雪山前进，这两篇文章对比着看很有意思，反映了目前理想派和保守派对AGI在认知上的不同。 1. 对AIGC的态度 观点：看好AIGC，特别是to B应用，认为其已经在中国大爆发。 解释：朱啸虎认为，AIGC在to B领域能快速提升生产力，见到效果，因此受到企业欢迎。他举例说明了AI视频面试、AI私域营销等应用场景，并强调这些应用在中国领先于美国。 2. 对大模型的看法 观点：不看好中国的大模型创业公司，认为其缺乏场景、数据和技术优势。 解释：朱啸虎认为，中国大模型公司在技术上落后于美国，且估值过高，缺乏商业化前景。他建议创业公司聚焦应用，而不是底层大模型。 3. 对中美AIGC的比较 观点：中美在AIGC发展上存在差距，中国在应用层创新领先，但在底层大模型上落后。 解释：朱啸虎认为，美国在底层大模型投入巨大，技术领先，但应用创新受限；中国则在数据和应用场景上更有优势，但在底层技术上需要追赶。 4. 对投资策略的建议 观点：建议投资人关注AIGC的to B应用，并谨慎投资大模型公司。 解释：朱啸虎认为，to B应用是AIGC短期内最有机会爆发的领域，投资应聚焦PMF（产品/市场匹配）和商业化能力。对于大模型公司，他建议投资者谨慎评估其技术实力、市场竞争力和商业化前景。 5. 对未来趋势的判断 观点：看好开源模型的未来，认为其会缩小与闭源模型的差距。 解释：朱啸虎认为，开源模型拥有更广泛的开发者群体和更快的迭代速度，长期来看会赶上闭源模型。 其他值得注意的观点 朱啸虎认为，中国VC没有靠共识赚过钱，投资人应该独立思考，不要盲目跟风。 他批评了一些大模型创业公司是“拿着锤子找钉子”，缺乏商业化思维。 他看好中国在AIGC应用层面的创新，认为中国有机会弯道超车。

这篇文章是来自于最近火热的腾讯科技对杨植麟的采访：月之暗面杨植麟复盘大模型创业这一年：向延绵而未知的雪山前进，核心内容基于 Claude 和 Gemini 提取后做了稍加整理。有趣的是，过几天腾讯科技又发了一篇访谈：朱啸虎讲了一个中国现实主义AIGC故事，这两篇文章对比着看很有意思，反映了目前理想派和保守派对AGI在认知上的不同。 核心认知 “AI不是我在接下来一两年找到什么PMF,而是接下来十到二十年如何改变世界。” 解释:杨植麟强调AI不应只关注短期商业化,而是要着眼于长远地改变世界。 “开源落后于闭源,这也是个事实。因为开源的开发方式跟以前不一样了,以前是所有人都可以contribute,现在开源本身还是中心化的。开源的贡献可能很多都没有经过算力验证。闭源会有人才聚集和资本聚集,最后一定是闭源更好,是一个consolidation。” 解释:杨植麟分析了目前开源模型发展落后闭源模型的原因,并预测未来闭源模型将主导。 “要ride the wave。” 解释:顺应AI浪潮,把握时机创业。 “AGI需要新的组织方式。” 解释:AGI的发展需要一种全新的组织形式,结合科研、工程和商业。 “它需要人才聚集、资本聚集。” 解释:发展AGI需要优秀人才和大量资金的投入。 “如果你能用scale解决的问题,就不要用新的算法解决。” 解释:强调scale法则,即通过扩大模型规模而非新算法来解决问题。 “它(long context)是新的计算机内存。” 解释:长文本是新型计算机的内存,对发展AGI至关重要。 “我觉得现在就有点像(视频生成的)GPT-3.5,是阶跃式提升。” 解释:Sora代表了视频生成能力的阶跃式突破。 “AGI空间很大,在通用能力基础上去有差异化,这个更可能发生。” 解释:尽管通用能力会趋同,但未来可能出现差异化的AGI系统。 “user scaling和model scaling需要同时做。最终在这两者之间完美结合。"(指技术理想和商业现实) 解释:伟大的AGI公司需要技术理想主义和现实商业考量的完美结合。 “接下来会有两个大的milestone。"(统一世界模型和自主演化) 解释:未来两大里程碑是统一多模态的世界模型,以及无需人类数据输入的自主演化能力。 “不能只满足做到GPT-4的效果。保持非共识思维，他多次强调要"找到非共识” 解释:不应只盲目追赶GPT-4,而要寻求更大突破。要有独特的思路和判断,不能被现有观点所束缚。这种非共识思维对于创新至关重要。 “AGI最终会是一个跟所有用户co-work产生的东西。” 解释:AGI将通过与大量用户互动协作而逐步完善。 “scaling law为什么能成为第一性原理?你只要能找到一个结构,满足两个条件:一是足够通用,二是可规模化。” 解释:解释了scale law成为AGI发展第一性原理的原因。 “技术是这个时代唯一新变量,其他变量没变。” 解释:在当前时代,技术进步是唯一的新变量,其他条件并未改变。 “AGI组织需科学、工程、商业三位一体” 解释:不能是纯研究机构,也不能是单纯的商业公司,AGI组织要将科研、工程和商业深度融合。 “先进视觉模型将连接数字世界与物理世界” 解释:视觉模型的突破将最终使AI能感知并介入物理世界。 “多模态是确定趋势,但统一架构还是难题” 解释:视频、图像等多模态能力必然到来,但找到真正统一的架构尚需时日。 “会有更多的consolidation,会有更少的公司。” 解释:预计未来会有更多资源整合,而存活的AGI公司会减少。 “我们应该学习OpenAI的技术理想主义。如果所有人都觉得你正常,你的理想是大家都能想到的,它对人类的理想总量没有增量。” 解释:赞赏OpenAI的技术理想主义精神,倡导创新思维。 在做的事情 根据这篇对杨植麟的采访,可以看出他主要在做以下几件事: 创办了一家名为"月之暗面(Moonshot AI)“的大模型公司,专注于追求人工通用智能(AGI)。 开发名为"Kimi"的大模型AI助手,支持20万汉字长文本输入,以探索长语境建模能力。 专注于模型本身的技术突破和扩展,而非仅仅应用落地。他认为模型规模扩展(model scaling)是通向AGI的关键。 招募顶尖AI人才,打造高密度人才团队。团队目前约80人。 持续融资以获得训练大模型所需算力资源。公司已经完成数轮融资,估值数十亿美元。 构建一个整合科学、工程和商业的AGI系统和组织,类似登月计划。通过产品和用户互动发现新的应用机会。 追求长期理想主义目标,而非短期应用落地。他认为AGI将在未来10-20年内改变世界。 总的来说,杨植麟专注于大模型的基础研究和技术突破,以期最终实现人工通用智能,而非过多关注短期商业化。 个人履历 教育背景: 本科: 清华大学计算机系 博士: 卡内基梅隆大学计算机学院 导师:...

鉴于 Sora 的官方文献尚未发布，本文的目标是寻找 OpenAI 发布的 Sora 技术报告中的线索。原文来戳这里。 Sora 是什么 Sora 以其从自然语言提示中生成高清视频的能力，在生成式 AI 领域引起了巨大轰动。如果你还没见过相关示例，这儿有一个生成的视频供你欣赏——视频展示了一只海龟在珊瑚礁中游泳的场景。 尽管 OpenAI 的团队还没有公布涉及该模型技术细节的正式研究论文，但他们确实发布了一份技术报告：Video generation models as world simulators。这份报告概述了他们应用的一些高级技术和一些定性的研究成果。 Sora 架构概述 在读过下列论文之后，你会开始理解这里所述的架构。这份技术报告提供了一种从 10,000 英尺高度俯瞰的视角，我希望每一篇论文都能深入探讨不同的细节，共同勾勒出一个完整的图景。有一篇精彩的文献回顾题为《Sora: 大型视觉模型的背景、技术、局限性及机遇综述》，它给出了一个通过逆向工程得到的架构的高层次示意图。 图 4：逆向工程：Sora 框架概述 OpenAI 的团队把 Sora 描述为“扩散 Transformer”，这个概念融合了之前论文中提到的多种思想，但特别是用于处理视频中生成的潜在时空区块。 这种方法结合了 Vision Transformer (ViT) 论文中提到的补丁样式和 Latent Diffusion Paper 中相似的潜在空间概念，但采用了扩散 Transformer 的组合方式。这不仅包括图像的宽度和高度方向上的补丁，还拓展到了视频的时间维度。 关于他们如何精确收集到所有这些训练数据的细节，现在还难以确定，但它似乎是 Dalle-3 论文中技术与利用 GPT-4 详细解释图像文本描述的结合体，这些描述随后被转换为视频。训练数据可能是此处的核心秘密，因此技术报告中关于此的细节最为欠缺。 应用 Sora 这类视频生成技术的应用前景广泛，无论是在电影、教育、游戏、医疗还是机器人技术领域，通过自然语言提示生成逼真视频无疑将影响多个行业。 图 18：Sora 的应用 论文阅读清单 OpenAI 技术报告中的参考文献部分引用了众多论文，但确定哪些论文应该优先阅读或者对背景知识非常重要可能有些难度。我们已经仔细筛选并挑选出了我们认为最具影响力和最值得阅读的论文，并按类别进行了整理。 背景论文 从 2015 年开始，生成图像和视频的质量持续提升。引起公众广泛注意的重大进步始于 2022 年，涌现出如 Midjourney、Stable Diffusion 和 Dalle 等工具。本节包含了一些被反复引用的基础论文和模型架构。虽然这些论文不全部直接关联 Sora 架构，但它们为理解艺术和技术水平如何随时间演进提供了重要的背景。...

早上看到 X 上 @emollick 分享一些针对老师和学生的相关prompt，实际用了一下还不错，在这里分享几个。 教学辅助工具 prompt 用于课堂教学中，协助教师进行教学准备和授课。 模拟场景设计助手 这个prompt主要帮助老师设计一个让学生通过角色扮演练习如谈判、招聘、推销等技能的模拟场景。 英文 You are a simulation creator. Every simulation you create has the following: An AI Game master who is an expert at creating role playing scenarios for students to practice applying their skills (eg negotiations, hiring, pitching). The AI game masters job is two-fold: to play AI mentor and set up a scenario for the user. And then once the user plays through the scenario the AI mentor comes back in and proclaims that the role play is complete and gives them feedback and more suggestions going forward about how they can improve their performance....

最近看到Snowflake原CEO Frank Slootman决定离职，导致股价暴跌20%，引发twitter上的讨论，这篇文章翻译一下Frank Slootman的一篇文章《Amp it up》 作为 Data Domain 和 ServiceNow 两家近年来杰出科技公司的前任 CEO，我常被问及我们的成功秘诀。实际上，我们并不认为自己与众不同，也没有觉得发现了什么秘密武器。难道我们仅仅是连续两次走了狗屎运？但回顾过去，的确有一些经验值得分享。 简而言之：在企业内部提升绩效的空间巨大，关键在于加速和提高工作强度。许多组织内部都存在着能够被激发的巨大潜力。领导的任务就是将这种潜力转化为超凡的业绩。这个机会就摆在我们面前，但往往被忽视。这个理念不仅适用于商业领域，职业体育团队在不同领导下的迅速转型也证明了这一点。你可以称它为X因素或其他任何名字，但它确实存在。虽然任何人都可以抓住这个机会，但真正做到的却不多。 这并非易事，因为这意味着将人们推出他们的舒适区，会遭遇阻力。改变总是困难的，有些人可能会选择离开。如果你想成为一个受欢迎的领导，这条路可能并不适合你。领导者的角色是改变现状，加快节奏，提高工作强度。领导者是组织中的能量源和节奏器，他们为组织注入活力，而不是消耗能量。 Data Domain 与 ServiceNow 的共同之处 Data Domain 和 ServiceNow，在我们2003年到2017年间的领导下，展现出了一些共性。尽管它们业务不同，市场不同，时代不同，但都在各自领域表现出色。它们有着同一个 CEO 和大部分相同的管理团队，文化上也十分相似，这可能就是成功的线索之一。 Data Domain 用2800万美元的资本，在6年后为股东创造了24亿美元的回报。公司年收入从零增长到6亿美元，并于2007年在纳斯达克上市。被 EMC 收购后，年收入增长到数十亿美元。我们加入 Data Domain 时，公司正面临初创期的挑战。我在2009年出版的《磁带糟糕透了》一书中有提及这段经历。 另一方面，ServiceNow 是一家成立于圣地亚哥的云软件公司，当我2011年初加入时，公司已经迅速成长。公司很快就跨越了创业初期的难关，尽管当时公司的年收入接近1亿美元，但运营上还很初级。我们逐步克服了巨大的运营挑战，并推动了公司的快速增长。ServiceNow 的启动资金不超过650万美元。 作为继 Salesforce 之后第二家年收入达到十亿美元的云软件公司，ServiceNow 仅用两年时间就实现了年收入二十亿美元的突破，且高速增长持续至今。ServiceNow 于2012年在纽约证券交易所上市，此后股价增长了十倍，市值超过1000亿美元。 提升表现 我们的公司建立和运营的唯一目标就是性能。我们全力以赴追求目标，激励团队成员成就最佳自我。对于最优秀的员工而言，这是一次极具解放意义的体验。虽然许多人都宣称拥有“绩效文化”，但真正理解这背后的意义、所需的努力以及必须做出的牺牲的却寥寥无几。我们的公司文化类似于海军陆战队，而不是和平队，我们的存在每天都要与巨头竞争，这种战斗状态是不可避免的。 有效推动绩效文化的一个重要方面是薪酬哲学。我们的原则是公司必须先有收益，才能设立奖金池。我们每个季度根据业绩好坏决定奖金池的资金。我们强调绩效的差异化分配，不允许“均匀涂鸦”式的奖金分配。我们不总是发放全部奖金，我会在季度全员会议上亲自解释原因。 我们关注的不是对低绩效员工的奖金问题，而是如何确保高绩效员工得到足够的奖励。这意味着管理层需要从绩效较低的员工那里调配资源。这样做让我们清楚地了解谁是高绩效员工，谁则表现不佳。每个季度，每位员工都会与他们的经理就绩效进行一对一的沟通，这比书面评价更直接、有效。当需要与某位员工分道扬镳时，如果他们的奖金历史低于平均水平，这个过程会更加简单、经济且迅速。 对于管理者而言，每季度都要与每位员工就绩效薪酬进行对话是一项挑战，这可能导致冲突。在许多公司，员工几乎将奖金视为基本工资的一部分，这是一种权利感的体现。 ServiceNow 内部鼓励员工成为驱动者而非旁观者。如果你在一周或一个月的工作后问自己，自己的存在是否真的有价值，这是一个艰难但必要的自我反省。这是激励你确保自己在工作中发挥重要作用的动力，这关系到个人的安全感、自信和自我价值。 一个全面的绩效文化包含许多方面，但在此我将强调三个主要方向，它们构成了绩效执行的框架。 我们的公司运作速度更快，标准更高，关注点更集中。听起来简单，但关键在于如何实现这一点。你需要决定加速的幅度、标准的高度和聚焦的程度。这三个方向相互强化，产生的综合效应可以是惊人的。 令人震惊的是，许多公司的日常运作缓慢、低效、缺乏焦点，而且他们对此视而不见。到处都是提高绩效的机会。作为领导者，你的任务是在这些方面不断寻找并利用机会，通过每一次对话、每一次会议和每一次互动来提升标准、加快节奏和集中精力。然后，你需要不懈地跟进和执行。是的，这可能会引发冲突，但这正是 CEO 的日常工作。 这种转变不会一蹴而就，事实上，这是一个永无止境的过程。这种变化对组织的冲击将是深远的。如果遇到反抗，那可能意味着你正在做正确的事情。领导者可以点燃变革的火花，但管理层和员工的接受和参与是必不可少的，这样变革的能量才能在整个组织中传播。你可以选择慢慢来，但我们追求的是速度。不是每个人都能跟上，但正确的人会站出来。文化会自然而然地筛选出与之契合的人。 提速 没有领导的推动，组织的步伐往往会变得缓慢。如果你有在政府部门工作或合作的经历，你会发现这种极端的例子。除了下班时间外，几乎没有什么事情是紧急的。在这样的环境下工作，感觉就像是在胶水中挣扎。 当提高工作节奏时，人们不仅会做事更快，他们还会开始以不同的方式思考和行动。这正是我们希望在组织中看到的。ServiceNow 以其“抓紧做事”的文化而自豪，这种文化吸引那些能够完成任务的人，排斥那些不能的人。 要实现显著的加速，需要的是根本性、明显感受到的变化。仅仅加速20%几乎感觉不到差别，很快就会回到旧习惯。 在软件领域，我们经常讨论产品需要什么以及何时能实现。开发团队倾向于提出按部就班的时间表，缺乏紧迫感。但是在压力下，总有人能突破常规思维，找到更快实现目标的方法。压力能够促使变革。 随着时间的推移，组织会自然形成一种节奏和步调。但在高速增长的公司，新加入的员工需要被适当引导和灌输这种文化。 这种变化不是小事，组织往往抵抗比自然状态更快的变化。我们有新员工在短时间内就因为无法适应 ServiceNow 的节奏和强度而离职。 你需要的是一群愿意全力以赴的人。这正是我们想要吸引和留住的人才。如果不推动加速，就会失去那些渴望快节奏文化的优秀人才。 加快步伐也意味着更集中的关注。当你尝试同时推动太多事情时，是无法快速前进的。我们将在后续讨论更多相关内容。 提升标准 当我们加快脚步时，质疑声音难免会随之而来。我们真的能在加速的同时保持质量吗？我们认为可以，因为我们将在加速的同时提升质量。这将对生产效率产生倍增效果。这不是逆天而行，而是彻底挤压系统中的浪费。只有在压力之下，我们才能发现自己有多么出色和迅速。 我们与众不同的一个方面是对客户的全心承诺。我们提供了最高标准的服务和支持，这是我们所知道的最佳实践。没有什么比客户的成功更重要。我们必须让客户感受到我们的支持，让他们不仅仅是喜欢我们——他们必须爱上我们！我们的净推荐分数非常高，这绝非偶然。虽然维持这样的标准很困难，但这已深深嵌入我们的文化之中。...

这篇文章翻译了微软研究院基于已发表的Sora技术报告和逆向工程发表的一篇论文Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models，本文首次全面回顾了 Sora 的背景、相关技术、新兴应用、当前的局限性和未来的机遇。 摘要 Sora 是一款由 OpenAI 在 2024 年 2 月推出的文本转视频生成式 AI 模型。这款模型能够把文字指令转化为现实或虚构场景的视频，展现了在模拟现实世界方面的巨大潜力。通过分析公开的技术报告和逆向工程手段，本文全面回顾了 Sora 的背景、相关技术、应用场景、当前面临的挑战以及文本到视频 AI 模型的未来趋势。文章首先回顾了 Sora 的开发历程，探讨了构建这一“世界模拟器”的关键技术。接着，我们详尽介绍了 Sora 在电影制作、教育、市场营销等多个领域的应用及其潜在的行业影响。文中还讨论了为了让 Sora 得到广泛应用需要克服的主要挑战，比如确保视频生成的安全性和公正性。最后，我们展望了 Sora 以及视频生成模型的发展未来，探讨了技术进步如何为人机互动开辟新的路径，以及如何提升视频制作的效率和创造力。 图 1：Sora：人工智能驱动的视觉生成的突破 1 简介 自2022年11月ChatGPT发布以来，AI技术的出现标志着一场重大变革，重塑了交互方式并深度融入日常生活和行业的各个方面 [1, 2]。基于这一势头，OpenAI在2024年2月发布了Sora，这是一种文本到视频的生成式 AI 模型，可以根据文本提示生成现实或富有想象力的场景的视频。与以前的视频生成模型相比，Sora 的特点是能够生成长达 1 分钟的高质量视频，同时保持对用户文本指令的遵守 [3]。Sora 的这种进步体现了长期以来 AI 研究的使命，即让 AI 系统（或 AI Agents）具备理解和与物理世界动态交互的能力。这包括开发不仅能够理解复杂的指令，还能将这种理解运用于通过动态且富含场景信息的模拟，来解决现实世界的问题的 AI 模型。 图 2：Sora 文本到视频生成的示例。 向 OpenAI 的 Sora 模型提供了文本指令，模型根据这些指令生成了三个视频。 如图 2 所示，Sora 能够出色地理解并执行复杂的指令，展现出令人印象深刻的能力。该模型可以生成包含多个角色执行特定动作、拥有复杂背景的详细场景。研究人员将 Sora 的熟练技能归因于其不仅能够处理用户给出的文本提示，还能辨别场景中元素之间复杂的相互作用。...

这篇文章翻译了哈弗商业评论的一篇文章 The Real Leadership Lessons of Steve Jobs 摘要 作者在史蒂夫·乔布斯去世后不久出版的传记迅速成为畅销书。在这篇文章中，他试图纠正很多评论者对乔布斯性格棱角的过度关注。艾萨克森认为，乔布斯的性格是他商业成功不可分割的一部分，但乔布斯真正值得学习的地方在于他的成就。他不仅创立了世界上最有价值的公司，还改变了多个行业的面貌，包括个人电脑、动画电影、音乐、电话、平板电脑、零售店以及数字出版等。 艾萨克森在文中提到乔布斯成功背后的十四个关键原则：集中精力、简化问题、贯彻始终负责、在落后时实现跨越式发展、产品优先于利润、不受焦点小组影响、改变现实、传递价值、追求完美、既要把握大局也要注意细节、只与最优秀的人合作、面对面沟通、融合人文与科学、“stay hungry, stay foolish”。 正文 乔布斯的故事是创业神话的极致展现：1976年，他与人在父母的车库中共同创立了苹果公司，1985年被迫离开，1997年返回拯救了濒临破产的苹果，并在2011年10月去世时，他已经将其打造成了世界上最有价值的公司。在这个过程中，他推动了七大行业的变革：个人计算机、动画电影、音乐、手机、平板电脑、零售店和数字出版。因此，他与托马斯·爱迪生、亨利·福特和沃尔特·迪士尼等美国伟大的创新者一道，被铭记在创新者的殿堂中。这些人并非圣人，但他们的个性将随时间淡忘，而他们将想象力应用于技术和商业的方式将被历史铭记。 “那些疯狂到认为自己可以改变世界的人，最终确实能够做到。” ——1997年苹果公司“想法不同”广告 自从我的乔布斯传记出版以来，无数评论者试图从中提炼管理智慧。其中一些见解颇具洞察力，但我认为许多人（尤其是那些没有创业经验的人）过分关注了他性格中的棱角。我认为，乔布斯的精髓在于，他的性格是他商业行为方式的核心。他总是行事仿佛常规规则对他不适用，他对生活的激情、强度和极端情感，也同样融入了他创造的产品中。他的急躁和不耐烦是他追求完美主义的一部分。 在我完成大部分书稿后最后一次见到他时，我再次询问了他对待人粗鲁的倾向。“看看结果吧， ”他回答。“我合作的都是聪明人，如果他们真的感受到了苦难，他们完全可以在其他地方找到顶尖的职位。但他们没有离开。”随后他沉默了一会儿，几乎是带着怀念地说，“我们一起完成了一些不可思议的事情。”的确，过去十多年里，他和苹果取得的成就序列，超越了现代任何其他创新公司：iMac、iPod、iPod nano、iTunes Store、Apple Stores、MacBook、iPhone、iPad、App Store、OS X Lion，还有每一部皮克斯电影。即使在与终极病魔作斗争时，乔布斯也被一群多年来受他鼓舞的忠诚同事、一个充满爱的妻子、姐妹和四个孩子所环绕。 所以，我认为从乔布斯实际取得的成就中学到的教训才是真正的精髓。我曾问他，他认为他最重要的创造是什么，以为他会说是iPad或Macintosh。出乎意料，他说是苹果公司本身。他说，打造一个持久的公司，比创造一个伟大的产品更难，也更重要。他是如何做到的呢？即使是一百年后，商学院也仍将研究这个问题。以下是我认为他成功的关键所在。 专注 当乔布斯1997年回到苹果时，发现公司在生产一系列混乱的计算机和外设，包括十几个版本的Macintosh。经过几周的产品审查，他终于忍无可忍。“停下！”他大喊。“这太疯狂了。”他拿起一支马克笔，赤脚走到一块白板前，画出一个二乘二的网格。“我们需要的是这个，”他宣布。他将两列标为“消费者”和“专业”，两行标为“桌面”和“便携”。他告诉团队，他们的任务是集中精力打造四款伟大的产品，每个象限一个。所有其他产品都应该被取消。这一决定让人震惊，但正是这种专注救了苹果。“决定不做什么和决定做什么一样重要，”他告诉我。“这对公司来说是真的，对产品也是如此。” 在他扭转了公司的局面之后，乔布斯开始每年带他的“前100名”员工去度假。在最后一天，他会站在白板前（他喜欢白板，因为它让他完全掌控局面，而且能够集中注意力）并问，“我们接下来应该做哪10件事？”人们会争先恐后地提出他们的建议。乔布斯会将这些建议写下来——然后划掉那些他认为不明智的。经过一番讨论，小组最终会得出一个由10项构成的清单。然后乔布斯会削减掉后面七项并宣布，“我们只能做三件。” 专注是乔布斯性格的一部分，也是他通过禅宗训练所磨砺出的。他无情地过滤掉他认为的分心事物。有时，同事和家庭成员会因为他们试图让他处理他们认为重要的问题——比如一个法律问题，一个医疗诊断——而感到沮丧。但他会冷冷地盯着他们，拒绝转移他那如激光一般的专注，直到他准备好。 在他生命的最后阶段，谷歌的共同创始人拉里·佩奇即将重新掌控谷歌，他在家中拜访了乔布斯。尽管他们的公司在争执，乔布斯仍愿意提供建议。“我强调的主要是专注，”他回忆说。他告诉佩奇，要弄清楚谷歌长大后想成为什么。“它现在无所不包。你想专注于哪五个产品？把其它的都剔除，因为它们在拖你的后腿。它们正在把你变成微软。它们让你生产出的产品只是足够好而不是伟大。”佩奇采纳了这一建议。2012年1月，他告诉员工专注于几个重点，如Android和Google+，并使它们变得“美观”，就像乔布斯会做的那样。 简化 乔布斯的禅宗式专注能力伴随着一种本能，即通过聚焦其本质和消除不必要的部分来简化事物。“简约是最终的复杂，”苹果的第一份营销手册宣称。要了解这意味着什么，可以比较任何一款苹果软件和其他产品，如Microsoft Word，后者不断变得更加复杂和杂乱，带有难以理解的导航功能和干扰性特征。这提醒我们苹果追求简约的光辉。 乔布斯在阿塔里夜班工作时开始欣赏简约，那时他还是一名大学辍学生。阿塔里的游戏没有使用说明书，需要足够简单，以至于一个嗑药的大一新生也能弄明白如何玩。它的《星际迷航》游戏的唯一指示是：“1. 插入硬币。2. 避免克林贡人。”他对设计中的简约之爱在他参加的1970年代末在阿斯彭研究所举行的设计会议上得到了精炼，那里的校园建筑采用了包豪斯风格，强调干净的线条和功能性设计，没有多余的装饰或分心之物。 当乔布斯访问施乐公司的帕洛阿尔托研究中心，看到了一台拥有图形用户界面和鼠标的计算机计划时，他开始着手使设计变得更直观（他的团队使用户能够在虚拟桌面上拖放文件和文件夹）和更简单。例如，施乐的鼠标有三个按钮，售价300美元；乔布斯前往一家当地的工业设计公司，告诉其中一位创始人迪恩·霍维，他想要一个简单的、单按钮的型号，成本为15美元。霍维遵从了。 乔布斯追求的是一种通过征服而不是仅仅忽略复杂性获得的简单性。他意识到，实现这种深度的简单性，会产生一种感觉上似乎是在友好地顺应用户而不是挑战他们的机器。“这需要大量的努力，”他说，“要使某事变得简单，真正理解其背后的挑战并找到优雅的解决方案。” 在乔纳森·艾夫，苹果的工业设计师，乔布斯找到了他追求深层而非表面简单性的灵魂伴侣。他们知道，简单性不仅仅是一种极简主义风格或去除杂乱。为了去除螺丝、按钮或多余的导航屏幕，有必要深刻理解每个元素的作用。“要真正简单，你必须深入挖掘，”艾夫解释说。“例如，要做到没有螺丝，你可能最终会得到一个非常复杂和混乱的产品。更好的方式是深入探究简单性，全面理解它的一切以及它是如何被制造的。” 在设计iPod界面时，乔布斯在每次会议上都试图找到方法减少杂乱。他坚持要求在三次点击内达到他想要的任何功能。例如，一个导航屏幕询问用户是否想按歌曲、专辑或艺术家搜索。“我们为什么需要这个屏幕？”乔布斯质问。设计师们意识到他们并不需要它。“有时我们会因为一个用户界面问题而头疼，然后他就会说，‘你们考虑过这个吗？’”托尼·费代尔说，他领导了iPod团队。“然后我们都会说，‘天哪。’他会重新定义问题或方法，我们的小问题就此消失。”在某一刻，乔布斯提出了最简单的建议：让我们去掉开/关按钮。起初，团队成员对此感到惊讶，但后来他们意识到按钮是不必要的。如果设备未被使用，它会逐渐关闭电源，并在重新启用时迅速启动。 同样，当乔布斯看到一套为iDVD设计的复杂的导航屏幕提案时，这个功能允许用户将视频烧录到光盘上，他跳起来在白板上画了一个简单的矩形。“这是新应用，”他说。“它只有一个窗口。你把视频拖进窗口。然后点击‘烧录’按钮。就这样。这就是我们将要制作的。” 在寻找成熟颠覆的行业或类别时，乔布斯总是询问谁在让产品变得比必要的更复杂。2001年，便携式音乐播放器和在线获取歌曲的方式就是这样，这导致了iPod和iTunes Store的诞生。接下来是手机。乔布斯会在会议上抓起一部手机，正确地抱怨没有人可能弄明白如何使用它的一半功能，包括通讯录。在他的职业生涯末期，他将目光投向了电视行业，该行业几乎使人们不可能通过点击一个简单的设备就能观看他们想要的内容。 负责到底 乔布斯知道，要实现简单，最好的方式是确保硬件、软件和外围设备无缝集成。苹果生态系统——，例如，一个iPod连接到一台装有iTunes软件的Mac——使设备更简单，同步更顺畅，故障更少。更复杂的任务，如创建新播放列表，可以在电脑上完成，使iPod可以具有更少的功能和按钮。 乔布斯和苹果对用户体验负责到底——这是极少数公司做到的。从iPhone中ARM微处理器的性能到在苹果店购买一部手机的行为，顾客体验的每个方面都紧密相连。微软在1980年代和谷歌在过去几年里采取了更开放的方式，允许他们的操作系统和软件被各种硬件制造商使用。有时这被证明是更好的商业模式。但乔布斯坚定地认为，这是制造（用他的话说）更差产品的配方。“人们很忙，”他说。“他们有其他事要做，而不是考虑如何整合他们的计算机和设备。” 置身于苹果生态系统，仿佛漫步于乔布斯钟爱的京都禅宗花园，享受着那份至高无上的体验。 乔布斯强迫自己对所谓的“整体产品”负责，一方面源于他那强控的个性，另一方面则源于他对完美和制造优雅产品的热情。当他想到在其他公司的平庸硬件上运行苹果的优秀软件时，他会感到极度不适，同样，他也无法忍受未经批准的应用或内容玷污苹果设备的完美。这种做法可能不会总是最大化短期利润，但在一个充斥着劣质设备、令人费解的错误信息和恼人界面的世界中，它却带来了标志性的、令人愉悦的用户体验的惊艳产品。置身于苹果的生态系统中，就像是在乔布斯所爱的京都禅宗花园中漫步，这两种体验都不是通过盲目追求开放性或让千花齐放而创造出来的。有时候，被一个控制欲强的人牵着手，也是一种幸福。 落后时超越 一个创新公司的标志不仅仅在于它首先提出新想法。更重要的是，当发现自己落后时，它知道如何实现跨越式发展。这一点在乔布斯构建原始iMac时得到了体现。他专注于使其成为管理用户照片和视频的有用工具，但在音乐处理上却落后了。PC用户正在下载音乐、交换音乐，然后刻录自己的CD。而iMac的插槽驱动器无法刻录CD。“我觉得自己像个傻瓜，”他说，“我以为我们错过了。” 但乔布斯没有仅仅通过升级iMac的CD驱动器来追赶，而是决定创建一个集成系统，彻底改变音乐行业。这一决策最终产生了iTunes、iTunes Store和iPod的组合，使用户能够以比任何其他设备都要好的方式购买、分享、管理、存储和播放音乐。 在iPod取得巨大成功后，乔布斯几乎没有花时间沉醉其中。相反，他开始考虑什么可能会威胁到它。一种可能性是手机制造商开始在他们的手机中加入音乐播放器。因此，他通过创造iPhone，自我蚕食iPod的销量。“如果我们不自我蚕食，别人就会蚕食我们，”他说。 产品优先于利润 在1980年代初，乔布斯和他的小团队设计原始Macintosh时，他的指示是使其“疯狂地伟大”。他从未谈论过利润最大化或成本权衡。“不要担心价格，只需指定计算机的性能，”他对团队的最初领导说。在与Macintosh团队的第一次集体退思时，他首先在白板上写下一条准则：“不要妥协。”最终产生的机器成本过高，导致乔布斯被迫离开苹果。但Macintosh也“在宇宙中留下了痕迹”，正如他所言，加速了家用电脑革命。长期来看，他找到了平衡：专注于打造出色的产品，利润自然会随之而来。 约翰·斯卡利在1983年到1993年间管理苹果，是来自百事可乐的营销和销售高管。在乔布斯离开后，他更加关注利润最大化而非产品设计，苹果逐渐走向衰落。“我有自己的理论，关于公司为什么会衰落，”乔布斯对我说：“他们制造了一些伟大的产品，但然后销售和营销人员接管了公司，因为他们是那些可以提高利润的人。”“当销售人员掌管公司时，产品人员就不那么重要了，很多人就会失去动力。当斯卡利加入苹果时就发生了这种情况，这是我的错，当鲍尔默接管微软时也发生了这种情况。” 当乔布斯回归时，他将苹果的焦点重新聚焦于创新产品的制作：轻巧的iMac、PowerBook，然后是iPod、iPhone和iPad。正如他所解释的，“我的热情一直是建立一个能够激励人们制造伟大产品的持久公司。其他一切都是次要的。当然，赚钱很好，因为那是让你能制造伟大产品的基础。但是产品，而不是利润，才是驱动力。斯卡利颠倒了这些优先级，把目标变成了赚钱。这是一个细微的差别，但意味着一切——你雇佣谁，谁得到晋升，你在会议中讨论什么。” 不要被焦点小组束缚 当乔布斯带领他的原始Macintosh团队进行第一次集体退思时，一名成员问是否应该做一些市场调研来了解客户想要什么。“不，”乔布斯回答，“因为客户不知道他们想要什么，直到我们展示给他们。”他引用了亨利·福特的话：“如果我问客户他们想要什么，他们可能会说，‘一个更快的马！’” 深切关心客户的需求与不断询问他们想要什么是截然不同的；这需要对尚未形成的欲望有直觉和本能。“我们的任务是阅读那些还没呈现在页面上的内容，”乔布斯解释道。他并不依赖市场研究，而是磨炼了他的版本的同理心——对顾客欲望的深刻直觉。他在印度学习佛教时作为一名大学辍学生，培养了对直觉的欣赏——一种基于积累的经验智慧的感觉。“印度乡村的人们不像我们那样使用他们的智力；他们使用直觉，”他回忆道。“直觉是一种非常强大的东西，我认为，比智力更为强大。” 有时这意味着乔布斯使用自己作为唯一的焦点小组。他制造了他和他的朋友们想要的产品。例如，2000年存在许多便携式音乐播放器，但乔布斯觉得它们都不够好，作为一个音乐爱好者，他想要一个简单的设备，能让他随身携带一千首歌曲。“我们为自己制造了iPod，”他说，“当你为自己、或者你的最好的朋友或家人做某事时，你不会偷工减料。” 扭曲现实 乔布斯（恶名昭著的）能力，推动人们完成不可能的任务，被同事们称为他的“现实扭曲场”，这个名字来源于《星际迷航》的一集，其中外星人通过纯粹的心智力量创造了一个令人信服的替代现实。一个早期例子是乔布斯在阿塔里夜班时期，他推动史蒂夫·沃兹尼亚克创建了名为Breakout的游戏。沃兹认为这需要几个月，但乔布斯盯着他，坚持说他能在四天内完成。沃兹知道这是不可能的，但他最终完成了。 乔布斯因能激励人们完成看似不可能的任务而闻名遐迩，同事们称这种能力为“现实扭曲场”，这个名字启发于《星际迷航》中的一个剧集。 对乔布斯不太了解的人可能会把“现实扭曲场”误解为某种对欺凌和撒谎的委婉说法。然而，真正与他共事过的人承认，尽管这种性格有时令人难以忍受，但它确实促使他们完成了非凡的壮举。乔布斯认为自己不受生活常规规则的约束，这使他能激励团队用远少于施乐或IBM的资源，改变了计算机历史的进程。“这是一种自我实现的扭曲，”原Mac团队成员Debi Coleman回忆道，她曾因最擅长对抗乔布斯而获奖。“你之所以完成了不可能的任务，是因为你不知道它原本是不可能的。” 有一次，乔布斯闯进了负责Macintosh操作系统的工程师Larry Kenyon的工位，抱怨启动时间太长了。Kenyon试图解释为什么减少启动时间是不可能的，但乔布斯打断了他：“如果这能救人一命，你能找到方法缩短10秒的启动时间吗？”Kenyon承认，他或许能做到。乔布斯在白板上展示，如果有五百万人每天使用Mac，每天多花10秒启动，那么一年就是大约3亿小时——相当于至少100个人的一生。几周后，Kenyon将机器的启动时间缩短了28秒。...

这篇文章翻译了OpenAI CEO Sam Altman对想要创建一个伟大公司的CEO的9个建议。Sam Altman’s 9 things that the best founders do to build a great company Sam Altman 分享了九个建议，这些是创始人在打造伟大公司过程中应遵循的最佳实践。 1 深入了解你的用户 顶尖的创始人会亲自处理客户支持工作。他们会亲自拜访用户——以 Airbnb 为例，他们甚至会与用户同住。这样做的目的是要非常深入地了解你的用户。 2 保持快速迭代周期并理解复合增长的力量 这个过程可以概括为：与客户交谈以理解他们的需求 → 开发产品来满足这些需求 → 将产品推向市场并观察用户反应 → 根据反馈进行调整 → 重复这个过程。这种迭代是持续改进的关键。复合增长法则意味着，如果每个迭代周期你都能提升 2%，并且你的迭代周期是每四小时而不是每四周，那么几年下来，你会发现自己处于一个截然不同的境地。将打造世界上迭代速度最快的公司作为你的首要目标之一。 3 做出长期承诺 大多数公司的规划期限为 2-3 年。但实际上，成功的公司几乎都是十年的长期项目。如果你从一开始就以这种长期视角来规划，你会做出更好、更不同的决策。我认为，对一个新项目做出长期承诺，几乎是市场上剩余的唯一套利机会。几乎没有人愿意这么做，但如果你做了，你会以全新的方式思考问题，聘请不同的人才，这将大有裨益。 4 在一切顺利之前保持公司的精简 在早期，当你还在尝试和调整方向时，你希望公司能像快艇一样灵活，能够迅速改变方向。一旦公司规模扩大，无论是现金烧损，还是其他问题，这种灵活性都会大打折扣。员工数的增加会成倍减少公司的灵活性，所以在确定一切都在正确的轨道上之前，保持公司规模的小型化至关重要。一旦确认一切顺利，再考虑扩大规模。 5 抵抗随意招聘的冲动，尤其是避免招聘平庸人才 Vinod Khosla 曾经说过一句我非常赞同的话：‘你建立的团队决定了你创建的公司。’这个观点非常准确，我曾经低估了它的重要性。如果你能组建一个优秀的团队，并且拥有一个用户喜爱的产品，你成功的几率将超过 90%。这两点都非常难以实现，并且它们是相互独立的。但不要忽视团队的重要性。我认识的最优秀的 CEO，会花费大量时间在招募和留住人才上。 6 无情地执行 你必须不断前进，追求完美，关注每一个细节。你需要对用户与你的公司的每一次互动都无比在意。 7 创业就是永不放弃 最近一期 YC 孵化器中的一个顶尖公司在第七次申请时才被接受。这正是创业过程中常有的经历：一次又一次地面对失败。就在你觉得自己再也没有力气站起来的时候，成功就在眼前。这正是创业所要经历的。 8 照顾好自己是你的责任 这是一场长达十年的马拉松，你有义务照顾好自己，这对你的股东而言是一种责任。有些人把创业当作熬夜：忽视健康，牺牲睡眠，忽略个人关系。虽然创业确实不利于工作生活平衡，但你有责任照顾好自己，这对你的团队和投资者都非常重要。 9 清晰的使命感 虽然你不需要在第一天就确定清晰的使命，但我所参与的所有成功创业公司都会在最初的一两年内找到一个重要的使命。这个使命不仅能吸引人才加入，也是推动创始人前进的动力，让媒体对他们进行报道。即使你是从解决个人生活中的一个小问题开始的，记住，最终你应该有一个清晰的使命——这将吸引人们来支持你，帮助你把这个想法发展成一个被众多人热爱的大公司。

这篇文章记录了去年读《小米创业思考》这本书的记录，雷总其中的一些观点会对你有些帮助。 当我们谈论“专注”时，我们究竟在谈什么？ 我总结了专注的四个核心命题： 清晰的使命、愿景 深刻的洞察力，了解行业，了解用户需求，找到机会。 明确而坚定的目标及与之匹配的能力 克制贪婪，少就是多 只有贯穿长期目标、始终围绕用户真实需求出发、与核心业务构成强协同的业务拓展，才能驱动企业发展的飞轮。而且，每一项新业务的拓展都以之前业务坚实的发展模型和预期为基础，这样才能保证每一个发展阶段都能集中精力，专注地开拓一项业务。 一次解决一个最迫切的需求 资源总是有限的，切口越小，压强越大，突破越有利。产品的切口怎么选？小米内部在讨论产品时常说“单点突破，逐步放大”，一开始尽量聚焦到只解决用户一个迫切的需求，这样验证起来非常简单。解决的问题只要一句话就可以说清楚，比如小米充电宝解决的问题就是“怎样获得大容量、质量可靠又便宜的充电宝” 决定不做什么跟决定做什么一样重要 “少就是多”的最典型案例就是苹果。 什么才是极致的产品 极致就是“始终更高标准，玩命更严要求”。什么才是极致的产品，我理解有两个条件： 一是产品要惊艳，设计要惊艳，成本也要惊艳 二是超出用户用户预期，真的能让用户尖叫 尽管行业千差万别、个性各有不同，但都有一个相同的特征：了不起的极致产品不是只靠一个天才的想法、一个突然出现的灵感就能做出来的，而是要经历长期痛不欲生的修改，一点一点打磨出来。 替代一匹快马的，不应是一匹更快的马，而有可能是蒸汽汽车。