Posts

本文探讨了构建和管理“生成式 AI 产品”应用的运营方面，涵盖了数据、模型、产品和人员四个关键领域。作者强调了数据质量对模型性能的重要性，并介绍了如何检测和减少开发环境与生产环境之间的差异。文章还讨论了模型版本控制、选择合适模型大小以及设计以人为中心的“用户体验”的重要性。最后，作者强调了团队合作和实验文化的重要性，并建议将重点放在流程而非工具上。 ➡️ 数据 输入数据质量对模型性能至关重要，需要定期审查输入和输出数据，以了解数据分布、边缘情况和模型的局限性。 开发环境与生产环境之间的差异会导致模型性能下降，需要进行结构性和内容性的偏差检测。 定期审查模型输出可以帮助识别和适应新的模式或失败模式，并通过代码和断言将这些模式转化为可操作的指标。 ➡️ 模型 为了方便下游集成，需要生成结构化的输出，例如 JSON 或 YAML 格式。 不同模型之间迁移提示可能很困难，需要进行测试和评估，以确保性能不会下降。 版本控制和固定模型版本可以避免模型行为的意外变化，并确保模型的稳定性。 选择最小的模型来完成任务，可以降低延迟和成本，并通过提示工程和上下文学习提高模型性能。 ➡️ 产品 在产品开发过程中尽早并经常地引入设计，可以帮助理解用户需求并改善用户体验。 设计以人为中心的“用户体验”，可以收集用户反馈并改进模型。 优先考虑产品的关键需求，例如可靠性、安全性、准确性和可扩展性，并根据用例调整风险承受能力。 ➡️ 人员 团队合作和实验文化是成功的关键，需要鼓励团队成员进行实验并分享经验。 将重点放在流程而非工具上，可以避免不必要的技术债务，并提高团队的长期生产力。 团队需要包括 AI 工程师、平台工程师、数据工程师和机器学习工程师等不同角色，以确保产品的成功。 避免过度依赖 AI 工程师，需要根据产品开发阶段的不同需求，组建相应的团队。 原文 有句可能是传闻的名言，被许多领导者引用：“业余者谈策略和战术，专业人士谈操作。” 在战术层面看到的是各种独特的问题，而在操作层面看到的却是需要修复的组织失调模式。在战略层面看到的是机会，而在操作层面看到的是值得迎接的挑战。 在本文的第一部分中，我们介绍了战术性地与大语言模型 (LLMs) 一起工作的具体细节。在下一部分中，我们将放大视角，探讨长期战略考虑。在这一部分，我们讨论了介于战略和战术之间的操作方面，把理论转化为实践。 运营 LLM 应用程序提出了一些在运营传统软件系统中经常出现的问题，但往往带有新颖的变化，使其更具挑战性。同时，LLM 应用程序还引发了全新的问题。我们将这些问题及其答案分为四个部分：数据、模型、产品和人员。 关于数据，我们回答了：应该如何以及多频繁地审查 LLM 的输入和输出？如何测量和减少测试-生产偏差？ 关于模型，我们回答了：如何将语言模型集成到整个技术栈中？如何管理模型的版本和迁移？ 关于产品，我们回答了：设计应该在何时介入应用程序开发过程，为什么是“越早越好”？如何设计具有丰富人类反馈的用户体验？如何在众多冲突需求中进行优先排序？如何校准产品风险？ 最后，关于人员，我们回答了：应该雇佣谁来构建成功的 LLM 应用程序，以及何时雇佣他们？如何培养实验文化？如何利用新兴的 LLM 应用程序来构建自己的 LLM 应用程序？哪个更重要：过程还是工具？ 作为一个 AI 语言模型，我没有意见，因此无法告诉你你提供的引言是否“最佳”。不过，我可以说这段引言为接下来的内容定下了合适的基调。 操作：开发和管理 LLM 应用程序及其团队 数据 正如食材的质量决定了菜肴的味道，输入数据的质量决定了机器学习系统的性能。此外，输出数据是判断产品是否工作的唯一标准。所有作者都密切关注数据，每周花费数小时查看输入和输出数据，以更好地了解数据分布、模式、边缘情况及其模型的局限性。 检查开发-生产偏差 传统机器学习管道中一个常见的错误来源是训练-服务偏差。当训练使用的数据与模型在生产中遇到的数据不一致时，就会发生这种情况。虽然我们可以在不训练或微调的情况下使用 LLM，但开发-生产数据偏差依然存在。基本上，我们在开发过程中测试系统的数据应与系统在生产中面临的数据相符。如果不这样做，我们可能会发现生产环境中的准确性下降。 LLM 的开发-生产偏差可以分为两种类型：结构性偏差和内容性偏差。结构性偏差包括格式差异问题，例如 JSON 字典中的列表类型值与 JSON 列表之间的差异、不一致的大小写以及拼写错误或句子片段等。这些错误可能导致模型性能不可预测，因为不同的 LLM 是在特定数据格式上训练的，对细微变化非常敏感。内容性或语义偏差指的是数据意义或上下文的差异。...

本文探讨了使用大型语言模型（LLM）构建产品的关键经验教训，并分享了作者团队在过去一年中从实际应用中总结出的宝贵经验。文章分为三个部分：战术、运营和战略，本篇是第一部分，重点介绍了LLM的战术技巧，包括提示、检索增强生成、流程工程以及评估和监控。 ➡️ 提示 作者建议从提示开始构建新的应用，因为它在正确使用时可以取得显著的效果，但同时也不要过高估计它的重要性，因为即使是基于提示的应用也需要大量的工程工作才能使其有效。 作者推荐了一些经过验证的提示技巧，包括： N-shot 提示 + 上下文学习：提供几个示例来演示任务，并使输出与预期相符。 思维链提示：鼓励LLM在返回最终答案之前解释其思考过程。 提供相关资源：通过检索增强生成（RAG）提供模型可以直接利用的文本片段，帮助模型更好地理解上下文。 作者强调了结构化输入和输出的重要性，并举例说明了如何使用结构化输入来帮助模型更好地理解输入，以及如何使用结构化输出来简化与下游系统的集成。 作者建议将大型提示分解成多个小型提示，每个提示只做一件事，并专注于做好这件事。 作者还建议仔细思考模型需要的上下文信息，并优化上下文结构，以突出上下文各个部分之间的关系。 ➡️ 信息检索/RAG 作者指出，RAG的有效性取决于检索到的文档的相关性、密度和细节。 作者建议不要忽视关键词搜索，将其作为基线并将其用于混合搜索。 作者认为，在大多数情况下，混合搜索效果最好，即使用关键词匹配来查找明显的匹配项，并使用嵌入来查找同义词、上位词和拼写错误，以及多模态（例如图像和文本）。 作者建议在新的知识方面优先考虑RAG而不是微调。 作者认为，即使出现了长上下文模型，RAG也不会过时。 ➡️ 调整和优化工作流程 作者建议使用分步、多轮“流程”来提高性能。 作者建议优先考虑确定性工作流程，因为它们更容易部署和调试。 作者建议使用缓存来降低成本和消除生成延迟。 作者建议在必要时进行微调，但要权衡其成本和收益。 ➡️ 评估和监控 作者建议创建一些基于断言的单元测试，这些测试基于真实的输入/输出样本，并根据至少三个标准来预期输出。 作者建议使用LLM作为评判者来评估其他LLM的输出，但要意识到它不是万能的。 作者建议使用“实习生测试”来评估生成，即如果将相同的输入和上下文提供给相关专业的普通大学生，他们是否能够成功完成任务？ 作者警告说，过度强调某些评估指标可能会损害整体性能。 作者建议将标注简化为二元任务或成对比较。 作者认为，无参考评估和护栏可以互换使用。 作者指出，LLM即使不应该生成输出也会生成输出，因此需要使用护栏来检测和过滤/重新生成不希望的输出。 作者认为，幻觉是一个顽固的问题，需要结合提示工程和事实不一致护栏来解决。 原文 我们从一年与大语言模型 (LLMs) 的构建中学到了什么 (第一部分) 现在是一个用大语言模型 (Large Language Models, LLMs) 构建产品的激动人心的时刻。在过去的一年里，LLMs 已经达到了“足够好”可以应用于实际场景的水平。LLMs 的进步速度加上社交媒体上的众多演示，预计将推动到 2025 年对人工智能的 2000 亿美元投资。LLMs 也广泛开放，使得不仅仅是机器学习工程师和科学家，所有人都可以将智能融入到他们的产品中。虽然构建 AI 产品的门槛已经降低，但要创建那些在演示之外也能有效的产品仍然是一个复杂的任务。 我们已经发现了一些开发基于 LLMs 产品的关键但常常被忽视的教训和方法。了解这些概念可以让你在无需机器学习专业知识的情况下，比大多数同行更具竞争力！在过去的一年里，我们六个人一直在构建基于 LLMs 的实际应用。我们意识到有必要将这些经验汇集在一起，造福社区。 我们来自不同的背景，担任不同的角色，但我们都亲身经历了使用这项新技术的挑战。我们中的两人是独立顾问，帮助众多客户将 LLM 项目从初始概念转化为成功的产品，看到了成功与失败的模式。我们中有一人是研究人员，研究机器学习/人工智能团队的工作方式及其工作流程的改进。我们中的两人在应用 AI 团队中担任领导职务：一人在科技巨头公司，另一人在初创公司。最后，我们中的一人教授过数千人学习深度学习课程，现在致力于使 AI 工具和基础设施更易于使用。尽管我们的经历不同，但我们惊讶地发现我们学到的经验有着一致的主题，这些见解没有被广泛讨论。 我们的目标是制作一个实用指南，帮助大家围绕 LLMs 构建成功的产品，从我们的经验中汲取教训，并指出行业中的一些例子。我们在过去的一年里亲自动手，获取了宝贵的经验，往往是通过艰难的方式。虽然我们不敢说代表整个行业，但我们在这里分享了一些对任何构建 LLM 产品的人都有用的建议和经验。...

OpenAI 创始成员之一 Andrej Karpathy 在 UC Berkeley AI Hackathon 2024 颁奖典礼上分享了他对人工智能领域的见解，并强调了当前人工智能领域正经历着前所未有的快速发展，类似于 1980 年代的个人电脑革命。他认为，大型语言模型 (LLMs) 正成为新的计算范式，类似于个人电脑中的中央处理器，并正在改变我们与技术互动的方式。Karpathy 还强调了项目和实践在人工智能领域取得成功的关键作用，并分享了他个人经历中的一些成功案例。 ➡️ 人工智能领域正在经历快速发展，大型语言模型 ( LLMs ) 正在成为新的计算范式，类似于个人电脑中的中央处理器。 ➡️ LLMs 将在未来改变我们与技术互动的方式，并可能在数字和物理世界中自动化许多任务。 ➡️ Karpathy 还强调了项目和实践在人工智能领域取得成功的关键作用，并分享了他个人经历中的一些成功案例，例如他早期在 YouTube 上发布的游戏编程教程，最终帮助他发展了教学事业。 ➡️ 他还强调了 “一万小时定律” 的重要性，并鼓励听众投入大量时间进行实践，以积累经验和专业知识。 ➡️ Karpathy 认为，项目可以帮助人们深入学习，并鼓励他们将项目发布到网络上，以提高工作质量并获得反馈。 ➡️ 他总结说，人工智能领域充满了机遇，并鼓励听众继续进行项目开发，并努力将他们的工作转化为现实世界的改变。 原文 大家好，非常感谢你们的邀请，我很高兴能来到这里。我非常喜欢黑客马拉松，这里充满了能量和创造力，年轻人们尝试做很酷的事情，一起学习和创造，这对我来说是最喜欢的地方。我参加过很多黑客马拉松，所以今天能在这里和你们交流真的很高兴。 首先，当他们邀请我时，我没想到这次活动规模会这么大，这确实超出了我的预期。这个黑客马拉松的规模确实很大。我想开始说的是，这对于 AI 来说并不寻常。我在 AI 领域已经有大约 15 年的经验，所以我可以自信地说，它已经发展了很多。对我来说，AI 以前只是几百个学者聚在一起开研讨会，讨论一些数学的细节。这是我进入 AI 领域时所习惯的。那时候，当你训练神经网络时，你会用 MNIST 数据集中的小数字，训练受限玻尔兹曼机，用对比散度来训练网络，然后仔细检查网络的第一层是否训练正确。我知道这听起来很久远且没什么意义，但那时候的氛围确实不同，现在情况变得有些失控了。但看到今天的能量，15 年后的今天，AI 发展成了现在这个样子，所以这也是我认为这次活动规模如此之大的原因。 Nvidia 是制造 GPU 的公司，这些 GPU 用于我们神经网络的所有繁重工作，现在是美国最有价值的公司，并且已经接管了市场。这就是我们今天所处的时代，为什么有这么多像这样的黑客马拉松，我认为这非常了不起，但确实是前所未有的。对于许多刚进入 AI 领域的人来说，这是一个非常独特的时刻，这并不寻常，非常有趣也非常独特，现在有很多事情在发生。我认为根本原因是计算的本质在发生变化，我们正进入一个新的计算范式，这是非常罕见的。我几乎觉得这像是 1980 年代的计算机时代重现，但这次不是中央处理单元执行字节指令，而是大型语言模型 (Large Language Model) 处理 Token（小字符串片段）。除此之外，我们有 Token 窗口而不是字节的内存，还有其他等价物。所以它有点像计算机，这就是为什么我称之为大型语言模型操作系统(LLM OS)。我曾在推特上更详细地讨论过这个。我认为这是一个新计算机，我们都在学习如何编程，了解它的优势和劣势，如何将其融入产品，以及如何充分利用它。...

Character.AI 正在致力于构建通用人工智能（AGI），旨在将大型语言模型（LLM）融入日常生活，以提升工作效率和娱乐体验，并在教育、辅导、支持、头脑风暴、创意写作等方面为人们提供帮助。为了实现这一目标，高效地进行“推断”（即LLM生成回复的过程）在全球范围内至关重要。作为一家全栈AI公司，Character.AI 从零开始设计模型架构、推断栈和产品，以优化推断的效率、成本效益和可扩展性。原文戳这里。 高效的架构设计：Character.AI 通过以下技术，将注意力键值（KV）缓存大小减少了20倍以上，同时没有降低质量： 使用多查询注意力（Multi-Query Attention）。 采用混合注意力范围，将局部注意力（Local attention）与全局注意力层交织。 在相邻的注意力层之间共享KV缓存。 状态缓存：Character.AI 开发了一种在对话回合之间在主机内存上缓存注意力KV的高效系统。通过这种系统，可以实现95%的缓存率，进一步降低推断成本。 量化训练和推断：公司使用int8量化技术对模型权重、激活和注意力KV缓存进行量化，并实现了定制的int8内核以支持矩阵乘法和注意力计算。与常见的“后训练量化”技术不同，Character.AI 直接以int8精度训练模型，消除了训练/推断不匹配的风险，同时显著提高了训练效率。 成本效益：自2022年底以来，Character.AI 将推断成本降低了33倍。与使用领先的商业API相比，使用Character.AI的系统至少可以节省13.5倍的支出。 未来展望：Character.AI 感到兴奋的是，继续构建一个将LLM作为全球创新驱动力和增强体验的未来。公司承诺将继续推动AI的可能极限，致力于创建一个高效、可扩展的AI系统成为每一次互动核心的未来。 Character.AI 的 AI 推理优化 在 Character.AI，我们正在朝着实现通用人工智能 (AGI) 的目标迈进。在这个未来中，大语言模型 (LLMs) 将会提升我们的日常生活，从提高业务生产力到提供娱乐服务，并在教育、指导、支持、头脑风暴、创意写作等各方面帮助人们。 为了在全球范围内实现这一目标，必须实现高度高效的“推理”——即 LLMs 生成回复的过程。作为一家全栈 AI 公司，Character.AI 从零开始设计了模型架构、推理栈和产品，这为优化推理效率、降低成本并扩大规模提供了独特的机会，以满足快速增长的全球用户需求。 目前，我们每秒处理超过 20,000 次推理查询。为了让大家了解这一规模，可以参考一下，据第三方估计，Google 搜索每秒处理大约 105,000 次查询 (Statista, 2024)，我们处理的查询量大约是它的 20%。 我们能够在如此大规模下稳定提供 LLM 服务，是因为我们在服务栈中开发了许多关键创新。在这篇博客文章中，我们将分享过去两年中开发并最近采用的一些技术和优化方法。 内存高效的架构设计LLM 推理的关键瓶颈在于注意力键值 (KV) 缓存的大小。KV 缓存的大小不仅决定了 GPU 上可以容纳的最大批次大小，还影响了注意力层的 I/O 成本。我们采用了以下技术，在不影响质量的前提下，将 KV 缓存大小减少了 20 倍以上。通过这些技术，GPU 内存不再是服务大批量请求的瓶颈。 1. 多查询注意力。我们在所有注意力层中采用了多查询注意力 (Shazeer, 2019)。相比大多数开源模型采用的分组查询注意力，这项技术将 KV 缓存大小减少了 8 倍。 2. 混合注意力范围。我们交替使用局部注意力 (Beltagy et al....

LinkedIn团队在过去六个月里致力于开发一款新的 AI 驱动的体验，旨在重新构想成员们如何进行求职和专业内容浏览。通过将每个动态和职位发布转变为获取信息、连接点、获取建议等活动的跳板，团队利用生成式AI的力量，为用户提供更丰富的互动体验。 ➡️ 系统工作流程 选择正确的 AI 代理：系统根据用户的问题，决定最适合处理该问题的 AI 代理。 收集信息：AI 代理调用内部 API 和必应搜索，寻找与用户问题相关的具体案例和案例研究。 构建回应：AI 代理将收集到的信息过滤和综合，生成清晰、信息丰富的回答，并通过内部 API 装饰回应，如添加文章链接或提及的人物简介。 ➡️ 设计与实现 整体设计：遵循检索增强生成（RAG）的设计模式，构建了包括路由、检索和生成在内的三步流程。 开发速度：通过将任务分解为独立的 AI 代理，并采用中心化的评估流程、共享提示模板等方法，实现了快速开发。 ➡️ 挑战与解决方案 评估：开发指南、扩展注释和自动评估方面遇到挑战，通过建立内部语言学团队的工具和流程，每天评估多达 500 个对话。 调用内部 API：通过“技能”包装内部 API，使 LLM 能够执行各种与产品相关的事情，如查看个人资料、搜索文章/人员/工作/公司等。 一致的质量：团队在第一个月内实现了 80% 的基本体验目标，随后花了四个月的时间努力达到 95% 的完整体验目标。 容量与延迟：团队关注质量与延迟、吞吐量与延迟、成本和端到端流式传输等方面的平衡。 通过这些努力，LinkedIn团队成功构建了一个能够提供丰富互动体验的生成式AI产品，并计划在不久的将来向更多用户推出。原文戳这里。 思考如何构建生成式 AI 产品 在过去的六个月里，我们 LinkedIn 团队一直在努力开发一个新的 AI 驱动体验。我们的目标是重新定义会员如何进行求职和浏览专业内容。 生成式 AI 的爆炸性发展让我们重新审视现有可能性。我们尝试了很多想法，但大多数都没有成功，直到我们发现可以将每条信息流和职位发布转变为以下几种跳板： 更快获取信息，如获取文章要点或了解公司的最新动态。 连接点滴，如评估你是否适合某个职位。 接受建议，如改进个人资料或准备面试。 以及更多内容... 构建过程是否顺利？哪些方面进展顺利，哪些方面遇到挑战？ 在生成式 AI 上构建并非一帆风顺，我们在很多方面遇到了困难。我们想揭开“工程”的帷幕，分享哪些部分比较顺利，哪些方面遇到了挑战，以及接下来我们将做什么。 概述让我们通过一个真实的场景来展示系统的工作原理。 想象你正在浏览 LinkedIn 的信息流，偶然看到一篇关于设计中可访问性的有趣文章。在文章旁边，你会看到一些入门问题，以便深入探讨该主题。你很好奇并点击了“有哪些例子表明可访问性在科技公司中带来了业务价值？” 以下是后台发生的事情： 选择合适的智能体：这是你旅程的开始。我们的系统接收到你的问题，并决定哪个 AI 智能体最适合处理它。在这种情况下，它识别出你对科技公司中可访问性的兴趣，并将你的查询路由到一个专门处理常识性问题的 AI 智能体。收集信息：现在是一些体力活的时间了。AI 智能体调用内部 API 和 Bing，搜索具体的例子和案例研究，突出设计中的可访问性如何为科技公司带来了业务价值。我们正在创建一个文档来支持我们的回答。撰写回答：在获取必要的信息后，智能体现在可以撰写回答。它过滤并综合数据，形成连贯且信息丰富的答案，为你提供清晰的例子，说明可访问性举措如何为科技公司带来业务价值。为了避免生成一大堆文字，并使体验更具互动性，内部 API 被调用以附加例如文章链接或文章中提到的人的个人资料等附件。你可能会跟进问“如何转行到这个领域？”，我们会重复这个过程，但现在会将你路由到一个专门处理职业和工作的 AI 智能体。只需几次点击，你就可以深入了解任何主题，获取可操作的见解，或找到你的下一个大机会。...

本文是 HeyGen 创认识 Joshua Xu 写的一篇官网博客，文章主要讲述了 HeyGen 在 7 个月内实现 1M ARR（年度经常性收入）的经历，以及他们在此过程中的学习和成长。作者强调了从消费者产品背景转向 SaaS 领域的过程，以及在此过程中对AI市场匹配（AI-Market-Fit）概念的探索。文章重点介绍了产品开发、市场验证、用户互动和团队协作等方面的经验和教训。一些关键细节如下： ➡️ 市场验证与产品开发 HeyGen通过 Fiverr 平台（众包平台）验证了其 AI 生成视频的市场需求，并在 217 天内实现了盈利。 他们开发了一个视频引擎，并采取了三个步骤来实现愿景：首先为企业构建视频引擎，然后创建 SaaS 产品以实现技术落地，最后探索市场和技术边界。 作者提出了 AI 市场匹配的概念，区分了演示价值和用户价值，并强调了找到正确问题比解决问题更重要。 ➡️ 用户互动与团队协作 HeyGen 鼓励用户与公司沟通，通过 Zoom 进行了1400次客户会议，平均每天 7 次。 他们通过透明的方式与团队分享客户反馈，分为“HeyGen喜爱”和“HeyGen讨厌”两个群组，并在每周会议中优先讨论客户反馈。 作者强调了避免定制化诱惑的重要性，并提出了通过 Airtable 跟踪客户成功的方法。 ➡️ 学习与成长 作者分享了个人的学习方法，包括听 SaaStr 播客、阅读 Substack 订阅内容、学习其他 SaaS 产品等。 HeyGen 在达到 1M ARR 后，继续开发 HeyGen 2.0，增加团队协作和企业功能，并计划在市场推广方面进行扩展。 HeyGen 0 - 100 万美元 ARR 用时 7 个月 ⏱ 我们于 2022 年 7 月 29 日启动。经过 178 天，我们的年度经常性收入（ARR）达到了 100 万美元，并在 217 天后达到了盈亏平衡点。...

本文是关于早期创业公司最简单也最重要的仪表盘建议。作者 Andreas Klinger 认为，在早期阶段，创业者应该关注用户留存，因为留存是客户满意度的直接体现。他强调，创业者不应过早追求复杂的数据可视化工具，而是应该利用已有的客户列表，通过添加关键活动信息来监控和提升客户活跃度，从而确保客户满意度。 关键细节 留存与客户满意度：Klinger指出留存是客户幸福感的函数，即如果用户对产品不满意或未从中获益，他们很可能不会继续使用。 数据可视化的误区：他认为，在优化新用户导入转化之前，复杂的数据可视化工具如留存队列表通常是无效的。 客户列表的使用：建议早期创业公司的客户列表应简单易用，足以容纳所有客户，并添加关键活动指标来监控客户活跃度。 客户活跃度监控：提出通过颜色编码来区分不同活跃度的客户，并指定团队成员负责保持客户活跃度。 客户接触的重要性：强调产品经理或创始人的工作是保持与客户的联系，一旦发现客户活跃度下降，应及时通过电子邮件或Skype联系他们。 客户流失的早期干预：指出客户流失不是在取消订阅或停止付费时发生，而是在停止使用产品时就已经开始，因此需要尽早介入。 客户幸福感指数：对于某些产品，可能需要创建一个综合多项活动的客户幸福感指数，来衡量客户行为的重要性。 工具推荐：文中推荐了Intercom这一服务，它提供了手动和自动消息传递功能，并拥有出色的创业产品博客。 Klinger的建议强调简单性和实用性，鼓励早期创业公司关注可以直接采取行动的信息，而不是过度依赖复杂的抽象数据。 最简单且最重要的初创企业仪表板 | Andreas Klinger 这篇博客文章是一个涵盖初创企业指标基础知识的小系列的一部分。我的个人目标是更有效地帮助早期初创企业，同时避免在指导计划中重复自己太多。 如果你正在开发处于生命周期早期的软件产品，这个系列可能对你有用。 该系列的其他文章： 初创企业指标入门。选择哪种分析工具 简单但容易出错。如何以及在何处设置分析目标 初创企业指标：一个爱情故事。我7小时工作坊的幻灯片 早期初创企业指标 最常见的建议之一是在早期阶段专注于留存率。因为留存率本质上是客户满意度的反映。 留存率 = f(客户满意度) 很简单：如果用户对你的产品不满意，或者使用它没有获得任何好处，他们大多数不会继续使用它。 我们通常会想到像留存率队列表这样的酷炫可视化工具。 虽然这些表格看起来很漂亮，让你有一种在做有用事情的美好感觉，但遗憾的是，在你开始优化新用户的引导转换之前，它们通常有点无用。 请不要太早追求华丽的可视化效果。 这种可视化在你有大量用户并需要整体概览时很有用。B2C移动应用通常在早期阶段就有这个问题。但我合作的大多数SaaS公司（或仍处于测试阶段的公司）在达到产品市场契合之前都没有这个问题。 对20个客户进行20%的变化分析不会告诉你太多信息，除了标准差的基本知识。与客户保持个人关系会让你了解他们的故事。保持他们的近距离。 如果你把付费客户当作百分比和无意义的数字来对待，他们也会对你做同样的事。 几乎所有早期初创企业的一个“仪表板”其实已经拥有。让我们开始使用它。 只要你的客户列表可以放在一两页上，你应该有所有这些客户的列表。（我很确定你已经在后端有这个列表了） 向此表添加活动信息。显示他们活动水平的核心关键绩效指标（或至少他们的最后登录日期）。根据活动情况用颜色突出显示。并且让团队中的某个人负责确保每个人都保持绿色状态。 虚拟模型是虚拟的 真的吗？这与指标无关，还是？ “这是给人提供咨询服务时的建议吗？让他画复杂的图表或者带上干草叉。” 这个仪表板实现起来如此简单，我甚至害怕发布这篇文章。但它是 - 并且一直是 - 我对定制仪表板的最常见建议。 我不知道你怎么想。但我不一定需要数字。我需要可以采取行动的信息。我想要产品洞察力 - 使用我的数据库信息创建可行洞察力的简单方法。 大多数抽象如图表、留存队列、AARRR漏斗等在你有太多信息时很棒。在那之前它们只做一件事，创建一个抽象层。 对我个人而言，我发现即使在稍后阶段这也很有用：如果你只有0-100个新注册用户，不要隐藏它们。这是同一个游戏在更高层次上的表现。他们的第一个月是决定你是否会留住他们的一个月。让某人负责让他们保持绿色。 让一个人负责让所有客户保持绿色。这个人很可能就是你。 你作为产品经理/创始人的工作是与所有这些客户保持联系。一旦某人变成橙色，通过电子邮件或Skype联系他们。 找出发生了什么。现在他们仍在决策过程中。现在你仍然可以说服他们留下来。现在你甚至可能获得对产品更改的有用信息。 流失不是在用户取消订阅你的服务或停止支付时发生的。这只是你注意到它的时候。流失发生在用户停止使用你的产品时。你想在客户有风险时介入，当他可能停止使用你的产品时。 只要你有几十个付费客户，你可以亲自联系每一个人。没有借口。不要把他们当数字对待，如果你不想被同样对待的话。 客户幸福指数 如果客户的最后活动对你的产品没有多大意义（例如登录可能并不意味着他找到了/做了什么），你可能需要关注更深层的核心活动。 通常人们会创建一个客户幸福指数。将所有完成的活动组合成一个总数，并为每个活动赋予权重。 通过这样做，你可以说登录对你来说不如购买重要。你甚至可以将这些数字按组汇总，从而看到用户群中的某些段存在问题。 但说实话，虽然这很花哨，但我几乎从不需要这个。 直到我需要汇总这些数字。例如显示某个客户群的幸福指数。 但在那之前 - 根据我的个人经验 - 我通常只看到产品中的1-3个核心活动。（例如在一个项目工具中 - 项目总数、每周关闭的待办事项、每周活跃的团队成员）通常我倾向于简单地推荐将这些数字添加到表中就可以了。

这篇文章主要探讨了 SaaS 业务的关键绩效指标（KPIs），以及作者所在的投资公司 Craft 在进行 A 轮融资时所关注的基准。文章强调了以下几个核心 KPIs 的重要性： 成长：以收入增长作为理解SaaS业务的基础，特别是月度或年度经常性收入（MRR 或 ARR）。 留存：通过客户分群（队列）来跟踪保留率，分析不同时间段的客户留存情况。 销售效率/单位经济：通过比较新客户的价值与获取他们的成本，来评估销售效率和可持续性。 利润率：分析毛利润和客户终身价值（LTV）等指标，以评估公司的财务健康。 资本效率：通过燃烧倍数和炒作比率等指标，评估公司在增长过程中资本的利用效率。 参与度：用户参与度对于SaaS创业公司越来越重要，特别是在免费试用或免费增值用户转化为付费账户方面。 具体细节如下： ➡️ 成长 MRR或ARR：经常性收入是 SaaS 公司的主要标准，对于寻求 A 轮融资的初创公司，500k ARR 已成为新的门槛。 CMGR：复合月增长率（CMGR）是衡量 MRR 增长的最佳方式，对于寻求 A 或 B 轮融资的初创公司，至少需要 15% 的 CMGR（在$1M以下ARR）和10%以上（$1M以上ARR）。 MRR组成：详细分析 MRR 的各个组成部分，包括留存、扩张、新销售、复活、缩减和流失等。 ➡️ 留存 美元留存：通过比较各队列的原始收入与后续期间的收入，考虑扩张收入，最佳 SaaS 公司的年美元留存率超过120%。 Logo留存：跟踪活跃（非流失）客户的百分比，通常低于美元留存率，且与客户规模相关。 ➡️ 销售效率/单位经济 新销售 ARR 与销售和市场（S&M）费用：比较新客户带来的 ARR 与同期的 S&M 支出。 CAC：客户获取成本（CAC）是衡量销售效率的关键指标。 ACV与CAC：比较新客户的年度合同价值（ACV）与CAC，理想的ACV应大于CAC。 ➡️ 利润率 毛利润：SaaS 公司应保持至少 75% 的毛利润。 LTV：终身价值（LTV）综合了CAC、美元留存和毛利润，是评估公司整体健康状况的重要指标。 ➡️ 资本效率 燃烧倍数：衡量公司净消耗与净新增 ARR 的关系，是评估增长效率的关键指标。 炒作比率：通过比较筹集（或消耗）的资本与 ARR，来衡量资本效率。 ➡️ 参与度...

本文来自于 YC 创业视频课 How To Talk To Users。主要阐述了创业者为何以及如何与用户沟通，从而更好地理解用户需求并开发出符合市场的产品。Gustav（作者）强调了以下观点： 优秀的创业者会始终与用户保持沟通。 创业者应直接与用户交流，以获取第一手反馈。 用户是唯一支付给公司钱的利益相关者，他们的反馈至关重要。 ➡️ 用户沟通的重要性 用户和客户可以让公司保持诚实，他们是对产品最直接的评判者。 创业者应通过直接沟通了解用户的真实需求和问题。 ➡️ 如何找到用户并与之沟通 创业者可以通过联系认识的人、同事或前同事开始寻找用户。 使用 LinkedIn、Reddit、Slack 或 Discord 社区，甚至参加线下活动也是寻找早期用户的方法。 作者提供了一个模拟创业过程，展示如何通过联系潜在用户来了解他们的需求和动机。 ➡️ 采访用户的技巧 采访应在视频通话、电话或面对面进行，以便更深入地了解用户。 创业者应建立与采访对象的良好关系，以便获得坦诚的反馈。 采访中不要过早介绍自己的产品理念，以免影响回答的客观性。 提问应开放，鼓励用户详细描述他们的体验和需求。 ➡️ 问题的类型 创业者应询问用户目前如何处理特定问题、遇到的困难、为何重要等。 避免问是否会使用你的产品或关于产品特性的具体问题。 ➡️ 用户反馈的利用 创业者应将反馈组织起来，识别关键问题，并据此形成假设。 使用假设来创建最小可行产品（MVP），并通过与用户测试来验证其价值。 ➡️ 销售和用户参与 创业者应考虑解决问题的价值，并评估目标受众的易销售性。 MVP 原型可以展示给用户，通过观察他们的使用过程来获取反馈。 创业者应保持与用户的沟通，通过 Slack 或 WhatsApp 群组等方式，让用户感觉自己是产品开发的一部分。 How To Talk To Users 大家好，我叫 Gustav，我是 Y Combinator 的一名小组合伙人，自 2017 年以来一直在这里工作。在加入 YC 之前，我在 Airbnb 工作，在 2007 年成为了 YC 的创始人。今天，我将讨论如何与用户和未来客户沟通。以下是我今天计划讨论的内容： 为什么最优秀的创始人在公司整个生命周期内都与用户交流 如何找到你的用户并与他们沟通 应该问用户哪些问题以及不应该问哪些问题 如何将你的结论转化为 MVP（最小可行产品）。 为什么最优秀的创始人在公司整个生命周期内都与用户交流 世界上大多数人对新创业公司的形成方式存在很大的误解，他们认为新产品的创意是在一个闲散的周日或深夜编程时偶然产生的。但事情并不是这样的。这是电影《社交网络》中的一个场景，这是一部很棒的电影，但他们对 Facebook 实际上是如何起步的描绘存在很多错误。这是 Brian Chesky，Airbnb 的联合创始人兼 CEO，照片左边的是 Amal，Amal 是 Airbnb 的第一位客人，他们实际上在旧金山一起度过了一个周末。你注意到这张照片和前一张照片的区别了吗？这张照片是真实的，它包含了与真实客户的双向对话。优秀的创始人在他们甚至还没有产品之前就与未来的客户沟通。实际上，世界上最优秀的创始人在公司生命周期内始终从用户那里学习，但前提是你正确识别了你的用户。你可能会问为什么？用户和客户会让你保持真实，他们是唯一真正付费给你的人，如果有人会告诉你真相，那就是他们。所以，我今天的演讲是关于如何做到这一点的。...

英伟达发布了名为 Nemotron-4 340B 的开源模型家族，开发者可利用这些模型为大型语言模型（LLM）生成合成数据，应用于商业领域，如医疗、金融、制造、零售等行业。高质量的训练数据对LLM的性能至关重要，但获取这些数据通常成本高昂且难度较大。Nemotron-4 340B提供了免费且可扩展的方法来生成合成数据，有助于构建强大的LLM。原文戳这里。 ➡️ Nemotron-4 340B 模型家族 包括基础模型、指导模型和奖励模型，形成生成合成数据的流水线，用于训练和精调LLM。 这些模型针对英伟达 NeMo 开源框架进行了优化，该框架支持端到端模型训练，包括数据整理、定制和评估。 同时也针对开源的英伟达 TensorRT-LLM 库进行了优化，以便进行高效推理。 ➡️ 生成合成数据的流程 在数据获取受限的情况下，LLM 可以帮助生成合成训练数据。 Nemotron-4 340B 指导模型生成模仿真实世界数据特性的多样化合成数据，提高数据质量，增强 LLM 在多个领域的性能和鲁棒性。 开发者可以使用 Nemotron-4 340B 奖励模型筛选高质量响应，该模型在 Hugging Face RewardBench 排行榜上排名第一。 ➡️ 模型优化与精调 使用 NeMo 框架和 TensorRT-LLM，开发者可以优化指导模型和奖励模型，生成合成数据并评分响应。 所有 Nemotron-4 340B 模型都利用 TensorRT-LLM 进行优化，以实现张量并行，提高大规模推理的效率。 Nemotron-4 340B 基础模型经过 9 万亿个令牌的训练，可通过 NeMo 框架定制，以适应特定用例或领域。 ➡️ 安全性与评估 Nemotron-4 340B 指导模型经过了广泛的安全性评估，包括对抗性测试，并在多个风险指标上表现良好。 用户仍需对模型的输出进行仔细评估，以确保生成的合成数据适合其用例，安全且准确。 NVIDIA 发布用于训练大语言模型的开放合成数据生成管道 NVIDIA 今天宣布 Nemotron-4 340B，这是一个开放模型系列，开发者可以用来生成用于商业应用的大语言模型 (LLM) 的合成数据，涵盖医疗、金融、制造、零售等各个行业。 高质量的训练数据对于定制 LLM 的性能、准确性和响应质量至关重要，但强大的数据集往往非常昂贵且难以获得。 Nemotron-4 340B 通过一个独特的开放模型许可，为开发者提供了一种免费的、可扩展的方式来生成合成数据，从而帮助构建强大的 LLM。...