Posts

本文探讨了 AI 工程师这一新兴职业的崛起，并分析了其在未来技术发展中的重要性。作者认为，随着基础模型的出现和应用，AI 工程师将成为未来十年最热门的工程职位。 AI 工程师的定义： AI 工程师是将 AI 技术应用于实际产品开发的工程师，他们擅长使用基础模型 API，并能够根据产品需求进行微调和部署。 AI 工程师的技能： AI 工程师需要具备软件工程、基础模型 API 使用、数据处理和评估等方面的技能，但并不需要深入研究机器学习理论。 AI 工程师的需求： 由于基础模型的快速发展和应用场景的不断扩展，AI 工程师的需求将大幅增加，预计未来五年内 AI 工程师的数量将超过机器学习工程师。 AI 工程师的价值： AI 工程师能够利用基础模型快速开发和验证产品，并推动 AI 技术的应用落地，为企业带来巨大的商业价值。 AI 工程师的未来： 作者预测，AI 工程师将成为一个独立的职业领域，并催生新的工具和技术，例如代码生成工具和 AI 代理。 人工智能工程师的崛起 感谢大家在 HN 和 Twitter 上的评论和问题！我们临时组织了一个 Twitter Space 讨论这个话题，有超过 1000 名人工智能工程师 参与。《人工智能工程师的崛起》还在其他 播客中被提及。 我们正在见证应用人工智能的世代转变，这得益于基础模型的能力提升以及开源和 API 的普及。 许多曾经在 2013 年需要 5 年 和一个研究团队才能完成的 AI 任务，现在只需要在 2023 年查阅 API 文档并花一个下午的时间就能实现。 重要：API 线是 开放的 - AI 工程师可以在左边进行模型的微调和托管，研究工程师也可以在右边基于 API 进行构建！该图表也因评估和数据的位置安排而受到 批评；我们确实 同意评估是工作的重要部分！MLR/MLEs 处理基础模型的问题 - 也就是 预训练规模数据和 通用基准评估；但 AI 工程师应该将 产品特定的数据和评估 视为他们的工作。 “从数量上看，人工智能工程师可能会比机器学习工程师/大语言模型工程师多得多。即使从未训练过任何模型，也可以在这个角色中取得成功。” - Andrej Karpathy...

本文主要讲述了前总统唐纳德·特朗普在 2024 年大选前夕接受彭博商业周刊的采访，他详细阐述了如果再次当选总统，将如何治理美国经济和外交政策。 经济政策： 特朗普表示，如果再次当选，他将允许美联储主席杰罗姆·鲍威尔任期结束，并将公司税率降至 15%。他还表示，他将考虑任命摩根大通董事长兼首席执行官杰米·戴蒙为财政部长。 贸易政策： 特朗普表示，他将继续对中国和欧盟征收高额关税，并认为关税是“谈判的利器”。他还表示，他将要求台湾为美国提供的保护支付费用。 外交政策： 特朗普表示，他将继续与沙特阿拉伯保持密切关系，并批评拜登政府疏远了沙特。他还表示，他将继续与俄罗斯总统弗拉基米尔·普京保持联系，但不会支持对俄罗斯实施制裁。 科技政策： 特朗普表示，他将继续打击大型科技公司，并认为这些公司对儿童有害。他还表示，他将支持加密货币行业，并认为美国应该成为加密货币的中心。 选举策略： 特朗普认为，他的经济政策将帮助他在 11 月的选举中击败民主党候选人。他相信，他的税收减免、石油开采增加、监管减少、关税提高和减少外国金融承诺等政策将吸引足够的摇摆州选民支持他。 特朗普采访：他的税收、关税、Jerome Powell 等计划 彭博商业周刊在 Mar-a-Lago 对前总统进行了独家采访。 2024年7月16日 GMT+8 17:00 六月下旬，Donald Trump在 Mar-a-Lago 俱乐部的豪华隔离期中筹划他的下一个总统任期。尽管俱乐部的成员可能已经迁往更凉爽的地方，特朗普的心情依然很好。 民调显示，他与总统Joe Biden之间的竞选非常激烈，但他的筹款活动空前成功。显然，他的34项重罪并未影响竞选。两天后，在第一次总统辩论中，拜登会在辩论中受到打击。7月13日，特朗普在宾夕法尼亚集会中险些躲过刺客的子弹，更大的冲击将随之而来。 Mar-a-Lago 的客厅里，一个红色气球塔上点缀着金色气球，上面写着“47”，这是下一任总统的简写——这是一位当地崇拜者的礼物，上面附有一张赞美“美国有史以来最伟大的总司令”的卡片。在特朗普的要求下，一名工作人员拿来了他喜欢展示给客人的最新时尚物品：一顶印有“特朗普对所有事情都对”的红色MAGA风格帽子。 在 Mar-a-Lago 的大门外，世界其他地方并不那么确定。有人担心另一个特朗普总统任期可能预示着什么。从高盛到摩根士丹利再到巴克莱的华尔街公司已经开始警告客户，随着特朗普重返白宫并实施保护主义贸易政策的几率增加，要预期更高的通胀。苹果、英伟达和高通等美国经济巨头正在努力应对与中国进一步对抗可能对他们和所有人依赖的芯片的影响。欧洲和亚洲的民主国家担心特朗普的孤立主义倾向，他对西方联盟的不稳定承诺，以及他与中国国家主席习近平和俄罗斯总统普京的关系。虽然民调普遍显示美国选民更倾向于特朗普的经济管理而非拜登，但很多人仍不清楚如果再给特朗普一个机会，他们会得到什么。 他挥手驱散这些担忧。他说，“特朗普经济学”意味着“低利率和低税收”。这对完成事情和把生意带回我们的国家是“巨大的激励”。特朗普会钻探更多，监管更少。他会关闭南部边境。他会对敌人和盟友都施加压力以获得更好的贸易条件。他会释放加密货币行业并控制鲁莽的大科技公司。简而言之，他会让经济再次伟大。 那是宣传卖点，反正。真相是，没有人真正知道会发生什么。所以彭博商业周刊去了佛罗里达州的 Mar-a-Lago，向特朗普寻求答案。 在关于商业和全球经济的广泛采访中，他表示，如果他获胜，他将允许Jerome Powell完成其作为联邦储备委员会主席的任期，该任期将持续到2026年5月。特朗普希望将企业税率降至15%以下，他不再计划禁止 TikTok。他会考虑Jamie Dimon，现任摩根大通董事长兼首席执行官，担任财政部长。 特朗普对保护台湾免受中国侵略和惩罚普京入侵乌克兰的想法很冷淡。他说，“我不喜欢制裁。”他不停地提到William McKinley，他认为在十九世纪末总统任期内，通过关税筹集了足够的收入，以避免实施联邦所得税，但从未得到应有的赞誉。 特朗普（他有说谎的倾向）坚持说，如果被判联邦罪，他不会赦免自己：“我不会考虑。”他可能不需要——7月15日，一名特朗普任命的联邦法官驳回了他处理机密文件的指控。（特别检察官迅速宣布他将对该决定提出上诉。） 特朗普经济学的广泛概念可能与他第一任期时没有什么不同。新的是他打算实施它们的速度和效率。他相信自己现在更深刻地理解权力的杠杆，包括选择合适的人选的重要性。“我们有很棒的人，但我有些人是我不会再选择的，”他说。“现在，我认识每个人。现在，我真的很有经验。” 特朗普将他的经济信息视为在11月击败民主党的最佳途径，共和党人将他们总统竞选的开幕之夜献给了“财富”这一主题。他赌的是，他不寻常的减税、更多石油、减少监管、更高关税和更少外国财政承诺的议程将吸引足够多的摇摆州选民来为他赢得选举。这也是一种赌注，选民会忽略他在白宫第一个任期内的负面特征：人员斗争、180度的政策转变、早上6点的社交媒体声明。当然还有2021年1月6日企图暴动的问题。 民调已经显示出黑人和西班牙裔男性正向共和党靠拢，因为他们厌倦了历史上高企的食品、住房和汽油价格。多达20%的黑人男性现在支持特朗普，尽管一些专家认为这些数字被夸大了。不管怎样，拜登正在努力向关键选民推销他的经济记录，其中包括非常低的失业率和不断上涨的工资。他还面临着对其年龄的恐慌。特朗普可能在11月获胜，许多民主党领导人越来越担心他会将白宫和参众两院的控制权交给共和党。 如果那样，他将有前所未有的杠杆来塑造美国经济、全球商业和与盟友的贸易。他的第一个任期表明他更喜欢一对一地工作，这将使与他关系最好的 CEO 和世界领导人占据优势，而他的敌人可能会失败，甚至害怕他会做什么。如果商业周刊与特朗普的采访中有一件事特别突出，那就是他完全意识到这种权力——而且他有充分的意图使用它。 关于美国经济 特朗普身着深色西装和领带，在 Mar-a-Lago 镶花金饰的客厅的下午凉爽黑暗中主持会议，一如既往地热衷于扮演大方的主人。他主动为他的访客点了一轮可乐和健怡可乐，然后开始解释如果他在11月连任，他将如何执政。 商界领袖重视稳定和确定性。在特朗普的第一个总统任期内，他们并没有得到太多。这次，他的竞选活动更加专业，但他还没有提出一个详细的经济政策议程来让他们放心。这个真空导致那些为第二个特朗普任期做准备的人感到困惑。 特朗普的经济政策核心圈 在四月下旬，特朗普的一些非正式政策顾问向华尔街日报泄露了一份爆炸性草案，提出要严重削弱联邦储备的独立性。普遍认为特朗普支持这个想法，这并不是没有根据的，因为他之前对 Powell 的攻击。事实上，特朗普竞选团队坚称他既没有支持这个提议，也没有支持泄密，他的最高竞选领导层对此非常愤怒。但这一事件是特朗普尚未成型的政策的结果，这使得来自传统基金会等智库的专家们争相填补细节并争夺影响力。其他保守派政策企业家一直在推动提案，如贬值美元或实行统一税。 在 Mar-a-Lago，特朗普明确表示他对未经授权的自由行动感到厌倦。“有很多虚假信息，”他抱怨道。他急于澄清几个话题。 首先是 Powell。他在2月份告诉 Fox News，他不会重新任命这位联储主席；现在他明确表示他会让 Powell 完成他的任期，这将持续到特朗普的第二个任期的很大一部分。 “我会让他完成任期，”特朗普说，“特别是如果我认为他在做正确的事情。”...

许多创业者在将副项目转化为盈利业务时遭遇失败，了解这些失败的原因是成功的第一步。本文总结了五个常见的错误，并提供了避免这些错误的建议。关键在于拥抱失败、进行有效的创意构思、避免无尽的构建、及时获取反馈以及制定周密的发布计划。 不敢尝试：许多人因害怕失败而不敢行动，错失了宝贵的经验和成长机会。作者鼓励读者勇敢尝试，即使项目未能盈利，获得的技能和经验也极具价值。 失败的创意构思：快速的创意生成往往导致项目失败。有效的创意过程应包括市场验证和资源评估，确保项目能解决实际问题并具有可行性。 无尽的构建：过于追求完美会导致项目无限期拖延。作者建议使用熟悉的工具和技术，专注于项目的实际构建，而非学习新技术，以提高效率。 缺乏反馈：在开发过程中，忽视用户反馈会导致产品不符合市场需求。作者建议早期发布产品并主动获取用户反馈，以便及时调整和改进。 羞涩的发布：发布时缺乏计划和策略会影响项目的成功。了解目标受众并选择合适的平台进行推广是至关重要的。作者提供了一个四周的发布计划，以帮助创业者有效推广其项目。 总结而言，成功的副项目需要勇于尝试、有效的创意构思、及时的反馈和精心的发布策略。每一次失败都是向成功迈进的重要一步。 5个导致你的副业项目无法盈利的原因以及如何避免它们 引言 如果你像许多有志于创业的人一样（包括我在内），你可能也有过不少好主意，但却难以将它们转化为有利可图的副业项目。你并不孤单。许多副业项目都未能盈利，理解原因是成功的第一步。所以让我们深入探讨独立创业者在旅程中常见的陷阱，并学习如何避免它们。 在这段旅程的开始，记住失败并不是敌人。实际上，它是过程中的关键部分。是的，这就是严酷的真相：没有人能在第一次尝试中就成功。 接受失败并从中学习，这能帮助我们避免将来犯同样的错误。所以系好安全带，因为我们即将探讨副业项目失败的常见原因以及如何规避它们。 错误 1 - 不去尝试 这是成功的独立创业者@levelsio的一条推文，他每月赚取超过15万美元，是一个很好的参考例子。害怕失败常常使我们止步不前。不要让这种恐惧阻止你！尝试并失败总比从未尝试要好。 此外，记住不去尝试意味着你错失了宝贵的经验和成长的机会。即使你的项目未能盈利，你获得的技能和经验才是关键。无论是提高你的问题解决能力，了解新的市场，还是理解其动态，这些技能在你未来的项目和面试中都会非常有用。 所以，下次你有副业项目的想法时，勇敢去尝试吧！让你的好奇心和热情驱动你，不要让失败的恐惧阻碍你。失败并从错误中学习，一次又一次地，这是成长的最佳方式，就像@levelsio所展示的那样。 错误 2 - 创意失败 你有了这个想法。但是它是通过有效的头脑风暴和解决问题过程形成的吗？副业项目的一个常见陷阱是急于产生创意。彻底的头脑风暴过程对于确保你的想法的可行性至关重要。 尝试用自己的视角过滤掉那些你不太熟悉的想法。问题越是与你息息相关，解决方案就越明显和可行。 验证你的想法：光认为它好是不够的。你需要有至少一些保证证明它有市场。进行调查，问问你信任的人，并尽可能收集初步数据。 确保你的想法解决了一个问题：一个好的商业想法是填补市场空白或解决人们遇到的问题。 评估你的资源：你是否有将想法变为现实的技能、时间和资金？要诚实对待自己。记住你可以做一个MVP（最小可行产品），但是，如果MVP不能为用户带来真正的价值，那它就不够。 想要一个例子？看看这篇访谈，采访了amicus.work的创始人Erlis。它准确地展示了如何因为靠近问题使得解决方案直观。如果你发现自己陷入困境，可以快速阅读这篇文章，或者，如果你更喜欢深入研究，可以参考Make Book或The Lean Startup，它们提供了在创意阶段避免常见错误的宝贵见解。 错误 3 - 无休止的构建 现在你在思考技术选择，并且你实际上在考虑学习一种全新的编程语言来解决这个新问题。加油吧，你已经读过一篇关于学习的文章！没有什么能阻止你！ 但是，等等！想一想。现在你得同时对抗两个问题： 学习一门新语言， 并且解决你的问题。 将一个绝妙的想法转化为一个繁荣的业务已经够挑战了。而且你已经知道，许多副业项目在构建阶段失败，所以为什么要这样对自己呢？ 这里的秘密是什么？创新，但要谨慎！ 尝试那些能始终加快你进度的东西，而不是让你负担加重、减缓速度的东西。一个例子？已经熟悉React？试试Wasp，一个全栈框架，它帮你处理样板代码（如认证），并利用AI生成能力帮助你更快地创建产品。 在尝试创建和测试一个想法时，我们并不是在寻找学习新东西，而是更多地在于创造这个想法本身。 所以在选择工具时，选择那些基于你已经熟悉的技术，并且能帮助你快速前进的工具！ 另一个非常常见的错误是追求完美，这通常导致无休止的修改和延迟。记住，“完成比完美更重要。” 关键是要完成你的项目并将其推出市场。如果没有人看到你的项目，它就只是一个想法。 错误 4 - 从未到来的反馈 延迟并不是这个阶段唯一的绊脚石。有时候，我们太专注于创建完美的产品，忘记了要用实际用户进行验证。定期的反馈是至关重要的——它帮助你做出必要的更改，确保你的产品满足用户的需求。 没有反馈，你永远不会知道你是否命中目标，或者你是否在为一个没人遇到的问题创建解决方案。 那么，你如何确保你获得必要的反馈？首先，通过一小群用户测试你的产品。这可以是一群朋友、家人，甚至是一个专门的焦点小组。他们的反馈对于识别任何问题或改进点非常有价值。 我们很常见的另一个问题是害怕收到负面反馈，这常常导致我们在产品“完美”之前不愿将其推向市场。然而，这种做法可能是有害的。关键是尽早推出你的产品，即使它缺少你计划添加的一些酷炫功能。用户的早期反馈可能会引导你添加一些你之前没有想到的功能，而这些功能正是实际用户想要的。 记住，反馈是礼物。它让你能够改进产品，使其不仅能被人们使用，还能被人们喜爱。所以，不要回避它，接受它吧！ 错误 5 - 羞涩的发布 说到害羞：所以，你已经完成了项目，现在怎么办？是时候将它呈现给世界了。然而，记住，时机非常重要。如果你的发布计划羞涩且没有经过充分规划，你将无法获得所需的用户（和收入）。 这里的第一步是了解你的受众并选择适当的平台。Reddit非常适合开源或不以盈利为主要驱动力的项目，而Dev Hunt、Product Hunt和Hacker News (YC)则适用于更广泛的项目。选择正确的发布平台可能意味着成功与失败的区别。 此外，创建一个战略性的发布计划至关重要。仅仅发布你的项目并希望得到好的结果是不够的，虽然这也可能发生。你需要规划你的发布，考虑诸如合适的发布时间、平台的特性，并调整你的沟通方式以符合目标受众的需求。 一个精心策划的发布计划不仅可以帮助你接触到更广泛的受众，还能增加你的项目成功的机会。你可以使用Screen Studio和Canva等工具，帮助你创建精美的屏幕录制和宣传图片/横幅。 作为奖励，以下是一个示例发布计划，供你参考：...

本文探讨了大语言模型（LLM）应用的新兴架构，提供了一种参考架构，展示了 AI 初创公司和技术公司常用的系统、工具和设计模式。文章主要讨论了如何利用上下文学习模式，通过巧妙的提示和私有“上下文”数据来控制 LLM 的行为，而无需进行模型微调。 ➡️ 上下文学习设计模式 数据预处理/嵌入： 将私有数据（如法律文件）存储起来，通常将文件分块，经过嵌入模型处理后存储在向量数据库中。 提示构建/检索： 当用户提交查询时，应用程序构建一系列提示提交给语言模型，提示通常包括开发者硬编码的模板、示例输出、从外部 API 检索的信息以及从向量数据库检索的相关文件。 提示执行/推理： 提示被提交给预训练的 LLM 进行推理，可能会添加操作系统如日志记录、缓存和验证。 ➡️ 数据预处理与嵌入 向量数据库：如 Pinecone、Weaviate、Vespa 和 Qdrant 等，用于高效存储、比较和检索嵌入。 嵌入模型：如 OpenAI 的 text-embedding-ada-002 模型、Cohere 和 Hugging Face 的 Sentence Transformers。 ➡️ 提示构建与检索 提示策略：从简单的零样本提示和少样本提示到复杂的链式思维、自我一致性等高级策略。 编排框架：如 LangChain 和 LlamaIndex，用于抽象提示链、接口外部 API 和检索上下文数据。 ➡️ 推理与操作 主流语言模型：OpenAI 的 GPT-4 和 GPT-3.5-turbo，Anthropic 的 Claude 模型等。 开源模型：如 Meta 的 LLaMa 模型及其变体。 操作工具：如缓存（基于 Redis）、日志跟踪工具（Weights & Biases、MLflow、PromptLayer 和 Helicone）以及验证工具（Guardrails 和 Rebuff）。 ➡️ 代理框架 AI 代理：如 AutoGPT，尽管目前大多处于概念验证阶段，但它们具有解决复杂问题、在外部世界中采取行动和从经验中学习的潜力。 ➡️ 未来展望...

本文中 Andrej Karpathy 提出了一个革命性的观点：神经网络不仅仅是机器学习工具箱中的另一个工具，而是软件开发方式的根本性转变，即从传统的“Software 1.0”过渡到“Software 2.0”。Software 1.0 依赖于人类编写的明确指令，而 Software 2.0 则基于数据集和神经网络架构，通过训练来生成程序。Karpathy 认为这种转变不仅提高了软件性能，还改变了编程范式，使得数据集的管理和优化成为软件开发的核心。 ➡️ Software 1.0 vs. Software 2.0 Software 1.0: 由人类程序员使用编程语言（如 Python、C++）编写明确的指令，逐行代码确定程序行为。 Software 2.0: 使用神经网络的权重表示程序，由数据集和神经网络架构定义，训练过程将数据集“编译”成最终的神经网络。 ➡️ 转变实例 视觉识别: 从工程化特征和机器学习模型（如 SVM）转变为使用大规模数据集和卷积神经网络（CNN）。 语音识别和合成: 从预处理和传统模型（如高斯混合模型和隐马尔可夫模型）转变为完全依赖神经网络（如 WaveNet）。 机器翻译: 从基于短语的统计技术转变为神经网络模型，特别是在多语言和弱监督环境中。 游戏: 从手工编码的程序（如围棋程序）转变为神经网络模型（如 AlphaGo Zero）。 数据库: 使用神经网络替代传统数据管理系统组件，提高速度和节省内存。 ➡️ Software 2.0 的优势 计算同质性: 神经网络主要由矩阵乘法和 ReLU 组成，简化了实现和优化。 易于硬件实现: 简单的指令集使得神经网络更容易在定制 ASIC 和神经形态芯片上实现。 恒定运行时间和内存使用: 每次前向传递所需的 FLOPS 和内存使用量是恒定的。 高度可移植: 矩阵乘法序列比传统二进制文件或脚本更容易在不同计算配置上运行。 灵活性: 可以通过调整网络结构和重新训练来快速适应新的性能需求。 模块融合: 可以通过反向传播优化相互交互的模块，提升整体性能。 ➡️ Software 2.0 的局限性 可解释性差: 大型神经网络的工作原理难以理解。 潜在的失败模式: 可能出现非直观和尴尬的错误，或“静默失败”，如训练数据中的偏见。 对抗样本和攻击: 反映了这种技术堆栈的非直观特性。 ➡️ 编程范式的变化...

本文探讨了在生成式 AI (GenAI) 中引入知识图谱 (Knowledge Graph) 的重要性，提出了 GraphRAG 的概念。作者认为，仅依靠自回归大型语言模型 (LLM) 或基于向量的检索增强生成 (RAG) 技术并不能提供足够准确和上下文丰富的答案。通过结合知识图谱，GraphRAG 可以提供更高质量、更具解释性和可审计的答案，从而成为未来 RAG 架构的主流。 RAG 技术的局限性： 向量检索和微调技术虽能提高某些问题的正确答案概率，但无法提供确定性答案，且缺乏上下文和解释性。 知识图谱的引入： 知识图谱可以组织和连接数据，使得 AI 系统不仅处理字符串，还能理解和推理事物之间的关系。 GraphRAG 结合了向量索引和知识图谱查询，提供更高质量的答案。 GraphRAG 的优势： 更高的准确性和完整性：例如，Data.world 的研究表明，GraphRAG 在回答业务问题时的准确性提高了三倍。 开发和维护更容易：知识图谱的可视化和可解释性使得开发和调试过程更加直观。 更好的可解释性和审计能力：知识图谱使得 AI 系统的决策过程更透明，便于审计和追踪。 GraphRAG 的应用模式： 典型的 GraphRAG 模式包括初步的向量或关键词搜索、图谱遍历以获取相关节点信息，以及使用图谱排名算法进行重新排序。 知识图谱的创建和使用： 创建知识图谱类似于将文档分块并加载到向量数据库中。随着工具的进步，创建知识图谱变得越来越简单。 一旦数据进入知识图谱，就可以不断扩展和改进数据质量，从而提升应用结果的价值。 治理和安全性： 知识图谱增强了 AI 系统的安全性和隐私保护，可以根据用户角色限制数据访问权限。 实际应用案例： 例如，LinkedIn 使用 GraphRAG 改进了客户服务应用，减少了客户服务团队的平均每次问题解决时间。 Writer 的 RAG 基准测试报告显示，GraphRAG 的得分显著高于竞争对手。 工具和资源： Neo4j 提供了一系列工具，如 LLM Knowledge Graph Builder，帮助用户创建和使用知识图谱。 总结而言，GraphRAG 通过结合知识图谱和向量检索，提供了更高质量、更具解释性和更易开发的 AI 解决方案，代表了 RAG 技术的未来发展方向。 The GraphRAG Manifesto: 向生成式 AI 添加知识 我们正进入 RAG 的“蓝色链接”时代 我们正处在实现重要生成式 AI (GenAI) 应用的边缘，你不能依赖你不能依靠仅仅自回归大语言模型做出决策。我知道你在想什么：“RAG 是答案。”或者是微调，或者是 GPT-5。...

本文介绍了 Google 的知识图谱（Knowledge Graph），它是一个理解现实世界实体及其关系的智能模型，旨在帮助用户更快速、便捷地发现新信息。知识图谱通过理解实体之间的关系，而不是仅仅匹配关键词，为搜索结果提供更准确、更相关的答案。 知识图谱包含超过 5 亿个对象和超过 35 亿个关于这些对象之间的关系的事实。 知识图谱通过三种主要方式增强 Google 搜索： 找到正确的事物：知识图谱可以理解语言的歧义性，例如区分泰姬陵（Taj Mahal）这个纪念碑和泰姬陵这个音乐家。 获取最佳摘要：知识图谱可以更好地理解用户的查询，从而提供相关内容的摘要，包括用户可能需要的关键事实。 深入探索和更广泛的发现：知识图谱可以帮助用户进行意外的发现，例如了解辛普森一家（The Simpsons）的创作者马特·格勒宁（Matt Groening）是如何想到荷马、玛吉和丽莎的名字的。 Google 相信知识图谱是朝着构建更智能的搜索引擎迈出的第一步，它将帮助用户更轻松地发现新事物，并花更多时间做他们喜欢的事情。 引入知识图谱：事物，而非字符串 搜索主要是为了发现——满足人类学习和拓展视野的基本需求。但用户在搜索时仍然需要付出大量的努力。因此，今天我非常兴奋地推出知识图谱，它将帮助你快速且轻松地发现新信息。 举个例子，比如查询 [taj mahal]。四十多年来，搜索基本上就是将关键词匹配到查询上。对搜索引擎来说，[taj mahal] 这两个词仅仅是两个词。 但我们都知道 [taj mahal] 有着更丰富的含义。你可能会想到世界上最美丽的纪念碑之一，或是一位格莱美奖得主音乐家，甚至是新泽西州大西洋城的一家赌场。或者，取决于你上次吃饭的时间，可能是最近的印度餐馆。这就是为什么我们一直在研究一个智能模型——用专业术语来说，就是一个“图谱”——它理解现实世界的实体及其相互关系：事物，而非字符串。 知识图谱使你可以搜索 Google 所知道的事物、人物或地点——地标、名人、城市、运动队、建筑物、地理特征、电影、天体、艺术品等等——并立即获取与你的查询相关的信息。这是构建下一代搜索的关键第一步，它利用了网络的集体智慧，并以更接近人类的方式理解世界。 Google 的知识图谱不仅根植于 Freebase、Wikipedia 和 CIA World Factbook 等公共资源。它还在更大规模上得到增强——因为我们专注于全面的广度和深度。目前它包含超过 5 亿个实体，以及超过 35 亿个关于这些不同实体的事实和关系。并且它基于人们搜索的内容以及我们在网上发现的内容进行调优。 知识图谱在以下三个主要方面增强了 Google 搜索： 1. 找到正确的内容 语言可能会引起歧义——你指的是泰姬陵纪念碑，还是音乐家泰姬陵？现在 Google 能理解这种差异，可以将搜索结果缩小到你想要的那个——只需点击其中一个链接即可查看特定的结果： 这是知识图谱使 Google 搜索更智能的方式之一——你的结果更加相关，因为我们理解这些实体及其含义的细微差别，就像你一样。 2. 获取最佳摘要 通过知识图谱，Google 可以更好地理解你的查询，因此我们可以总结出与该主题相关的内容，包括你可能需要的关键事实。例如，如果你在寻找玛丽·居里，你会看到她的出生和死亡日期，但你也会得到有关她的教育和科学发现的详细信息： 我们如何知道每个项目最可能需要哪些事实？为此，我们回到用户，整体研究他们向 Google 询问的每个项目。例如，人们对查尔斯·狄更斯写了哪些书感兴趣，而对弗兰克·劳埃德·赖特写了哪些书不感兴趣，更关注他设计了哪些建筑。 知识图谱还帮助我们理解事物之间的关系。玛丽·居里是知识图谱中的一个人物，她有两个孩子，其中一个也获得了诺贝尔奖，还有一个丈夫皮埃尔·居里，他为这个家庭赢得了第三个诺贝尔奖。所有这些都在我们的图谱中链接在一起。它不仅是一个对象目录，还建模了所有这些相互关系。不同实体之间的智能是关键。 3. 更深入和更广泛 最后，也是最有趣的部分——知识图谱可以帮助你进行一些意外的发现。你可能会学到一个新的事实或新的联系，从而引发一整条新的查询路线。你知道《辛普森一家》的创作者 Matt Groening 是从哪里得到霍默、玛吉和丽莎的名字灵感的吗？这是一个有点令人惊讶的地方：...

Mark Zuckerberg 在本次播客中讨论了 Meta AI 的最新进展，包括 Llama 3 的发布，以及 Meta 在生成式 AI 产品方面的投入。他强调了开源对 AI 发展的意义，并表达了对 AI 未来发展的乐观态度。Zuckerberg 还谈到了他对元宇宙的愿景，以及他认为 AI 和元宇宙将如何改变人类社会。 Meta 发布了 Llama 3，一个开源的 AI 模型，并将其整合到 Meta AI 中，使其成为最智能的免费 AI 助手。 Llama 3 在编码、推理等方面取得了显著进步，其 80 亿参数版本与 Llama 2 的最大版本性能相当。 Meta 在 AI 方面的投入巨大，已投资数十亿美元用于训练模型和构建基础设施。 Zuckerberg 认为 AI 将像计算机的出现一样，彻底改变人类社会，并带来新的应用和体验。 Zuckerberg 对 AI 的开源持积极态度，但认为在某些情况下，例如当模型能力发生质变时，可能需要限制开源。 Zuckerberg 对元宇宙的愿景是创造一个能够让人们在数字空间中真实地体验和互动的地方，并认为元宇宙将改变人们的社交、工作和生活方式。 Zuckerberg 认为，AI 和元宇宙的成功需要强大的技术基础和持续的创新，并强调了专注和资源分配的重要性。 Zuckerberg 认为，开源 AI 可以帮助防止 AI 技术被少数公司或机构垄断，并促进 AI 技术的快速发展和普及。 Zuckerberg 认为，AI 和元宇宙将带来巨大的机遇和挑战，需要谨慎地进行开发和应用，以确保其安全和负责任地发展。 原文 Llama 3 Dwarkesh Patel 00:00:00...

本文介绍了 Shortwave 团队开发的“生成式 AI 产品”——一个集成在电子邮件应用程序中的 AI 助手。该助手旨在利用大型语言模型 (LLM) 的推理能力，将用户的电子邮件历史转化为可操作的知识库，并提供类似于“执行助理”的体验。 ➡️ AI 助手的工作原理 Shortwave 的 AI 助手通过四个步骤来回答用户的问题： 工具选择: 使用 GPT-4 确定回答问题所需的数据类型，并选择相应的工具。 工具数据检索: 并行检索每个工具相关的数据，例如电子邮件历史、日历、草稿等。 问题解答: 将用户问题和所有工具检索到的数据整合到一个提示中，并使用 GPT-4 生成答案。 后处理: 将 LLM 的输出转换为富文本，添加来源引用，并向用户提供操作建议。 ➡️ AI 搜索 AI 搜索是 Shortwave AI 助手最重要的工具之一，它允许助手访问用户的整个电子邮件历史。AI 搜索通过以下步骤工作： 查询重构: 使用 LLM 将缺乏上下文信息的查询重写为独立的句子，例如将“Jonny 怎么样？”重写为“Jonny 什么时候到达凤凰城？”。 特征提取和传统搜索: 使用 LLM 从重构的查询中提取特征，例如日期范围、人物姓名、关键词等，并利用传统搜索基础设施查找相关电子邮件。 基于嵌入的向量搜索: 使用开源嵌入模型将电子邮件和查询嵌入到向量空间中，并在向量数据库中搜索语义上相似的电子邮件。 快速启发式重新排序: 使用启发式算法对检索到的电子邮件进行重新排序，以优先考虑与查询最相关的电子邮件。 交叉编码器重新排序: 使用交叉编码模型对重新排序后的电子邮件片段进行进一步排序，以提高结果的准确性和相关性。 ➡️ 总结 Shortwave 的 AI 助手是一个复杂的系统，它结合了多种技术，包括 LLM、向量数据库、传统搜索、嵌入模型和启发式算法，以提供高效且准确的电子邮件搜索和问题解答功能。该系统仍在不断迭代，预计未来将变得更加智能、快速和强大。 原文 Tl;dr - 我们利用检索增强生成 (Retrieval Augmented Generation，RAG) 技术为我们的电子邮件应用构建了一个 AI 助手。为了构建和发布这个超越基础功能的实际解决方案，我们在技术堆栈的每个层面都投入了大量的基础设施工作。以下是我们学到的内容以及我们的系统在深层技术层面的工作方式。...

我们在《我们从一年与大语言模型 (LLMs) 的构建中学到了什么 (第一部分)：战术篇》中分享了操作 LLM 应用程序时精炼的战术见解。战术是具体的行动，用于实现特定目标。在《我们从一年与大语言模型 (LLMs) 的构建中学到了什么 (第二部分)：运营篇》中，我们还探讨了支持战术工作的高级过程。 那么，这些目标从何而来？这就是战略的领域。战略回答了战术和运营背后的“是什么”和“为什么”问题。 我们提出了一些主张，如“在找到产品市场契合 (PMF) 之前不要使用 GPU”和“专注于系统而非模型”，以帮助团队更好地分配有限资源。我们还建议了一条迭代至优秀产品的路线图。最后一部分内容将回答以下问题： 构建 vs. 购买：何时应该训练自己的模型，何时应该利用现有 API？答案是“视情况而定”。我们会分享这些情况的具体影响因素。 迭代至优秀：如何打造持久的竞争优势，而不仅仅是使用最新的模型？我们将讨论构建强大系统和提供令人难忘体验的重要性。 以人为本的 AI：如何将 LLMs 有效地融入人类工作流，最大化生产力和幸福感？我们强调了构建支持和增强人类能力的 AI 工具的重要性，而不是完全取代人类。 入门指南：团队在开始构建 LLM 产品时的关键步骤是什么？我们会概述一个从提示工程、评估到数据收集的基本操作手册。 低成本认知的未来：快速降低的成本和不断增加的 LLM 能力将如何塑造 AI 应用的未来？我们将探讨历史趋势，并展示如何估算某些应用的经济可行性。 从演示到产品：从一个引人注目的演示到一个可靠的、可扩展的产品需要什么？我们强调了从原型到生产的严格工程、测试和改进的必要性。 要回答这些难题，让我们一步一步来思考…… 战略：在构建 LLM 产品时不被超越 成功的产品需要深思熟虑的规划和艰难的优先级排序，而不是无休止的原型制作或追随最新的模型发布。在最后一部分中，我们将展望未来，思考构建优秀 AI 产品的战略考量。我们还将探讨团队将面临的关键决策，例如何时构建和何时购买，并建议一个早期 LLM 应用开发的“操作手册”。 在找到产品市场契合 (PMF) 之前不要使用 GPU 要打造优秀的产品，你的产品需要不仅仅是依赖他人 API 的简单包装。但过于依赖自己训练模型的错误也可能更加昂贵。过去一年中，我们看到大量风险投资，包括令人震惊的 60 亿美元 A 轮融资，都用在了训练和定制模型上，却没有明确的产品愿景或目标市场。在本节中，我们将解释为什么立即跳到训练自己的模型是个错误，并探讨自托管的角色。 从头训练几乎永远没有意义 对于大多数组织来说，从头预训练一个大语言模型 (LLM) 是一个不可行的分散注意力的行为。 尽管这很诱人，而且看起来似乎每个人都在这么做，但开发和维护机器学习基础设施需要大量资源。这包括收集数据、训练和评估模型以及部署它们。如果你还在验证产品市场契合 (PMF)，这些努力将分散你开发核心产品的资源。即使你拥有计算能力、数据和技术能力，预训练的 LLM 可能会在几个月内过时。 例如，BloombergGPT 是一个专门为金融任务训练的 LLM。该模型在 3630 亿个 Token 上进行了预训练，花费了 9 名全职员工（4 名来自 AI 工程团队，5 名来自 ML 产品和研究团队）的大量努力。尽管如此，它在一年内在这些金融任务上被 gpt-3....