LiknedIn 团队思考如何构建生成式 AI 产品
LinkedIn团队在过去六个月里致力于开发一款新的 AI 驱动的体验,旨在重新构想成员们如何进行求职和专业内容浏览。通过将每个动态和职位发布转变为获取信息、连接点、获取建议等活动的跳板,团队利用生成式AI的力量,为用户提供更丰富的互动体验。 ➡️ 系统工作流程 选择正确的 AI 代理:系统根据用户的问题,决定最适合处理该问题的 AI 代理。 收集信息:AI 代理调用内部 API 和必应搜索,寻找与用户问题相关的具体案例和案例研究。 构建回应:AI 代理将收集到的信息过滤和综合,生成清晰、信息丰富的回答,并通过内部 API 装饰回应,如添加文章链接或提及的人物简介。 ➡️ 设计与实现 整体设计:遵循检索增强生成(RAG)的设计模式,构建了包括路由、检索和生成在内的三步流程。 开发速度:通过将任务分解为独立的 AI 代理,并采用中心化的评估流程、共享提示模板等方法,实现了快速开发。 ➡️ 挑战与解决方案 评估:开发指南、扩展注释和自动评估方面遇到挑战,通过建立内部语言学团队的工具和流程,每天评估多达 500 个对话。 调用内部 API:通过“技能”包装内部 API,使 LLM 能够执行各种与产品相关的事情,如查看个人资料、搜索文章/人员/工作/公司等。 一致的质量:团队在第一个月内实现了 80% 的基本体验目标,随后花了四个月的时间努力达到 95% 的完整体验目标。 容量与延迟:团队关注质量与延迟、吞吐量与延迟、成本和端到端流式传输等方面的平衡。 通过这些努力,LinkedIn团队成功构建了一个能够提供丰富互动体验的生成式AI产品,并计划在不久的将来向更多用户推出。原文戳这里。 思考如何构建生成式 AI 产品 在过去的六个月里,我们 LinkedIn 团队一直在努力开发一个新的 AI 驱动体验。我们的目标是重新定义会员如何进行求职和浏览专业内容。 生成式 AI 的爆炸性发展让我们重新审视现有可能性。我们尝试了很多想法,但大多数都没有成功,直到我们发现可以将每条信息流和职位发布转变为以下几种跳板: 更快获取信息,如获取文章要点或了解公司的最新动态。 连接点滴,如评估你是否适合某个职位。 接受建议,如改进个人资料或准备面试。 以及更多内容... 构建过程是否顺利?哪些方面进展顺利,哪些方面遇到挑战? 在生成式 AI 上构建并非一帆风顺,我们在很多方面遇到了困难。我们想揭开“工程”的帷幕,分享哪些部分比较顺利,哪些方面遇到了挑战,以及接下来我们将做什么。 概述让我们通过一个真实的场景来展示系统的工作原理。 想象你正在浏览 LinkedIn 的信息流,偶然看到一篇关于设计中可访问性的有趣文章。在文章旁边,你会看到一些入门问题,以便深入探讨该主题。你很好奇并点击了“有哪些例子表明可访问性在科技公司中带来了业务价值?” 以下是后台发生的事情: 选择合适的智能体:这是你旅程的开始。我们的系统接收到你的问题,并决定哪个 AI 智能体最适合处理它。在这种情况下,它识别出你对科技公司中可访问性的兴趣,并将你的查询路由到一个专门处理常识性问题的 AI 智能体。收集信息:现在是一些体力活的时间了。AI 智能体调用内部 API 和 Bing,搜索具体的例子和案例研究,突出设计中的可访问性如何为科技公司带来了业务价值。我们正在创建一个文档来支持我们的回答。撰写回答:在获取必要的信息后,智能体现在可以撰写回答。它过滤并综合数据,形成连贯且信息丰富的答案,为你提供清晰的例子,说明可访问性举措如何为科技公司带来业务价值。为了避免生成一大堆文字,并使体验更具互动性,内部 API 被调用以附加例如文章链接或文章中提到的人的个人资料等附件。你可能会跟进问“如何转行到这个领域?”,我们会重复这个过程,但现在会将你路由到一个专门处理职业和工作的 AI 智能体。只需几次点击,你就可以深入了解任何主题,获取可操作的见解,或找到你的下一个大机会。...