Posts

本文由 OpenAI 发布于2024 年 8 月 6 日 我们在 API 中引入了结构化输出功能——模型输出现在能够可靠地遵循开发者提供的 JSON Schema。 去年在 DevDay 开发者大会上，我们推出了 JSON 模式，帮助开发者构建更加可靠的应用程序。尽管 JSON 模式提高了生成有效 JSON 输出的可靠性，但并不能确保模型的响应会完全符合指定的 Schema。今天，我们引入了 API 的结构化输出功能，确保模型生成的输出能够严格匹配开发者提供的 JSON Schema。 生成结构化数据是 AI 在当今应用中的一个核心应用场景。开发者使用 OpenAI API 构建功能强大的助手，这些助手能够通过函数调用获取数据并回答问题，提取结构化数据用于数据录入，并创建允许大语言模型 (LLM) 执行操作的多步骤智能工作流。开发者通常会使用开源工具、提示工程和反复请求来确保模型输出与他们系统的格式互操作。结构化输出通过限制 OpenAI 模型的输出，使其严格遵循开发者提供的 Schema，并训练模型更好地理解复杂的 Schema，从而解决了这一问题。 在我们对复杂 JSON Schema 的评估中，启用了结构化输出的 gpt-4o-2024-08-06 模型获得了满分 100%。相比之下，gpt-4-0613 的得分不足 40%。 通过结构化输出， gpt-4o-2024-08-06 在我们的评估中实现了 100% 的可靠性，完美匹配输出模式。 如何使用结构化输出 我们在 API 中提供了两种形式的结构化输出： 函数调用：通过工具实现的结构化输出，可以在函数定义中设置 strict: true 来启用。此功能适用于所有支持工具的模型，包括 gpt-4-0613、gpt-3.5-turbo-0613 及之后的模型。启用后，模型的输出将严格匹配提供的工具定义。 Request POST /v1/chat/completions { "model": "gpt-4o-2024-08-06", "messages": [ { "role": "system", "content": "You are a helpful assistant....

最近计划抽时间写一个文档相关的翻译类项目，调研了几个主流的开源 PDF 转 Markdown 项目，从最终的效果来看，MinerU 的 Magic-PDF 当之无愧是当前最佳的选择，缺点就是速度慢。 项目：zerox 代码：https://github.com/getomni-ai/zerox 介绍：一种非常简单的PDF文档解析方法 逻辑：使用 PyMuPDF 将 pdf 文件中的每一页转换为图片，并将图片给 LLM ，让其转换为 markdown 格式 使用的prompt： Convert the following PDF page to markdown. Return only the markdown with no explanation text. Do not exclude any content from the page. 优劣势 优点：在纯文字、表格等场景下，效果还不错 缺点 ：在有配图的情况下，配图会被丢失掉，用<img>之类的占位表示图片 项目：gptpdf 代码：https://github.com/CosmosShadow/gptpdf 介绍：使用视觉大语言模型（如 GPT-4o）将 PDF 解析为 markdown。方法非常简单(只有293行代码)，但几乎可以完美地解析排版、数学公式、表格、图片、图表等。每页平均价格：0.013 美元 逻辑： 用PyMuPDF识别中其中的线条（page.get_drawings()）、图片（page.get_image_info()）、文本区域 用一些策略做一些合并，最终得到一个只有表格和图片的区域 将这些区域截图后存储在本地 在原图上用红色框和序号标注好，送给GPT识别，最终的结果是个markdown格式 使用的prompt 使用markdown语法，将图片中识别到的文字转换为markdown格式输出。你必须做到： 1. 输出和使用识别到的图片的相同的语言，例如，识别到英语的字段，输出的内容必须是英语。 2. 不要解释和输出无关的文字，直接输出图片中的内容。例如，严禁输出 “以下是我根据图片内容生成的markdown文本：”这样的例子，而是应该直接输出markdown。 3. 内容不要包含在```markdown ```中、段落公式使用 $$ $$ 的形式、行内公式使用 $ $ 的形式、忽略掉长直线、忽略掉页码。 4....

在 Character.AI，掌握提示工程的艺术和科学至关重要。随着每日生成数十亿个提示，采用一种强大且可扩展的提示设计方法显得尤为必要。本文作者提倡从传统的“提示工程”转向“提示设计”，通过开发 Prompt Poet 工具，使开发者和非技术用户能够更高效地设计和管理提示，提升用户与 AI 模型的交互质量。 提示设计的重要性：构建有效的提示需要考虑多种因素，包括对话模式、实验、角色、用户属性、记忆和整个对话历史等。随着 LLM（大语言模型）上下文窗口的扩大，提升提示设计的效率显得尤为重要。 Prompt Poet 工具：该工具结合了 Python 的 f-strings 和 YAML，使提示的设计和管理更加灵活和易于使用。Prompt Poet 允许用户在不编写代码的情况下高效创建和迭代提示模板，节省了大量的字符串操作时间。 模板处理过程：提示模板的处理分为两个主要阶段： 渲染：使用 Jinja2 处理输入数据，执行控制流逻辑并验证数据。 加载：输出为结构化的 YAML 文件，便于管理和使用。 示例模板：提供了基本的问答机器人模板，展示了如何使用 Jinja2 语法和 YAML 结构来创建灵活的提示。 上下文长度管理：通过设置截断优先级，Prompt Poet 可以有效管理对话历史，确保在上下文长度受限时保留重要信息。 设计选择：Prompt Poet 库提供了多种功能，包括提示属性的设置、令牌化和截断等，优化了响应的效率和延迟。 结论：Prompt Poet 代表了提示工程的重大进步，简化了复杂和个性化提示的创建过程，使开发者和用户能够更专注于提示设计，推动 AI 交互的高效和直观化。 Character.AI 的提示词设计 作者: James Groeneveld Github: https://github.com/character-ai/prompt-poet PyPi: https://pypi.org/project/prompt-poet/ 在 Character.AI，掌握 Prompt Engineering（提示工程）的艺术和科学至关重要。构建生产环境中的提示需要考虑大量数据和因素：当前对话模式、正在进行的实验、涉及的角色、聊天类型、各种用户属性、固定记忆、用户角色和整个对话历史等。我们每天生成数十亿个提示，需要充分利用不断扩展的大语言模型 (LLM) 上下文窗口，并且我们的使用场景非常多样化，因此需要一种强大且可扩展的提示设计方法。我们主张从传统的“提示工程”转向“提示设计”，从繁琐的字符串操作转变为设计精确、引人入胜的提示。这篇文章介绍了我们开发的 Prompt Poet，它是我们为此目的开发的工具。 简要概述 Python 的 f-strings（及其封装）现在是提示工程师的行业标准。使用 f-strings 可以简单到将用户查询直接插入到字符串中，但也可能变得非常复杂，涉及大量手动字符串操作来创建最终提示。这也使得提示的迭代对于非技术人员来说不太友好，因为需要编写代码。 我们认为可以有更好的方法。因此，我们开发了 Prompt Poet (Github / PyPi)，一个允许开发者和非技术用户高效设计和管理生产提示的工具。它节省了在字符串操作上的工程时间，让大家能更专注于为用户打造最佳提示。...

虽然 Q* 的提出已经过去大半年了，昨晚偶然看到 X博主 kimmonismus 这篇关于 Q* 的文章，翻译了一下重新回顾一下。Q* 是一种尚未公开的人工智能算法，可能代表了通向人工通用智能（AGI）的重要突破。该算法结合了 Q-learning 和 A* 搜索，旨在提高 AI 的推理能力和自学习能力。通过实现系统 2 思维，Q* 使 AI 能够进行复杂的多步骤推理，从而克服当前大型语言模型（LLMs）中的逻辑错误（即“幻觉”）。尽管关于 Q* 的具体细节尚不明确，但其潜在能力引发了广泛关注和讨论。 Q 的背景*： Q* 尚未正式发布，OpenAI 对其信息保持保密。最初的传闻出现在 2023 年 12 月，报道称 OpenAI 在其研究设施取得了科学突破，首次实现了模型的自我学习能力。 Q* 可能是通向 AGI 的关键，AGI 被定义为在大多数经济上有价值的任务中超越人类的自主系统。 技术细节： Q* 结合了 Q-learning 和 A* 搜索算法，前者使 AI 能够通过试错学习做出决策，后者用于寻找最优路径。 Q* 允许 AI 在没有外部干预的情况下自我学习，例如，通过解决数学问题来展示其推理能力。 系统 2 思维： 该算法强调复杂思维过程，要求 AI 逐步、迭代地解决问题，类似于人类的系统 2 思维（System 2 thinking）。 通过将思维过程分解为更小的步骤，Q* 可以减少错误并提高输出的准确性。 潜在应用： Q* 的成功可能会使 AI 在科学研究等领域具备更强的推理能力。 该算法的开发可能会导致新的 AI 系统，能够执行复杂的推理任务，进一步推动 AGI 的进程。 未来展望：...

在2024年全球开发者大会上，苹果公司推出了“Apple Intelligence”系统，这是一种深度集成于 iOS 18、iPadOS 18 和 macOS Sequoia 的个人智能系统。该系统由多个高效的生成式模型组成，旨在适应用户的日常任务，提供个性化的服务。苹果智能的基础模型经过精细调整，能够高效、准确且负责任地执行特定任务，并强调了苹果在人工智能开发中的责任感和隐私保护。 模型介绍： Apple Intelligence 包含一个约30亿参数的本地语言模型和一个更大的基于服务器的语言模型，后者在苹果自有的私有云计算环境中运行。 这些模型支持用户和开发者的多种需求，包括文本撰写、通知总结、图像生成等。 责任感与隐私保护： 苹果制定了一系列责任人工智能原则，强调用户赋权、用户代表性、设计谨慎和隐私保护。 在训练模型时，苹果不使用用户的私人数据，并应用过滤技术以去除个人可识别信息和低质量内容。 训练与优化： 基础模型使用苹果的 AXLearn 框架进行训练，采用数据并行、张量并行等技术提高效率。 在后期训练中，苹果开发了两种新算法以提升模型的指令跟随质量。 通过多种创新技术优化模型在设备和私有云上的速度和效率。 模型适应性： 模型通过适配器进行微调，以便根据用户的日常活动动态调整任务能力。 适配器可以在预训练模型的基础上进行加载和切换，支持特定任务的高效处理。 性能评估： 苹果的模型在多个任务上表现优异，用户反馈显示其生成的摘要质量高于竞争对手。 在对抗性测试中，苹果的模型在处理有害内容和敏感话题时表现出色，显示出较低的违规率。 未来展望： 苹果期待在未来分享更多关于其生成模型家族的信息，包括语言、扩散和编码模型，以进一步支持用户的日常活动。 介绍 Apple 的设备端和服务器基础模型 在 2024 年的 Worldwide Developers Conference 上，我们推出了 Apple Intelligence，这是一种深度集成于 iOS 18、iPadOS 18 和 macOS Sequoia 的个人智能系统。 Apple Intelligence 包含多个高度智能的生成模型，这些模型专为用户的日常任务而设计，并且能够根据用户当前的活动进行实时调整。Apple Intelligence 中的基础模型已经过优化，能够提升用户的体验，包括撰写和润色文本、优先处理和总结通知、为家庭和朋友的对话生成有趣的图像，并在应用内简化操作，方便用户使用各种应用。 在接下来的概述中，我们将详细介绍这两个模型：一个约 30 亿参数的设备端语言模型，以及一个更大的服务器端语言模型，该模型通过 Private Cloud Compute 在 Apple Silicon 服务器上运行。这两个基础模型是 Apple 创建的一个更大规模的生成模型家族的一部分，旨在支持用户和开发者；其中包括一个用于在 Xcode 中构建智能的编程模型，以及一个帮助用户在视觉上表达自己的扩散模型，例如在消息应用中。我们期待不久后分享更多关于这一系列模型的信息。 更新 - 2024 年 7 月 29 日：本文中的数据已更新，以反映今日发布的技术报告中使用的模型版本和评估。更多详情请参阅论文：Apple Intelligence Foundation Language Models。...

本文介绍了如何为 Duolingo 的角色创建定制的文本到语音（TTS）声音，以增强语言学习体验。通过赋予角色独特的声音，不仅增加了角色的个性，还帮助学习者接触到多样化的语音，提升了他们的听力技能和语言学习的趣味性。 角色的魅力 Duolingo 的角色通过插画和动画得到了广泛的关注，这激励团队进一步发展这些角色，使语言学习更加有趣和引人入胜。角色的熟悉感为故事叙述提供了便利，尤其是在初学者的学习中，角色的个性化帮助学习者更好地理解故事情节。 定制语音的开发 团队为每个角色开发了独特的 TTS 语音，经过多个月的审查和试音，确保每个角色的声音能够准确传达其个性。不同语言的角色声音在保留角色特质的同时，也考虑了文化适应性。例如，角色 Lin 在日语中显得懒散而直言不讳，而在英语中则显得总是带着笑意。 技术与教学的结合 使用机器学习技术，团队创建了先进的 TTS 语音，能够在课程中应用任何句子。录音过程中，团队设计了多种句型和语境，以确保声音的自然性和教学效果。特别是在不同语境下，语音的节奏和语调需进行精确调整，以便为学习者提供可靠的发音示范。 学习者的体验 当前，学习者在英语课程中可以听到所有角色的声音，而在学习多种语言时，也能体验到不同语言对角色的多样化演绎。这种多样性不仅增强了学习的趣味性，还帮助学习者在真实语言环境中更灵活地运用所学知识。 让我们的角色发声 我们的角色终于找到了他们的声音！在这篇博客中，我们将分享如何为所有角色创建自定义的文本到语音 (Text-to-Speech, TTS) 声音。 图1: 角色让学习更有趣 在美术团队完成角色的绘制和动画制作后，我们发现社交媒体上大家对这些角色反响热烈。这份热情促使我们更加用心打磨这些角色，给他们更多的细节和背景。 我们意识到，这是一个让语言学习更加有趣且充满吸引力的好机会。同时，我们希望借此加强学习者与 Duolingo 之间的联系。通过引人入胜的故事，我们希望学习者能不断回到平台上学习，并且深入了解这些角色。 现在，我们还为每个角色添加了专属的声音。这不仅让角色更具个性，也为学习者提供了更多样的听力体验，这对于语言学习非常有帮助。在现实生活中，大家会遇到各种不同年龄、性别和背景的人，因此，在课程中听到不同的声音类型，有助于提升应对实际语言情境的能力。 那么，我们的角色有哪些？ 为了完善这些角色，我们花了数月的时间设计他们的性格、背景故事以及相互关系。同时，我们也创作了一些以这些角色为主的故事，这有助于更好地展现他们的个性。 我们发现，角色的熟悉感有助于讲故事。在故事中，由于篇幅和语言水平的限制（特别是对于初学者），我们需要依赖这些角色鲜明的个性和他们之间的互动，来实现更强的故事叙述效果。比如，不需要每次都解释 Lily 的动机，她那种冷漠的态度已经让学习者对她的行为有了清晰的理解，即使是初级语言水平也能将故事讲得生动有趣。 图2: 寻找角色的声音 为了让角色更加生动，我们为每个角色制作了定制的 TTS 声音。这些声音不仅展现了角色的独特个性，还让语言学习过程更加生动有趣。 当然，为九个角色开发多语言版本的声音并不是一件容易的事。仅仅是为英文角色选角，我们就花了几个月的时间来筛选试音，并讨论哪个演员最符合角色特质。比如，这次 Eddy 的试音是否显得太过学究？Oscar 是否需要更低沉、更有共鸣的声音？以及 Lily 的冷淡风格能否不影响学习体验？ 在为英文版角色选角并录音后，我们以这些录音为基础，制作了西班牙语、法语、德语和日语版本。即便有英文录音作为参考，每种语言仍然面临着独特的创意和技术挑战。例如，讽刺在日语中的表达方式与英语不同，那 Lily 的语气是否也需要改变呢？我们与语言学专家、语音学家和创意顾问一起合作，确保每种语言版本都能合适地表现角色的性格。 有些语言版本中的角色声音几乎与英文版相同，而有些则在某些性格特点上有所加强。比如，Lin 在日语中表现得冷静而直接，但在英语中却总是充满趣味。 图3: 构建他们的声音 在为角色录音后，我们使用机器学习技术来构建最先进的 TTS 声音。这些声音能够用于课程中的任何句子，即使是那些尚未编写的句子！尽管已有许多技术可以用来构建和开发声音，但 Duolingo 的需求有所不同，我们需要它们来帮助学习语言。 我们精心设计了录音的内容，以涵盖课程中可能遇到的各种情境——不同的语音组合、各种句型以及情感表达。这些多样化的录音对于真实再现学习者在课程中遇到的语言场景是非常必要的。我们也尝试突破技术的限制，力求在语调、语速和停顿方面达到最佳效果，使声音尽可能接近真实。 我们的目标是平衡配音演员的表现力和教学的具体需求。配音演员需要通过想象各种场景来赋予台词情感——有时这种“声学味道”会对技术造成挑战，因为 TTS 系统通常是基于中性的语音数据进行训练的。 我们非常重视 TTS 声音在实际课程中的表现。对于学习者来说，TTS 声音需要是发音和语言使用的可靠模范。例如，在英语句子“我读这本书”中，根据上下文“读”的发音会有所不同：在现在时态的课程中，它的发音与在过去时态的课程中是不同的。同样，在处理不同句型的节奏和语调时，我们也遇到了一些挑战。例如，“你想去吗？”的语调与“你想去哪里？”的语调是不同的。我们的 TTS 声音只能和我们提供给系统的语音示例一样好，因此我们的语言专家和工程师合作，为系统提供提示或在必要时进行纠正。 接下来你能听到谁的声音？ 现在，学习我们英语课程的学习者可以在课程中听到所有角色的声音！如果你在 Duolingo 上学习多种语言，还能体验这些角色的多种演绎！

Duolingo 在为其世界角色动画赋予生命的过程中，采用了创新的技术手段，以确保角色能够生动地与学习者互动。通过使用 Rive 工具，Duolingo 实现了高效的口型动画制作，提升了用户学习体验，确保了动画的质量和可扩展性。 动画挑战：Duolingo 需要为其超过 40 种语言的 100 多个课程中的角色制作动画，但手动动画口型是不切实际的，因此寻求可扩展的解决方案。 Rive 工具的应用：Rive 是一种基于网络的实时互动动画工具，允许通过状态机（State Machine）编程控制动画状态的切换和混合，从而实现高效的动画制作。 语音技术的整合：为了准确制作口型动画，Duolingo 建立了丰富的语音技术生态系统，使用内部的语音识别和发音模型来获取每个单词和音素的时序信息。 嘴形设计：为确保角色的嘴形动画真实可信，Duolingo 设计了 20 多种嘴形，结合角色的个性和 Duolingo 的美学。 动画集成：完成动画后，通过 Rive 的状态机将动画与音频同步，确保角色能够实时响应用户的操作，例如在点击单词时角色能够发声并动画化。 未来展望：Duolingo 将继续探索新技术，以克服技术挑战，进一步提升学习体验，并在未来的项目中应用这些经验。 Duolingo 如何为角色添加动画 在为每个角色开发了独特的声音后，我们开始思考如何让它们更有活力——不仅仅是现有的闲置行为动画。我们希望确保我们的角色能成为学习者生动有趣的学习伙伴！ 首先：动画化这么多的口型动作是一项巨大的工程！ 我们教授超过40种语言，涵盖100多个课程，每个课程包含数千个句子和课时，所以要为我们十个世界角色的每个口型动作手动画是不可能的。我们需要一种可扩展的方法来处理每个角色的各种口型，同时保证文件大小足够小，以便在Android、iOS和Web平台上运行。此外，我们还希望确保动画质量不受影响！ 我们发现，游戏引擎的替代方案可能是答案——一种能帮助我们用有限的资源生成几乎无限组合的工具。这就是我们了解到Rive的原因！ 什么是 Rive？ Rive 是一种基于网络的工具，用于制作实时互动动画和设计，类似于游戏引擎。它解决了我们许多问题：文件大小小巧，与Duolingo的应用架构无缝结合，从动画师到工程师的交接过程也很顺利。 但最吸引我们的是Rive的状态机：这是一个可视化的逻辑系统，用于连接动画（即“状态”）。它让我们能够通过编程控制调用的动画状态、调用方式以及如何过渡和融合。状态机的强大系统让这个项目能够在大规模上实现。我们知道Rive是实现口型同步动画的理想工具！ Rive 内部展示！ 语音技术的魔力 为了制作口型动作，我们需要对语音内容有详细的了解。当我们为文本到语音生成声音时，我们使用的解决方案没有提供发音和时间信息，但我们有一个为语言学习设置的丰富语音技术生态系统。为了生成精准的动画，我们会生成语音，将其通过我们的内部语音识别和发音模型，获取每个单词和音素（语音单位）的时间信息。每个声音都会映射到一个视觉表示或唇形，这是我们基于语言学特征设计的一套系统。 有了这些功能，我们创建了一个系统来生成课程内容所需的所有唇形时间数据。当然，我们还需要确保这些数据的准确性，并将其传递给数百万用户。我们不仅开发了生成内容的工具和流程，还在必要时进行审核和修正。 设计口型世界 在开始动画制作前，我们需要确保准确地表示与特定声音对应的嘴形。 角色唇形图示例 我们需要设计每一个嘴形，保持Duolingo的美学风格。此外，每个角色还需要一套独特的唇形，符合其个性特征。设计过程中最关键的一步是确保唇形在动画中看起来真实可信。 有些角色需要更多的探索，但我们最终为每个角色设计了20多个嘴形！ 一旦设计指南确定，我们就可以开始动画制作。我们为每个角色在课程中的常规姿势创建了动画状态，也为角色的嘴部设计了单独的状态。所有动画状态设置完毕后，最后一步就是将这些动画导入Rive的状态机，并与之前标注的嘴部输入结合起来。 状态机如何控制角色动画的图示 状态机如何混合唇形动画的图示。这里显示了4个唇形，但即使有超过20个形状，逻辑也是相同的。这些状态需要与角色动画状态同步运行！ 状态机设置完成后，我们将其导出为一个运行时文件，然后交给工程师进行应用程序的集成！ 集成过程 当需要展示一个挑战时，我们会获取音频和时间信息，并利用这些时间信息同步触发动画状态机。这将数据传输量降到最低——远低于传输一个小视频——并让我们能够实时响应用户的操作。当你点击一个单词时，角色会说出并动画该单词；如果你在它说完之前完成练习，角色会及时停止说话。我们还可以展示闲置行为，如点头、眨眼和眉毛移动。最后，根据挑战的结果——你是答对还是答错——我们可以进入一个最终状态，展示角色的反应！ Duolingo 动画和技术的未来 Duolingo 一直在测试各种功能，这些嘴部运动也不例外。这个项目是一次有趣的实验，旨在使学习体验更加有趣，也是一次使用新软件和技术的机会。看到我们如何克服技术难题，并继续打造或改进其他有趣的功能，真是令人兴奋！ 请查看我们在2023年Duocon上的演讲，了解更多关于我们动画制作的方法！

Duolingo 最近推出了一种新角色——创意技术专家（creative technologists），旨在弥合设计与工程之间的沟通。这一角色专注于设计优先的方法，要求具备动画优化能力，并能有效与工程师沟通。通过使用 Rive 这一设计工具，创意技术专家能够直接创建应用程序中的互动动画，减少设计与工程之间的反复沟通，从而提升工作效率。 创意技术专家的角色： 该角色结合了设计和工程的技能，能够在设计和最终产品之间缩小差距。 他们的职责包括优化动画资产、编写文档并与工程师沟通设计细节。 Rive 的应用： Rive 是一个用于构建互动运动图形的工具，使得动画师和创意技术专家可以直接创建应用中的动画，而无需复杂的技术规格。 Duolingo 首次使用 Rive 进行奖励动画，并逐步扩展到角色的语音同步等领域。 团队协作与优化： 创意技术专家与动画师和工程师紧密合作，确保动画的设计与实现的有效对接。 他们帮助识别设计约束，优化项目的构建方式，从而减少未来的修改和更新成本。 招聘与技能要求： Duolingo 寻找具备工程和设计背景的人才，特别是有状态机、VFX 和 Unity 等相关经验的人。 理想的候选人应能通过技术测试，并有解决新工具或技术问题的能力。 职业发展与行业趋势： 创意技术专家的角色在行业中逐渐兴起，未来可能会有更多类似的职位出现，以满足设计与工程之间的需求。 Duolingo 计划在即将到来的 Duocon 会议上宣布更多基于 Rive 的项目，展示其在互动学习体验中的应用潜力。 Duolingo 创造了一个新的角色，连接设计师和开发人员 Duolingo 最近引入了一个介于设计和工程之间的新角色。这个角色专注于 设计优先的方式，他们正在寻找能够与动画师一起优化设计并将这些优化传达给工程师的人。他们称之为 Creative Technologist。 Creative Technologist 负责弥合设计师和开发人员之间的鸿沟，也就是我们常说的“交接”。他们既有技术背景又有设计眼光，是左右脑兼备的人才。他们受雇时会特别要求成为 Rive 的专家。 为什么选择 Rive？ Rive 是一个可以创建运行时交互动态图形的设计工具。Duolingo 的首位 Creative Technologist Jeff Masters 解释道：“以前，动画师会提供一个模型，并附上技术规范，说明如何用代码实现他们的想法。但现在，Rive 让我们的动画师和 Creative Technologist 可以直接创建应用程序中使用的实际素材，不再需要反复与工程师沟通外观问题。在 Rive 中，设计就是最终产品。” 动画副创意总监 Alex Chopjian 的设计和技术能力让他们的 CEO 希望有更多这样的动画师。他说：“在 Rive 中，设计与最终产品之间的差距非常小。你可以直接在浏览器中看到动画效果，而完全不需要接触代码。”...

LLM 知识图谱构建器是 Neo4j 提供的一款创新工具，旨在将非结构化数据转化为动态知识图谱，支持生成式 AI 应用。该工具集成了检索增强生成（RAG）聊天机器人，使用户能够通过自然语言查询数据并获得可解释的洞察。用户无需编写代码，即可通过简单的步骤实现数据的提取与可视化，极大地简化了知识图谱的构建过程。 工具介绍： LLM 知识图谱构建器可将 PDF、网页和 YouTube 视频等非结构化文本转化为知识图谱。 该应用基于 React 前端和 Python FastAPI 后端，使用 Neo4j 的图形能力进行图谱构建。 使用步骤： 数据摄取：支持多种数据源，如 PDF、维基百科页面和 YouTube 视频。 实体识别：利用 LLM 识别和提取文本中的实体及其关系。 图谱构建：将识别的实体和关系转化为图格式。 用户界面：提供直观的网页界面，方便用户上传数据源、可视化生成的图谱，并与 RAG 代理互动。 创建知识图谱： 用户可通过拖放文件或输入链接来上传数据，系统将自动识别和处理。 提供预定义的图谱模式选项，用户可根据需求选择或自定义模式。 探索与互动： 生成的知识图谱以节点和边的形式展现，便于高效存储和查询复杂数据网络。 用户可通过 RAG 代理询问与数据相关的问题，系统将根据存储的图谱信息提供回答。 LLM 知识图谱构建器：从零到 GraphRAG 只需五分钟 使用 LLM 知识图谱构建器，在你的生成式 AI (GenAI) 应用中提取和使用知识图谱。 LLM 知识图谱构建器 是 Neo4j 的 GraphRAG 生态系统工具之一，帮助你将非结构化数据转化为动态知识图谱。它集成了检索增强生成 (RAG) 聊天机器人，支持自然语言查询，并提供数据的可解释见解。 什么是 Neo4j LLM 知识图谱构建器？ Neo4j LLM 知识图谱构建器是一款创新的在线应用，无需编写代码和 Cypher 查询，即可将非结构化文本转化为知识图谱，提供神奇的文本到图谱体验。 它使用机器学习模型 (大语言模型：OpenAI、Gemini、Diffbot) 将 PDF、网页和 YouTube 视频转换为实体及其关系的知识图谱。...

本文主要介绍了Perplexity 的产品开发之路。Perplexity 是一家成立不到两年的公司，迅速崛起为一个受欢迎的搜索产品，用户数量已达数千万，并且年收入超过 2000 万美元。公司采用“AI 优先”的方法，通过利用人工智能来优化产品开发流程，减少协调成本，提升团队效率。Perplexity 的团队结构扁平，通常由小团队（两到三人）组成，强调自驱动和灵活性，预计未来技术型产品经理将成为公司最重要的人才。 公司背景：Perplexity 在短时间内取得了显著的成就，最近融资 6300 万美元，估值超过 10 亿美元。其投资者包括 Nvidia、Jeff Bezos 等知名人士。 AI 优先策略：公司在构建产品的每一步都依赖 AI，鼓励员工在询问同事之前先向 AI 提问，以提高工作效率。 团队结构：大多数项目由两到三人完成，只有两个全职产品经理，强调小团队的高效运作。 决策与管理：公司采取去中心化的决策方式，鼓励团队成员自主做出快速决策，减少管理层级，提升响应速度。 灵活的工作流程：Perplexity 的项目管理依赖于灵活的季度计划和稳定的周目标设定，团队成员在每周开始时设定优先级目标，并努力完成 75% 的目标。 工具与协作：使用 Notion 进行文档管理和项目规划，利用 Unwrap.ai 整理和量化用户反馈，促进团队协作和信息透明。 未来展望：预计随着 AI 技术的发展，技术型产品经理和具备产品品味的工程师将变得更加重要，团队将继续保持扁平化结构以应对快速变化的市场需求。 Perplexity 的产品开发之路 不到两年前成立的 Perplexity 已成为我日常使用的产品，甚至取代了许多 Google 搜索——我并不孤单。这家员工不足 50 人的公司，用户数量已达到数千万。他们还实现了超过 2000 万美元的年度经常性收入 (ARR)，在搜索引擎领域与 Google 和 OpenAI 一较高下。最近筹集的 6300 万美元 使公司的估值超过 10 亿美元，投资者包括 Nvidia、Jeff Bezos、Andrej Karpathy、Garry Tan、Dylan Field、Elad Gil、Nat Friedman、Daniel Gross 和 Naval Ravikant (可惜没有我 😭)。Nvidia 的 CEO Jensen Huang 说他“几乎每天”都在使用这款产品。...