Apple 的设备端和服务器基础模型
在2024年全球开发者大会上,苹果公司推出了“Apple Intelligence”系统,这是一种深度集成于 iOS 18、iPadOS 18 和 macOS Sequoia 的个人智能系统。该系统由多个高效的生成式模型组成,旨在适应用户的日常任务,提供个性化的服务。苹果智能的基础模型经过精细调整,能够高效、准确且负责任地执行特定任务,并强调了苹果在人工智能开发中的责任感和隐私保护。 模型介绍: Apple Intelligence 包含一个约30亿参数的本地语言模型和一个更大的基于服务器的语言模型,后者在苹果自有的私有云计算环境中运行。 这些模型支持用户和开发者的多种需求,包括文本撰写、通知总结、图像生成等。 责任感与隐私保护: 苹果制定了一系列责任人工智能原则,强调用户赋权、用户代表性、设计谨慎和隐私保护。 在训练模型时,苹果不使用用户的私人数据,并应用过滤技术以去除个人可识别信息和低质量内容。 训练与优化: 基础模型使用苹果的 AXLearn 框架进行训练,采用数据并行、张量并行等技术提高效率。 在后期训练中,苹果开发了两种新算法以提升模型的指令跟随质量。 通过多种创新技术优化模型在设备和私有云上的速度和效率。 模型适应性: 模型通过适配器进行微调,以便根据用户的日常活动动态调整任务能力。 适配器可以在预训练模型的基础上进行加载和切换,支持特定任务的高效处理。 性能评估: 苹果的模型在多个任务上表现优异,用户反馈显示其生成的摘要质量高于竞争对手。 在对抗性测试中,苹果的模型在处理有害内容和敏感话题时表现出色,显示出较低的违规率。 未来展望: 苹果期待在未来分享更多关于其生成模型家族的信息,包括语言、扩散和编码模型,以进一步支持用户的日常活动。 介绍 Apple 的设备端和服务器基础模型 在 2024 年的 Worldwide Developers Conference 上,我们推出了 Apple Intelligence,这是一种深度集成于 iOS 18、iPadOS 18 和 macOS Sequoia 的个人智能系统。 Apple Intelligence 包含多个高度智能的生成模型,这些模型专为用户的日常任务而设计,并且能够根据用户当前的活动进行实时调整。Apple Intelligence 中的基础模型已经过优化,能够提升用户的体验,包括撰写和润色文本、优先处理和总结通知、为家庭和朋友的对话生成有趣的图像,并在应用内简化操作,方便用户使用各种应用。 在接下来的概述中,我们将详细介绍这两个模型:一个约 30 亿参数的设备端语言模型,以及一个更大的服务器端语言模型,该模型通过 Private Cloud Compute 在 Apple Silicon 服务器上运行。这两个基础模型是 Apple 创建的一个更大规模的生成模型家族的一部分,旨在支持用户和开发者;其中包括一个用于在 Xcode 中构建智能的编程模型,以及一个帮助用户在视觉上表达自己的扩散模型,例如在消息应用中。我们期待不久后分享更多关于这一系列模型的信息。 更新 - 2024 年 7 月 29 日:本文中的数据已更新,以反映今日发布的技术报告中使用的模型版本和评估。更多详情请参阅论文:Apple Intelligence Foundation Language Models。...