MSR

这篇文章翻译了微软研究院基于已发表的Sora技术报告和逆向工程发表的一篇论文Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models，本文首次全面回顾了 Sora 的背景、相关技术、新兴应用、当前的局限性和未来的机遇。 摘要 Sora 是一款由 OpenAI 在 2024 年 2 月推出的文本转视频生成式 AI 模型。这款模型能够把文字指令转化为现实或虚构场景的视频，展现了在模拟现实世界方面的巨大潜力。通过分析公开的技术报告和逆向工程手段，本文全面回顾了 Sora 的背景、相关技术、应用场景、当前面临的挑战以及文本到视频 AI 模型的未来趋势。文章首先回顾了 Sora 的开发历程，探讨了构建这一“世界模拟器”的关键技术。接着，我们详尽介绍了 Sora 在电影制作、教育、市场营销等多个领域的应用及其潜在的行业影响。文中还讨论了为了让 Sora 得到广泛应用需要克服的主要挑战，比如确保视频生成的安全性和公正性。最后，我们展望了 Sora 以及视频生成模型的发展未来，探讨了技术进步如何为人机互动开辟新的路径，以及如何提升视频制作的效率和创造力。 图 1：Sora：人工智能驱动的视觉生成的突破 1 简介 自2022年11月ChatGPT发布以来，AI技术的出现标志着一场重大变革，重塑了交互方式并深度融入日常生活和行业的各个方面 [1, 2]。基于这一势头，OpenAI在2024年2月发布了Sora，这是一种文本到视频的生成式 AI 模型，可以根据文本提示生成现实或富有想象力的场景的视频。与以前的视频生成模型相比，Sora 的特点是能够生成长达 1 分钟的高质量视频，同时保持对用户文本指令的遵守 [3]。Sora 的这种进步体现了长期以来 AI 研究的使命，即让 AI 系统（或 AI Agents）具备理解和与物理世界动态交互的能力。这包括开发不仅能够理解复杂的指令，还能将这种理解运用于通过动态且富含场景信息的模拟，来解决现实世界的问题的 AI 模型。 图 2：Sora 文本到视频生成的示例。 向 OpenAI 的 Sora 模型提供了文本指令，模型根据这些指令生成了三个视频。 如图 2 所示，Sora 能够出色地理解并执行复杂的指令，展现出令人印象深刻的能力。该模型可以生成包含多个角色执行特定动作、拥有复杂背景的详细场景。研究人员将 Sora 的熟练技能归因于其不仅能够处理用户给出的文本提示，还能辨别场景中元素之间复杂的相互作用。...