3Blue1Brown

本文整理自 3Blue1Brown 最新发布由 Welch Labs 制作的科普视频《But how do AI images/videos actually work?》，本视频深入浅出地讲解了扩散模型（Diffusion Models）如何从一团随机噪声生成逼真视频，并探讨了它与物理学布朗运动的奇妙联系。从 CLIP 模型的图文理解，到 DDPM/DDIM 的降噪过程，再到分类器引导（Classifier-Free Guidance）的精准控制，带你一步步看懂 AI 创造力的来源。 AI视频生成大揭秘：从一团噪声到高清大片，背后竟是物理学？你有没有试过，在输入框里敲下一段天马行空的文字，比如“一个宇航员在月球上骑马”，然后敬畏地看着AI在几分钟内为你生成一段栩栩如生的视频？这感觉就像魔法。近几年来，AI从文本生成视频的能力已经达到了令人惊叹的水平。但这不是魔法，它的核心原理其实与一个我们既熟悉又陌生的领域——物理学，有着千丝万缕的联系。这一代图像和视频生成模型，其工作核心是一种叫做**扩散（Diffusion）**的过程。奇妙的是，这个过程在数学上，等价于我们观察到的粒子扩散的“布朗运动”，只不过是把时间倒过来放，并且是在一个超高维度的空间里进行的。从纯粹的噪声，经过50次迭代，最终生成一个清晰的视频这听起来可能有点玄乎，但它绝不仅仅是一个有趣的巧合。我们能从物理学中获得实实在在的算法，用来生成图像和视频。更重要的是，这个视角能给我们一种绝佳的直觉，帮助我们理解这些模型在实践中到底是如何工作的。要彻底搞明白这一切，我们需要分三步走： CLIP模型：先了解AI是如何学会像人一样，同时理解文字和画面的。扩散过程：深入探索“从噪声到图像”这一神奇过程背后的物理和数学原理。引导生成：看看如何将前两者的能力结合，精确地“驾驶”AI，让它生成我们想要的一切。第一步：让AI看懂“人话”和“画”——CLIP模型时间回到2021年，当时OpenAI发布了一个名为CLIP（Contrastive Language–Image Pre-training）的模型。这东西彻底改变了游戏规则。 CLIP其实是两个模型的组合：一个语言模型（处理文字）和一个视觉模型（处理图像）。它们被放在一起，用一种非常聪明的方式进行训练。训练数据是从互联网上抓取的4亿对“图片-描述”组合。它的核心思想很简单：对于一张图片和它的文字描述，它们在模型处理后生成的“代码”（即向量）应该是相似的。怎么做到呢？想象一下，我们随机抽取一批图文对，比如：图1：一只猫，描述1：“一张猫的照片” 图2：一只狗，描述2：“一张狗的照片” 图3：一个男人，描述3：“一个男人的照片” 我们把这三张图扔给图像模型，把三段描述扔给文字模型，会得到三个图像向量和三个文字向量。接下来就是最巧妙的部分了：模型的目标是，让“配对成功”的向量（比如图1和描述1）在空间中的方向尽可能接近，而让“配对失败”的向量（比如图1和描述2）尽可能远离。这种通过对比来学习的方式，就是CLIP名字中“Contrastive”（对比）的由来。这个训练过程结束后，我们得到了一个神奇的“共享嵌入空间”（Embedding Space）。在这个空间里，相似的概念会聚集在一起。它的几何结构甚至允许我们做一些匪夷所思的“向量数学”：拿一张我戴着帽子的照片，用图像模型生成向量A。再拿一张我没戴帽子的照片，生成向量B。然后计算向量A - 向量B，得到一个新的向量C。你猜这个向量C最接近哪个词的向量？没错，就是“帽子”（hat）！ (我戴着帽子的照片) - (我没戴着帽子的照片) ≈ (“帽子”这个词) 这太惊人了！这意味着CLIP学到的不只是像素，而是纯粹的概念。它把“戴帽子”这个视觉差异，转化成了可以在数学上操作的向量距离。不过，CLIP本身有一个局限：它只能单向地将图片和文字“编码”成向量，却无法从一个向量“解码”回一张图片。它能理解，但不会创造。这就为我们的第二步——扩散模型，铺平了道路。第二步：从混沌中创造秩序——扩散模型的魔力 2020年，在GPT-3论文发布几周后，伯克利的一个团队发表了一篇里程碑式的论文，名为DDPM（Denoising Diffusion Probabilistic Models）。它首次证明，通过扩散过程，可以从纯粹的噪声生成高质量的图像。扩散模型的基本思路听起来很直观：正向过程（加噪）：拿一张清晰的图片，一步步往上加噪声，直到它变成一团毫无意义的随机像素。反向过程（去噪）：训练一个神经网络，学习如何逆转这个过程，把那团噪声一步步还原成清晰的图片。你可能会想，那模型就是学习如何“一次去掉一小步噪声”吧？比如从第100步的噪声图，预测出第99步的样子。当你需要生成图片时，就从一个随机噪声开始，把模型的输出反复喂给它自己，直到图像变清晰。听起来合情合理，但事实证明，这种天真的方法效果并不好。现代的扩散模型几乎都不是这么干的。 DDPM论文里的算法揭示了两个让人意外的关键细节：...