DALL·E 2 是一种生成模型——一种尝试使用训练数据生成在质量和多样性方面可与数据相媲美的新事物的系统。这是机器学习中最困难的问题之一，到达这一点是一段艰难的旅程。
第一个重要的图像生成模型使用了一种称为神经网络的人工智能方法——一种由多层计算单元组成的程序，称为人工神经元。但即使他们的图像质量变得更好，模型也被证明不可靠且难以训练。与此同时，一个强大的生成模型——由一位对物理学充满热情的博士后研究员创建——处于休眠状态，直到两名研究生取得技术突破，使这只野兽复活。
DALL·E 2 就是这样一头野兽。使 DALL·E 2 的图像以及其竞争对手 Stable Diffusion 和 Imagen 的图像成为可能的关键洞察力来自物理学世界。支撑它们的系统被称为扩散模型，在很大程度上受到非平衡热力学的启发，非平衡热力学支配着流体和气体扩散等现象。「有很多技术最初是由物理学家发明的，现在在机器学习中非常重要，」OpenAI 的机器学习研究员 Yang Song 说。
这些模型的力量震撼了行业和用户。「对于生成模型来说，这是一个激动人心的时刻，」加州理工学院计算机科学家、英伟达机器学习研究高级主管 Anima Anandkumar 说。
她说，虽然扩散模型创建的逼真图像有时会延续社会和文化偏见，但「我们已经证明，生成模型对下游任务很有用，[这些]提高了预测人工智能模型的公平性。」
高概率
为了理解如何为图像创建数据，让我们从仅由两个相邻灰度像素组成的简单图像开始。我们可以根据每个像素的阴影（从 0 为全黑到 255 为全白）用两个值来完整描述此图像。您可以使用这两个值将图像绘制为二维空间中的一个点。
如果我们将多个图像绘制为点，则可能会出现聚类——某些图像及其对应的像素值比其他图像更频繁地出现。现在想象平面上方有一个曲面，曲面的高度对应于簇的密度。该曲面绘制出概率分布。你最有可能在曲面最高部分下方找到单个数据点，在表面的最低部分下面很少找到数据点。
DALL·E 2 制作了这些「金鱼在海滩上啜饮可口可乐」的图像。这个由 OpenAI 创建的程序可能从未遇到过类似的图像，但仍然可以自行生成它们。
现在你可以使用此概率分布来生成新图像。你需要做的就是随机生成新的数据点，同时遵守更频繁地生成更多可能数据的限制——这个过程称为「采样」分布。每个新点都是一个新图像。
同样的分析适用于更逼真的灰度照片，例如每张一百万像素。只是现在，绘制每个图像需要的不是两个轴，而是一百万个。此类图像的概率分布将是一些复杂的百万加一维曲面。如果你对该分布进行采样，你将产生一百万个像素值。将这些像素打印在一张纸上，图像很可能看起来像原始数据集中的照片。
生成建模的挑战是为构成训练数据的某些图像集学习这种复杂的概率分布。该分布之所以有用，部分原因是它捕获了有关数据的广泛信息，部分原因是研究人员可以结合不同类型数据（例如文本和图像）的概率分布来构成超现实的输出，例如金鱼在海滩上啜饮可口可乐。「你可以混合和匹配不同的概念……以创建训练数据中从未见过的全新场景，」Anandkumar 说。
2014 年，一种称为生成对抗网络 (GAN) 的模型成为第一个生成逼真图像的模型。「太激动了，」Anandkumar 说。但是 GAN 很难训练：它们可能无法学习完整的概率分布，并且可能只能从分布的一个子集生成图像。例如，在各种动物图像上训练的 GAN 可能只生成狗的图片。
机器学习需要一个更强大的模型。Jascha Sohl-Dickstein 的工作受到物理学的启发，他将提供一个答案。
Jascha Sohl-Dickstein。
兴奋的斑点
在 GAN 发明前后，Sohl-Dickstein 是斯坦福大学的一名博士后，研究生成模型，对非平衡热力学也有兴趣。物理学的这个分支研究不处于热平衡状态的系统——那些在内部以及与环境交换物质和能量的系统。
一个说明性的例子是一滴蓝色墨水通过一个水容器扩散。起初，它在一个地方形成一个黑色的斑点。此时，如果你想计算在容器的某个小体积中找到墨水分子的概率，你需要一个概率分布来清晰地模拟墨水开始扩散之前的初始状态。但这种分布很复杂，因此很难从中抽样。
然而，最终，墨水扩散到整个水中，使水变成淡蓝色。这可以用简单的数学表达式描述的更简单、更均匀的分子概率分布。非平衡热力学描述了扩散过程中每一步的概率分布。至关重要的是，每一步都是可逆的——通过足够小的步骤，你可以从一个简单的分布返回到一个复杂的分布。
Jascha Sohl-Dickstein 基于扩散原理创建了一种新的生成建模方法。——Asako Miyakawa
Sohl-Dickstein 使用扩散原理开发了生成建模算法。这个想法很简单：该算法首先将训练数据集中的复杂图像转化为简单的噪声——类似于从一滴墨水变成漫射淡蓝色的水——然后教系统如何反转这个过程，将噪声转化为图像。
这是它的工作原理。首先，该算法从训练集中获取图像。和以前一样，假设百万像素中的每一个都有一些值，我们可以将图像绘制为百万维空间中的一个点。该算法在每个时间步向每个像素添加一些噪声，相当于墨水在一个小时间步后的扩散。随着这个过程的继续，像素值与它们在原始图像中的值的关系越来越小，像素看起来更像是一个简单的噪声分布。（该算法还在每个时间步将每个像素值向原点微移一点点，即所有这些轴上的零值。这种微移可以防止像素值变得太大以至于计算机无法轻松处理。）
对数据集中的所有图像执行此操作，百万维空间中点的初始复杂分布（无法轻易描述和采样）变成围绕原点的简单、正态分布的点。
Sohl-Dickstein 说：「转换序列非常缓慢地将你的数据分布变成一个大噪音球。」 这个「正向过程」为你提供了一个可以轻松采样的分布。
接下来是机器学习部分：为神经网络提供从正向传递中获得的噪声图像，并训练它预测更早一步出现的噪声较小的图像。一开始它会出错，所以你调整网络的参数，让它做得更好。最终，神经网络可以可靠地将代表简单分布样本的噪声图像一直转换为代表复杂分布样本的图像。
经过训练的网络是一个成熟的生成模型。现在你甚至不需要原始图像来进行正向传递：你有简单分布的完整数学描述，所以你可以直接从中采样。神经网络可以将这个样本——本质上只是静态的——变成类似于训练数据集中图像的最终图像。
Sohl-Dickstein 回忆起他的扩散模型的第一个输出。「你会眯着眼睛说，[我认为那个彩色斑点看起来像一辆卡车，]」他说。「我花了很多个月的时间盯着不同的像素模式，试图看到我喜欢的结构，[这比我以前得到的更有条理。] 我非常兴奋。」
展望未来
Sohl-Dickstein 在 2015 年发表了他的扩散模型算法，但仍然远远落后于 GAN 的能力。虽然扩散模型可以对整个分布进行采样，并且永远不会只吐出图像的一个子集，但图像看起来更糟，而且过程太慢了。「我认为当时这并不令人兴奋，」Sohl-Dickstein 说。
论文地址：https://doi.org/10.48550/arXiv.1503.03585
需要两名既不了解 Sohl-Dickstein 也不了解对方的学生，才能将最初工作中的点点滴滴与 DALL·E 2 等现代扩散模型联系起来。第一个是 Song，当时他是斯坦福大学的博士生。2019 年，他和他的导师发表了一种构建生成模型的新方法，该方法不估计数据（高维表面）的概率分布。相反，它估计了分布的梯度（将其视为高维表面的斜率）。
Yang Song 帮助提出了一种通过训练网络有效地解读嘈杂图像来生成图像的新技术。
Song 发现，如果他首先用增加的噪声水平扰动训练数据集中的每张图像，然后让他的神经网络使用分布梯度预测原始图像，从而有效地对其进行去噪，他的技术效果最好。一旦经过训练，他的神经网络就可以从简单的分布中抽取噪声图像，并逐步将其转换回代表训练数据集的图像。图像质量很好，但他的机器学习模型采样速度非常慢。而且他在不了解 Sohl-Dickstein 的工作的情况下做到了这一点。「我根本不知道扩散模型，」Song 说。「在我们 2019 年的论文发表后，我收到了 Jascha 发来的电子邮件。他向我指出，[我们的模型] 有着非常紧密的联系。」
2020 年，第二名学生看到了这些联系，并意识到 Song 的工作可以改进 Sohl-Dickstein 的扩散模型。Jonathan Ho 最近在加州大学伯克利分校完成了生成建模方面的博士研究，但他仍在继续研究。「我认为这是机器学习中数学上最美丽的分支学科，」他说。
Ho 利用 Song 的一些想法和神经网络领域的其他进展重新设计和更新了 Sohl-Dickstein 的扩散模型。「我知道为了引起社区的注意，我需要让模型生成漂亮的样本，」他说。「我确信这是我当时能做的最重要的事情。」
他的直觉是正确的。Ho 和他的同事在 2020 年的一篇题为「去噪扩散概率模型」的论文中宣布了这种新的和改进的扩散模型。它很快成为一个里程碑，以至于研究人员现在将其简称为 DDPM。根据一项图像质量基准——将生成图像的分布与训练图像的分布进行比较——这些模型匹配或超过了所有竞争生成模型，包括 GAN。没过多久，大公司就注意到了这一点。现在，DALL·E 2、Stable Diffusion、Imagen 和其他商业模型都使用了 DDPM 的一些变体。
Jonathan Ho 和他的同事结合了 Sohl-Dickstein 和 Song 的方法，使现代扩散模型成为可能，例如 DALL·E 2。
现代扩散模型还有一个关键要素：大型语言模型 (LLM)，例如 GPT-3。这些是基于互联网文本训练的生成模型，用于学习单词而不是图像的概率分布。2021 年，Ho（现在是一家隐形公司的研究科学家）和他在 Google Research 的同事 Tim Salimans 以及其他地方的其他团队展示了如何将来自 LLM 和图像生成扩散模型的信息结合起来使用文本（例如， 「金鱼在海滩上啜饮可口可乐」）来指导扩散过程，从而引导图像生成。这种「引导扩散」过程是文本到图像模型成功的背后原因，例如 DALL·E 2。
「它们远远超出了我最疯狂的期望，」Ho 说。「我不会假装我看到了这一切。」
产生问题
尽管这些模型非常成功，但 DALL·E 2 及其同类产品的图像仍远非完美。大型语言模型可以在它们生成的文本中反映文化和社会偏见，例如种族主义和性别歧视。那是因为他们接受了从互联网上摘录的文本的训练，而且这些文本通常包含种族主义和性别歧视的语言。在此类文本上学习概率分布的 LLM 充满了相同的偏见。扩散模型也在从互联网上获取的未经整理的图像上进行训练，这些图像可能包含类似的有偏见的数据。难怪将法学硕士与当今的传播模型相结合有时会产生反映社会弊病的图像。
Anandkumar 有亲身经历。当她尝试使用基于扩散模型的应用程序生成自己的风格化头像时，她感到震惊。「这么多 [许多] 图像都被高度性感化了，」她说，「而它呈现给男性的东西却并非如此。」 她并不孤单。
可以通过整理和过滤数据（考虑到数据集的庞大性，这是一项极其困难的任务）或通过检查这些模型的输入提示和输出来减少这些偏差。「当然，没有什么能代替仔细和广泛的安全测试」一个模型，Ho 说。「这对该领域来说是一个重要的挑战。」
尽管存在这些顾虑，Anandkumar 仍然相信生成建模的力量。「我真的很喜欢 Richard Feynman 的名言：[我无法创造的东西，我不理解，] 」她说。加深的理解使她的团队能够开发生成模型，例如，生成用于预测任务的代表性不足的类别的合成训练数据，例如用于面部识别的较深肤色，有助于提高公平性。生成模型还可以让我们深入了解我们的大脑如何处理嘈杂的输入，或者它们如何唤起心理意象并考虑未来的行动。构建更复杂的模型可以赋予人工智能类似的能力。
Anandkumar 说：「我认为，我们才刚刚开始探索生成式人工智能的可能性。」
