简介

主页：https://hojonathanho.github.io/diffusion/

扩散模型 （diffusion models）是深度生成模型中新的SOTA。

扩散模型在图片生成任务中超越了原SOTA：GAN，并且在诸多应用领域都有出色的表现，如计算机视觉，NLP、波形信号处理、多模态建模、分子图建模、时间序列建模、对抗性净化等。

GAN要训练两个网络，训练难度大，容易不收敛，而且多样性比较差，毕竟生成器是为了骗过鉴别器，生成器可能学到稀奇古怪的技巧，

此外，扩散模型与其他研究领域有着密切的联系，如稳健学习、表示学习、强化学习。

然而，原始的扩散模型也有缺点，它的采样速度慢，通常需要数千个评估步骤才能抽取一个样本；它的最大似然估计无法和基于似然的模型相比；它泛化到各种数据类型的能力较差。

如今很多研究已经从实际应用的角度解决上述限制做出了许多努力，或从理论角度对模型能力进行了分析。但是，现在仍缺乏对扩散模型从算法到应用的最新进展的系统回顾。

实现流程

生成式建模的一个核心问题是模型的灵活性和可计算性之间的权衡。

扩散模型的基本思想是正向扩散过程来系统地扰动数据中的分布，然后通过学习反向扩散过程恢复数据的分布，这样就了产生一个高度灵活且易于计算的生成模型。

前向过程

前向过程概括起来就是从原始图像 $X_0$ 开始，不断往图像中加入高斯噪声，每一个时刻由前一时刻的图像增加噪声得到，最后得到纯噪声的图像。这个过程可以看作是不断构建标签（高斯噪声）的过程。

构建 $X_t$ 时刻是公式如下：

$X_t=\sqrt{{\alpha }_t}{X}_{t-1}+\sqrt{1-{\alpha }_t}Z$

其中 ${\alpha }_t=1-{\beta }_t$

$\beta$ 随着时刻 t 增大而增加，论文从0.0001 增加到 0.002。那么 $\alpha$ 随着时刻 t 增大而减少，这表明了后一时刻的图像对前一时刻的图像的依赖逐渐减少，高斯噪声的权重逐渐增大，最后得到纯噪声的图像

从公式中，我们可以从时刻0$X_0$ 一步一步往后推，可以得到限定时刻 $X_t$，在这个过程中我们要存储每一时刻的 $\alpha$ 和 高斯噪声 $Z$

我们现在可以实现加噪声的过程了，但是目的是去噪生成，也就是接下来的逆向过程

逆向过程

那么我们回到我们的初始目的，如何从 $T_N$ 时刻纯噪声图像生成目标图像呢？接下来尝试从 $T_N$ 往前推导，以得到 $T_0$ 时刻的图像

首先，时刻 t 的图像记为 $X_t$，前一时刻 t-1 的图像记为 $X_{t-1}$，这里使用 Z 表示高斯分布

已知，$X_t=\sqrt{{\alpha }_t}{X}_{t-1}+\sqrt{1-{\alpha }_t}Z$
将 $X_{t-1}=\sqrt{{\alpha }_{t-1}}{X}_{t-2}+\sqrt{1-{\alpha }_{t-1}}Z$ 代入上述公式，取代 $X_{t-1}$，得到

$X_t=\sqrt{{\alpha }_t}(\sqrt{{\alpha }_{t-1}}{X}_{t-2}+\sqrt{1-{\alpha }_{t-1}}Z)+\sqrt{1-{\alpha }_t}Z$

化简得

$X_t=\sqrt{{\alpha }_t{\alpha }_{t-1}}{X}_{t-2}+\sqrt{{\alpha }_t-{\alpha }_t{\alpha }_{t-1}}Z+\sqrt{1-{\alpha }_t}Z$

由于每次加入的噪声都服从高斯分布 $Z\sim \mathrm{N}(0,I)$

$\sqrt{{\alpha }_t-{\alpha }_t{\alpha }_{t-1}}Z\sim \mathrm{N}(0,{\alpha }_t-{\alpha }_t{\alpha }_{t-1})$

$\sqrt{1-{\alpha }_t}Z\sim \mathrm{N}(0,1-{\alpha }_t)$

由于高斯分布符合以下规律

$\mathrm{N}(0,{\sigma }_1^{2}I)+\mathrm{N}(0,{\sigma }_2^{2}I)\sim \mathrm{N}(0,({\sigma }_1^2+{\sigma }_2^2)I)$

所以

$\sqrt{{\alpha }_t-{\alpha }_t{\alpha }_{t-1}}Z+\sqrt{1-{\alpha }_t}Z\sim \mathrm{N}(0,1-{\alpha }_t{\alpha }_{t-1})$

原式

$X_t=\sqrt{{\alpha }_t{\alpha }_{t-1}}{X}_{t-2}+\sqrt{{\alpha }_t-{\alpha }_t{\alpha }_{t-1}}Z+\sqrt{1-{\alpha }_t}Z$

化简可得

$X_t=\sqrt{{\alpha }_t{\alpha }_{t-1}}{X}_{t-2}+\sqrt{1-{\alpha }_t{\alpha }_{t-1}}Z$

从而可以推出

$X_t=\sqrt{\bar{\alpha }}{X}_0+\sqrt{1-\bar{\alpha }}Z$，（$\bar{\alpha }$ 表示连乘）

从该公式可以看出，任意时刻的分布都可以通过 $X_0$ 这个初始状态算出来，唯一不确定的因素是噪声

那么一步步往前迭代，让神经网络去预测每一时刻的噪声 $Z$，那么在强约束的条件下，理论上就可以得到目标图像

回到原始公式

$X_t=\sqrt{{\alpha }_t}{X}_{t-1}+\sqrt{1-{\alpha }_t}Z$

那么我们要如何使用 $X_t$ 表示 $X_{t-1}$呢

这里使用贝叶斯公式

$q(X_{t-1}|X_t)=q(X_t|X_{t-1})\frac{q(X_{t-1})}{q(X_t)}$

由于我们只知道初始条件 $X_0$，那么根据上面的推导，可以使用 $X_0$ 表示任意时刻 $X_t$

$X_t=\sqrt{\bar{\alpha }}{X}_0+\sqrt{1-\bar{\alpha }}Z$，（$\bar{\alpha }$ 表示连乘）

那么套用贝叶斯的原始公式可以使用初始条件 $X_0$ 表示

$q(X_{t-1}|X_t,X_0)=q(X_t|X_{t-1},X_0)\frac{q(X_{t-1}|X_0)}{q(X_t|X_0)}$

右边三项未知数可以表示为：

$q(X_{t-1}|X_0):\sqrt{{\bar{\alpha }}_{t-1}}{X}_0+\sqrt{1-{\bar{\alpha }}_{t-1}}Z\sim \mathrm{N}(\sqrt{{\bar{\alpha }}_{t-1}}{X}_0,1-{\bar{\alpha }}_{t-1})$

$q(X_t|X_0):\sqrt{{\bar{\alpha }}_t}{X}_0+\sqrt{1-{\bar{\alpha }}_t}Z\sim \mathrm{N}(\sqrt{{\bar{\alpha }}_t}{X}_0,1-{\bar{\alpha }}_t)$

$q(X_t|X_{t-1},X_0):\sqrt{{\alpha }_t}{X}_{t-1}+\sqrt{1-{\alpha }_t}Z\sim \mathrm{N}(\sqrt{{\alpha }_t}{X}_{t-1},1-{\alpha }_t)$

将上面三条公式带入

$q(X_{t-1}|X_t,X_0)=q(X_t|X_{t-1},X_0)\frac{q(X_{t-1}|X_0)}{q(X_t|X_0)}$

其中 $Z=e^{-\frac{1}{2}\frac{(x-\mu {)}^2}{{\sigma }^2}}$

化简得到

$X_{t-1}=e^{(-\frac{1}{2}(\frac{(x_t-\sqrt{{\alpha }_t}{X}_{t-1}{)}^2}{{\beta }_t}+\frac{(X_{t-1}-\sqrt{{\bar{\alpha }}_{t-1}}{X}_0{)}^2}{1-{\bar{\alpha }}_{t-1}}-\frac{(X_t-\sqrt{{\bar{\alpha }}_t}{X}_0{)}^2}{1-{\bar{\alpha }}_t}))}$

将标准正太分布展开后，汇总化简得到

$e^{(-\frac{1}{2}((\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}})X_{t-1}^2-(\frac{2\sqrt{{\alpha }_t}}{{\beta }_t}{X}_t+\frac{2\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{X}_0)X_{t-1}+C(X_t,X_0)))}$

$C(X_t,X_0)$ 为常数项，不影响任务，核心是球 $X_t$ 与 $X_{t-1}$ 的关系。

将高斯分布(Z) 展开后为

$Z=e^{(-\frac{(x-\mu {)}^2}{2{\sigma }^2})}=e^{(-\frac{1}{2}(\frac{1}{{\sigma }^2}{X}^2-\frac{2\mu }{{\sigma }^2}X+\frac{{\mu }^2}{{\sigma }^2}))}$

对比 高斯分布(Z) 展开后公式 与 上述得到的 $X_{t-1}$ 表达式，可以得到均值 和 方差
$\frac{1}{{\sigma }^2}=(\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}})$

$\sigma =\sqrt{\frac{{\alpha }_t(1-{\bar{\alpha }}_{t-1})+{\beta }_t}{{\beta }_t(1-{\bar{\alpha }}_{t-1})}}$

$\tilde{\mu }(X_t,X_0)=\frac{{\sqrt{\alpha }}_t(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{X}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}{X}_0$

其中 $X_0$ 未知，但是我们知道 $X_t$ 可以由 $X_0$ 得到，那么将原公式逆过来

$X_t=\sqrt{\bar{\alpha }}{X}_0+\sqrt{1-\bar{\alpha }}Z$，（$\bar{\alpha }$ 表示连乘）

$X_0=\frac{1}{\sqrt{{\bar{\alpha }}_t}}(X_t-\sqrt{1-{\bar{\alpha }}_t}Z)$

再将 $X_0$ 带入均值表达式，化简得

${\tilde{\mu }}_t=\frac{1}{\sqrt{{\alpha }_t}}(X_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}Z)$

每一时刻的 $X_t$ 都是一个高斯分布，因此，高斯分布重采样策略得到 $X_{t-1}$

我们现在得到了有样本 X 得到的分布 $X\sim N(\mu ,{\sigma }^2)$。采样这个操作本身是不可导的，但是我们可以通过重参数化技巧，将简单分布的采样结果变换到特定分布中，如此一来则可以对变换过程进行求导。具体而言，我们从标准高斯分布中采样，并将其变换到$X\sim N(\mu ,{\sigma }^2)$，过程如下

$\epsilon \sim \mathrm{N}(0,I)$
$Z=\mu +\sigma \times \epsilon$

也就是说，从 $\mathrm{N}(\mu ,{\sigma }^2)$ 采样 $Z$，等同于从 $\epsilon \sim \mathrm{N}(0,I)$ 中采样高斯噪声 $\epsilon$，再将其按 $Z=\mu +\sigma \times \epsilon$ 变换

$X_{t-1}={\tilde{\mu }}_t+{\sigma }_{t}Z\sim \mathrm{N}({\tilde{\mu }}_t,{\sigma }_t)$

伪代码

总体网络可以采用了简单的U-net实现

Training

目标：让网络预测不同时刻的高斯分布 ${\epsilon }_{\theta }$

首先从数据集中随机采样图像 $X_0$，选取超参数时刻上限 $T$，在$1,...,T$ 中随机采样时刻（batch size）并为此生成时刻对应的高斯分布 $\epsilon$，根据公式

$X_t=\sqrt{\bar{\alpha }}{X}_0+\sqrt{1-\bar{\alpha }}Z$，（$\bar{\alpha }$ 表示连乘）

将 t 时刻的分布 $X_t$ 和时刻 t 输入网络，其中时刻 t 经过位置编码后与 $X_t$ 拼接，网络预测得到时刻 t 的高斯分布 ${\epsilon }_{\theta }$，将其与对应时刻的高斯分布 $\epsilon$ 作 $L_2$ 损失

Sampling

分布 $X_t$ 由高斯分布给出，进行 $T$ 次循环，从模型${\epsilon }_{\theta }(X_t,t)$中获取时刻 t 的高斯分布预测值 ${\epsilon }_{\theta }$，通过公式：

$X_{t-1}={\tilde{\mu }}_t+{\sigma }_{t}Z\sim \mathrm{N}({\tilde{\mu }}_t,{\sigma }_t)$

预测前一时刻的分布 $X_{t-1}$，循环该过程得到最终图像 $X_0$