扩散模型理论总结

生成模型

基本思路是使用一个简单分布作为桥梁，将观测数据分布映射到简单分布中，再从简单分布映射观测数据分布。

使用高斯分布是因为高斯函数的运算性质很方便，也比较简单。多个高斯分布可以拟合一个复杂的分布。

扩散过程人为定义，反向生成过程引入参数 $\theta$ ,根据最大似然估计方法，转化为求下界的上限。

扩散模型的话通过超参数 $\beta$ 将清晰图片和噪声图片加权求和，达到添加噪声的目的。

对于加权求和的结果，根据重参数采样，依然符合高斯分布。

对于超参数 $\beta$ ，原始论文中设置为随着时间步 $t$ 线性增长。

每一个时间步中随机生成的高斯分布相互独立，他们的加权求和依然是高斯分布，超参数更改为用 $\alpha$ 表示。

现在希望从高斯分布中采样生成 $x_0$ 清晰图像。假设采样过程逐步进行，最终由噪声图像 $x_t$ 生成清晰图像 $x_0$ 分布由每一时间步的分布累乘。

定义每一时间步的反向生成过程符合高斯分布，则整个反向生成过程也符合高斯分布。

反向生成过程的均值和方差如上。已知 $x_0$ 和 $x_t$ 时，整个分布已知确定。

对于优化目标和扩散过程类似，目的是求去下界的上限。在原论文中，作者假设扩散生成两个过程方差不变，loss结果如下。

推理过程中增加高斯随机变量 $z$ , 保证整体符合高斯分布。

时间嵌入采用标准的位置编码。

本作品采用知识共享署名 4.0 国际许可协议进行许可