来自 论文《 Denoising Diffusion Probabilistic Model》(DDPM)
论文链接: https://arxiv.org/abs/2006.11239
Hung-yi Lee 课件整理
一、 q ( x t ∣ x t − 1 ) q(x_{t} \mid x_{t-1} ) q(xt∣xt−1)的计算
第一行的图示给出了 x t x_{t} xt 和 x t − 1 x_{t-1} xt−1的关系,这里的 β t \beta_{t} βt是事先准备好的值,从 β 1 \beta_{1} β1 到 β T \beta_{T} βT,这个值相当于超参数,是可以调整的。
噪声是从一个均值为0,方差为1的高斯分布中sample出来的。
实际上这里的 q ( x t ∣ x t − 1 ) q(x_{t} \mid x_{t-1} ) q(xt∣xt−1)服从高斯分布,它的均值是它的均值是 1 − β t ∗ x t \sqrt{1-\beta_{t} } *x_{t} 1−βt∗xt,方差是 β t \sqrt{\beta_{t} } βt。
要怎么计算 q ( x t ∣ x 0 ) q(x_{t} \mid x_{0} ) q(xt∣x0)呢,我们想象中是图片下面表示的这样,是一步一步依次产生的。
实际上这个概率是可以直接计算出来的。
依照上面,我们把 x 1 x_{1} x1和 x 2 x_{2} x2分别用图示表示出来,他们彼此的噪声的分布是相互独立的,没有关系的。
接下来我们把第一行的 x 1 x_{1} x1带入第二行的 x 1 x_{1} x1;
这样得到 x 2 x_{2} x2和 x 0 x_{0} x0的表达式,也就是第三行。
这样我们得到了 x 2 x_{2} x2的表示,后面两项的分布是一样的,只是系数不同,我们可以只采样一次,把系数合并就可以了,得到黄色噪声图前面的系数。
依此类推,整个过程可以全部合起来,得到 x t x_{t} xt的表示。
为了简化,我们把 α t \alpha _{t} αt写成 1 − β t 1-\beta _{t} 1−βt, 把 α ˉ t \bar{ \alpha }_{t} αˉt写成 α 1 α 2 . . . α t \alpha _{1}\alpha _{2}...\alpha _{t} α1α2...αt, 这样就可以把红色方框里面的数值用方框下面的符号简化表达。