在机器学习领域,扩散模型(Diffusion Models, DM) 是近年来非常热门的生成模型之一。其背后的核心思想是通过逐步向数据中注入噪声,使得数据从原始的有序状态转变为完全无序的状态(通常为标准高斯分布)。这一过程为后续的反向扩散过程(去噪)提供了基础,帮助模型从噪声中恢复出原始数据。
本文将详细解析扩散模型中的转移核,重点讨论如何从扩散过程中高斯分布的参数化公式中得出均值和方差。
1. 什么是扩散模型?
扩散模型是一类通过逐步添加噪声来扰乱数据分布的生成模型。我们可以把扩散模型想象成一个多步过程,类似于一个马尔可夫链,每一步都将一些随机噪声引入到数据中。这个过程从有序的原始数据开始,到最后一步将其转变为完全无序的噪声分布。
然而,这个从有序到无序的过程只是模型的一个部分。为了生成新数据,我们需要进行反向操作——从噪声中逐步去噪,还原出有意义的数据。这一去噪过程正是扩散模型的生成能力所在。
2. 转移核的高斯分布公式
在扩散过程中,每一步我们都需要知道如何从上一个时刻的潜变量$x_{t-1}^{\prime}$生成新的潜变量 $x_{t}^{\prime}$。这个生成过程被定义为转移核,其形式通常为高斯分布:
$$q(x_t'|x_{t-1}')=\mathcal{N}(x_t';\sqrt{1-\beta_t}x_{t-1}',\beta_t\mathbf{I})$$