概率论科普-编程知识

概率论科普

符号优先级

概率公式中一共有三种符号：分号 ; 、逗号 , 、竖线 | 。
; 分号代表前后是两类东西，以概率P(x;θ)为例，分号前面是x样本，分号后边是模型参数。分号前的表示的是这个式子用来预测分布的随机变量x，分号后的表示所需的相关参数θ。
, 逗号代表两个事件同时发生的概率，逗号连接两个事件，有时可以省略，如联合概率P(AB)，等价于P(A,B)
| 竖线代表 if，以条件概率P(A|B)为例，A，B是随机试验E的两个随机试验，P(A|B)就是如果B事件发生的条件下，发生A事件的概率，结合图进行理解：
在这里插入图片描述

优先级： , > | > ;
例子1： P(A|B,C)表示在B，C的条件下，发生A的概率。
例子2：P(y∣x ; α,ω)表示：x发生条件下y的条件概率，该条件概率模型用参数α,ω建模（或者说用参数a,ω表示）。

注意：
$\theta)$ 不总是代表条件概率，也就是说 $\theta)$ 不代表条件概率时与 $\theta)$ 等价。而一般地，写竖杠表示条件概率，是随机变量。
$\theta)$ 中，分号后的表示待估参数（是固定的，只是当前未知），应该可以直接认为是 $p (x)$ ，加了，是为了强调说明这里有个 $\theta$ 的参数， $\theta)$ 意思是随机变量 $X = x$ 的概率。在贝叶斯理论下又叫 $X = x$ 的先验概率。

和扩散模型推导公式的联系

根据以上讨论的这些，现在讨论一个比较复杂的情况。比如， $\mathcal{N}(x;0,I)$ 的意思是什么？
我们知道， $\mathcal{N}(0,I)$ 表示标准高斯分布，均值为0，方差为1，其本质上也是一个概率密度函数 $\frac{1}{{\sigma \sqrt{2\pi}}} e^{ -\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}$ （标准高斯分布情况下为 $\frac{1}{{\sqrt{2\pi}}} e^{ -\frac{x^2}{2}}$ ）。从这里可以发现，一般的函数我们都是强调自变量本身（比如 $x$ ），而在概率论里面有时候强调的是函数参数本身（比如高斯分布的均值和方差），而淡化了输入变量 $x$ 。因此 $\mathcal{N}(x;0,I)$ 相比与 $\mathcal{N}(0,I)$ 的区别就在于显式强调了函数的输入为 $x$ 。
这下，就好理解扩散模型中的噪声公式了：
在这里插入图片描述
那么， $q(x_t | x_{t-1})=\mathcal{N}(x_t; \sqrt{1-\beta_t }x_{t-1}, \beta_t I)$ ，这个公式何意义？
这个东西分多步看。首先，函数本身是个条件概率分布， $q(x_t | x_{t-1})$ 表示 $x_{t-1}$ 已知的情况下， $x_t$ 的分布（ $x_t$ 取各种值的概率）。而后面的这个高斯分布则强调了其输入自变量为 $x_t$ （因为是 $x_t$ 的概率密度函数，所以自变量当然是 $x_t$ )，而高斯分布的均值和方差则分别为
$\sqrt{1-\beta_t }x_{t-1} 和 \beta_t I$ ，与条件分布的条件 $x_{t-1}$ 有关。