807补充（十一）（鞍论与随机逼近理论篇）

一.高等概率论初步

Theorem:$\sigma -$ 代数,如果样本空间 $\Omega$ 的一系列子集的集合 $\mathcal{F}$ 满足:

(1) $\varnothing \in \mathcal{F}$

(2) 若 $A\in \mathcal{F}$, 则 $A^c\in \mathcal{F}$

(3) 若 $A_1,A_2\dots \in \mathcal{F}$, 则 ${\bigcup }_{i=1}^{\infty }{A}_i\in \mathcal{F}$

我们称 $\mathcal{F}$ 为一个 $\sigma -$ 代数, 或者 $\sigma -$ 域。

概率三元组是建立严格概率论的基础，它也被称为概率空间或概率测度空间。概率三元组由三个元素组成。

• $\Omega :$称为样本空间（或结果空间）的集合。其中的任何元素（或点）$\Omega$, 表示为$\omega$，称为结果。该集合包含随机抽样过程的所有可能结果。

• $\mathcal{F}:$事件空间的集合。它是$\Omega$的$\sigma -$代数（或$\sigma -$域），$\mathcal{F}$中的一个元素，表示为$A$，称为事件。基本事件是指样本空间中的单个结果。一个事件可以是基本事件或多个基本事件的组合。

• $\mathbb{P}:$从$\mathcal{F}$到$[0,1]$的映射。是一个概率测度,任何$A\in \mathcal{F}$都是一个集合，其中包含一些属于$\Omega$的点。$\mathbb{P}(A)$就是这个集合的测度。

$\mathbb{P}(A)=0$等价于$A$是一个零测集，空集是零测集但零测集不是空集。

随机变量：在概率三元组的基础上，我们将随机变量定义为从样本空间到实数的映射$X(\omega )$:$\Omega \Rightarrow \mathbb{R}$,当然，并不是所有的映射都可以被定义为随机变量，随机变量的完整形式定义如下：

A function $X:\Omega \to \mathbb{R}$ is a random variable if
A = { ω ∈ Ω ∣ X ( ω ) ≤ x } ∈ F ∀ x ∈ R A=\{\omega \in \Omega \mid X(\omega) \leq x\} \in \mathcal{F} \qquad \forall x\in \Bbb R A={ω∈Ω∣X(ω)≤x}∈F∀x∈R
这个定义表明，只有当$X(\omega )\le x$是$\mathcal{F}$中的一个事件时，$X$才是随机变量

二.随机变量的条件期望

条件期望经常出现在随机序列的收敛性分析中，先考虑三种情况

• ${\mathbb{E}}_X[X\mid Y=5]$
• ${\mathbb{E}}_X[X\mid Y=y]$
• ${\mathbb{E}}_X[X\mid Y]$

不难看出，第一种情况是一个与$X,Y$都无关的常数，第二种情况是与$Y=y$有关的函数，而第三种情况由随机变量的定义可知为关于$Y$的随机变量。条件期望也可写成${\mathbb{E}}_{X\sim P(X\mid Y)}[X]$,表示为当$X\sim P(X\mid Y)$时$X$的期望。条件期望有以下常用性质

Theorem: Let $X,Y,Z$ be random variables. The following properties hold.

(a) ${\mathbb{E}}_X[X=a\mid Y]=a$, where $a$ is a given number.

(b) ${\mathbb{E}}_{X,Z}[aX+bZ\mid Y]=a{\mathbb{E}}_{X,Z}[X\mid Y]+b{\mathbb{E}}_{X,Z}[Z\mid Y]$.

© ${\mathbb{E}}_X[X\mid Y]={\mathbb{E}}_X[X]$ if $X,Y$ are independent.

(d) ${\mathbb{E}}_X[Xf(Y)\mid Y]=f(Y){\mathbb{E}}_X[X\mid Y]$.

(e) ${\mathbb{E}}_Y[f(Y)\mid Y]=f(Y)$.

(f) ${\mathbb{E}}_X[X\mid Y,f(Y)]={\mathbb{E}}_X[X\mid Y]$.

(g) If $X\ge 0$, then ${\mathbb{E}}_X[X\mid Y]\ge 0$.

(h) If $X\ge Z$, then ${\mathbb{E}}_X[X\mid Y]\ge {\mathbb{E}}_X[Z\mid Y]$.

Proof.我们在这里仅证明其中一些性质，其他的可以用同样的方法证明

• （a）对于任何$y$，${\mathbb{E}}_X[X=a\mid Y=y]$的取值都是个常数$a$,所以得证
• （b）$${\mathbb{E}}_{X,Z}[aX+bZ\mid Y]=\sum _{X,Z}[aX+bZ]\cdot P(X,Z\mid Y)=\sum _{X,Z}a\cdot X\cdot P(X,Z\mid Y)+\sum _{X,Z}b\cdot Z\cdot P(X,Z\mid Y)=a{\mathbb{E}}_{X,Z}[X\mid Y]+b{\mathbb{E}}_{X,Z}[Z\mid Y]$$
• ©因$X,Y$独立，则$P(X\mid Y)=P(X)$
• (d)${\mathbb{E}}_X[Xf(Y)\mid Y]={\sum }_{X}Xf(Y)P(X\mid Y)=f(Y){\sum }_{X}XP(X\mid Y)=$ $f(y)\mathbb{E}[X\mid Y=y]=f(Y){\mathbb{E}}_X[X\mid Y]$
• (e)${\mathbb{E}}_Y[f(Y)=f(y)\mid Y=y]=f(y)$,所以得证
• (g)因$X\ge 0,P(X\mid Y)\ge 0$,得证
• (h)利用(g)可证

三.重期望

Theorem: Let $X,Y,Z$ be random variables. The following properties hold.

(a) ${\mathbb{E}}_Y[{\mathbb{E}}_X[X\mid Y]]={\mathbb{E}}_X[X]$.

(b) ${\mathbb{E}}_{Y,Z}[{\mathbb{E}}_X[X\mid Y,Z]]={\mathbb{E}}_X[X]$.

© ${\mathbb{E}}_Y[{\mathbb{E}}_X[X\mid Y]\mid Y]={\mathbb{E}}_X[X\mid Y]$.

proof：

• (a)考虑${\mathbb{E}}_X[X|Y]$是$Y$的函数,定义为$f(Y)$=${\mathbb{E}}_X[X|Y]$

$$\begin{array}{rl}{\mathbb{E}}_Y[{\mathbb{E}}_X[X\mid Y]]={\mathbb{E}}_Y[f(Y)]& =\sum _{y}f(Y=y)P(y)\\ & =\sum _y\mathbb{E}[X\mid Y=y]P(y)\\ & =\sum _y\left(\sum _{x}xP(x\mid y)\right)P(y)\\ & =\sum _{x}x\sum _{y}P(x\mid y)P(y)\\ & =\sum _{x}x\sum _{y}P(x,y)\\ & =\sum _{x}xP(x)\\ & ={\mathbb{E}}_X[X].\end{array}$$

• (b)将$Y,Z$记作$Q$利用（a)可证
• 利用条件期望公式(e)可证

四.随机序列收敛定义

我们在测度论的基础上建立概率论的一个主要原因是它能够严格地描述随机序列的收敛性。

考虑随机序列 { X k } = { X 1 , X 2 , … , X k , … } \left\{X_k\right\} =\left\{X_1, X_2, \ldots, X_k, \ldots\right\} {Xk​}={X1​,X2​,…,Xk​,…}这个序列中的每个元素都是定义在三元组上的随机变量$(\Omega ,\mathcal{F},\mathbb{P})$。

• Sure convergence:(点收敛)

​ Definition: { X k } \left\{X_k\right\} {Xk​} converges surely (or everywhere or pointwise) to $X$ if
$$\underset{k\to \infty }{\lim }{X}_k(\omega )=X(\omega ),\text{ for all }\omega \in \Omega$$

​ It means that ${\lim }_{k\to \infty }{X}_k(\omega )=X(\omega )$ is valid for all points in $\Omega$. This definition can be equivalently stated as
$$A=\Omega \text{ where }A=\left\{\omega \in \Omega :\underset{k\to \infty }{\lim }{X}_k(\omega )=X(\omega )\right\}$$

• Almost sure convergence:(几乎必然收敛)
  Definition: { X k } \left\{X_k\right\} {Xk​} converges almost surely (or almost everywhere or with probability 1 or w.p.1) to $X$ if
  $$\mathbb{P}(A)=1\text{ where }A=\left\{\omega \in \Omega :\underset{k\to \infty }{\lim }{X}_k(\omega )=X(\omega )\right\}.$$

  It means that ${\lim }_{k\to \infty }{X}_k(\omega )=X(\omega )$ is valid for almost all points in $\Omega$. The points, for which this limit is invalid, form a set of zero measure. For the sake of simplicity,which is often written as
  $$\mathbb{P}\left(\underset{k\to \infty }{\lim }{X}_k=X\right)=1$$

  Almost sure convergence can be denoted as $X_k\stackrel{\text{ a.s. }}{\to }X$.

• Convergence in probability:（依概率收敛）
  Definition: { X k } \left\{X_k\right\} {Xk​} converges in probability to $X$ if for any $ϵ>0$,
  lim ⁡ k → ∞ P ( A k ) = 0 where  A k = { ω ∈ Ω : ∣ X k ( ω ) − X ( ω ) ∣ > ϵ } . \lim _{k \rightarrow \infty} \mathbb{P}\left(A_k\right)=0 \quad \text { where } \quad A_k=\left\{\omega \in \Omega:\left|X_k(\omega)-X(\omega)\right|>\epsilon\right\} . k→∞lim​P(Ak​)=0 where Ak​={ω∈Ω:∣Xk​(ω)−X(ω)∣>ϵ}.

  For simplicity,the equation can be written as
  $$\underset{k\to \infty }{\lim }\mathbb{P}\left(\left|X_k-X\right|>ϵ\right)=0$$

• Convergence in mean:($L^p$收敛)
  Definition: { X k } \left\{X_k\right\} {Xk​} converges in the $r$-th mean (or in the $L^r$ norm) to $X$ if
  $$\underset{k\to \infty }{\lim }\mathbb{E}\left[{\left|X_k-X\right|}^r\right]=0$$

  The most frequently used cases are $r=1$ and $r=2$. It is worth mentioning that convergence in mean is not equivalent to ${\lim }_{k\to \infty }\mathbb{E}\left[X_k-X\right]=0$ or ${\lim }_{k\to \infty }\mathbb{E}\left[X_k\right]=$ $\mathbb{E}[X]$, which indicates that $\mathbb{E}\left[X_k\right]$ converges but the variance may not.

• Convergence in distribution:（依分布收敛）
  Definition: The cumulative distribution function of $X_k$ is defined as $\mathbb{P}\left(X_k\le a\right)$ where $a\in \mathbb{R}$. Then, { X k } \left\{X_k\right\} {Xk​} converges to $X$ in distribution if the cumulative distribution function converges:
  $$\underset{k\to \infty }{\lim }\mathbb{P}\left(X_k\le a\right)=\mathbb{P}(X\le a),\text{ for all }a\in \mathbb{R}.$$

  A compact expression is
  $$\underset{k\to \infty }{\lim }\mathbb{P}\left(A_k\right)=\mathbb{P}(A)$$
  where
  A k ≐ { ω ∈ Ω : X k ( ω ) ≤ a } , A ≐ { ω ∈ Ω : X ( ω ) ≤ a } . A_k \doteq\left\{\omega \in \Omega: X_k(\omega) \leq a\right\}, \quad A \doteq\{\omega \in \Omega: X(\omega) \leq a\} . Ak​≐{ω∈Ω:Xk​(ω)≤a},A≐{ω∈Ω:X(ω)≤a}.

点收敛要求在$\Omega$上所有的点都收敛至$X(\omega )$,几乎必然收敛允许$\Omega$上有部分点不收敛，但这部分集合必需是零测集。依概率收敛是比几乎必然收敛更宽松的条件，仅对随机变量的值进行要求，并未对自变量$\omega$进行要求。依分布收敛进要求累积分布函数一致，并未做更多的要求。

.