1 马尔可夫链的计算题
题型：
- 不变分布：\(\pi P=\pi\)，求 π。
- 求 \(P(X_1=3,X_2=4,X_3=2)\) 。
- 原式 \(=\sum_{i\in S}P(X_0=i,X_i=3,\cdots) = \sum_{i\in S}\mu(i)p_{i3}\cdot(p_{34}p_{42})\) 。
- ① 求 \(\lim_{n\rightarrow \infty} P[X_i],i=\{1,2,3,4\}\) 。② 求 \(\lim_{n\rightarrow \infty}\frac1n \sum_{j=0}^{n-1}f(X_j)\) 。
- 先求 不变分布 \(\pi P=\pi\) ，
- 然后，不难验证 X 不可约非周期（\(p^{(1)}_{11}>0, p^{(2)}_{11}>0\)），
- 所以，① 极限分布即为不变分布，② 原式 \(\sum_{i\in S} f(i) \cdot \lim_{n\rightarrow \infty}\frac1n \sum_{j=0}^{n-1}I\{X_j=i\}\)，所以 \(=\sum_{i\in S} f(i)\pi_i\) 。
2 常返的马尔可夫链
一些辅助定义：
- 首达时：从 i 出发首次到达 j 的时间，定义为 \(T_{ij}=\min_{n\ge 1}\{n: X_n=j, X_0=i\}\)。若到达不了 j，则是无穷。
- 首达概率：从 i 出发经 n 步首次到达 j 的概率，定义为 \(f_{ij}^{(n)}=P(T_{ij}=n|X_0=i)\) \(=P(X_n=j, X_k\neq j,1\le k\le n−1 | X_0=i)\) 。
- 有限步首达概率：从 i 出发经有限步首次到达 j 的概率，定义为 \(f_{ij}=\sum_{n=1}^\infty f_{ij}^{(n)}\) 。
- 平均回转时间：从 i 出发再回到 i 的平均时间，\(\mu_i=ET_{ii}=\sum_{n=1}^\infty nf_{ii}^{(n)}\) 。
常返：
- 常返：从状态 i 出发，最终返回状态 i 的概率是 1，但期望返回时间 \(E(T_{ii})\) 可以为正无穷（零常返）。
- 正常返：从状态 i 出发，最终返回状态 i 的概率是 1，且期望返回时间 \(E(T_{ii})\) 有限。
- 常返 / 正常返条件：
- 常返状态：
- \(f_{ii}=\sum_{n=1}^\infty f_{ii}^{(n)}=1\) ，即总能回到状态 i 。
- \(G_{ii} = \sum_{n=0}^\infty p_{ii}^{(n)}=1/(1-f_{ii}) = \infty\) ，发散 / 不收敛。
- 正常返状态：
- \(\nu_i=1/\mu_i=1/ET_{ii}>0\) ，即 \(ET_{ii}<\infty\) ，返回时间的期望是有限的。
- i 已经是常返状态，且 \(\lim_{n\rightarrow\infty} p_{ii}^{(n)} = 1/\mu_i = 1/ET_{ii} > 0\) ，即返回时间的期望是有限的。
- \(\lim_{n\rightarrow\infty} p_{ii}^{(n)} = 1/ET_{ii}\) ：因为在长期内，状态 i 被访问的频率与其期望返回时间成反比。
- 零常返状态：
- \(\nu_i=1/\mu_i=1/ET_{ii}=0\) ，即 \(ET_{ii}=\infty\) ，返回时间的期望是无穷。
- i 已经是常返状态，且 \(\lim_{n\rightarrow\infty} p_{ii}^{(n)}=0\) ，即返回时间的期望是无穷。
- 常返状态：
题型：
- 0 →1 → … → n → 0 的常返，使用 \(f_{00}=\sum f_{00}^{(n)} = 1\)，写出每条最终返回 0 的轨迹 + 马尔科夫链显然不可约。
- 随机游走的常返【背过】。
3 连续时间参数的马尔可夫链
必要的定义：
- Q 矩阵：
- \(q_i = -q_{ii}\)，表示转移出状态 i 的速率。\(q_{ii}\) 是小于等于 0 的数，因为如果 t 时刻的 X = i，t + Δt 时刻的 X 肯定会往外转移（小于等于 0），而非继续往 X 转移（大于 0）。所以，Q 矩阵的对角线元素应该都是负的。
- Q 矩阵每一行加起来 = 0。离散马尔可夫的 P 矩阵每一行加起来 = 1。
- （ \(P[\inf t,~X_t\neq X_0|X_0=i] = e^{-q_it}\) ，这是转移走的时间的分布；保留在 X = i 的期望时间长度是 \(1/q_i\) ，保留的期望概率是指数分布 \(1-e^{-q_it}\)，如果 X ≠ i 了，那么转移去状态 j 的概率是 \(q_{ij}/q_i\) 。
- K 向前方程：\(P'(t)=P(t)Q\)（P 在前面），向后方程：\(P'(t)=QP(t)\)（P 在后面）。
题型：
-
证明 K 向前方程：
-
\[\lim_{h\rightarrow 0} \frac{P(t+h)-P(t)}h = \lim_{h\rightarrow 0} \frac{P(t)[P(h)-I]}h \\ = P(t) \lim_{h\rightarrow 0}\frac{P(h)-I}h=P(t)Q \]
-
证明 K 向后方程：
-
\[\lim_{h\rightarrow 0} \frac{P(t+h)-P(t)}h = \lim_{h\rightarrow 0} \frac{[P(h)-I]P(t)}h \\ = \lim_{h\rightarrow 0}\frac{P(h)-I}h P(t) = QP(t) \]
-
证明（好像是任意）连续时间参数的马尔科夫链 一致连续：【背过】
-
需要证明的结论：\(P_{ij}(t+h) - P_{ij}(t)\le 1-P_{ii}(h), ~ P_{ij}(t+h) - P_{ij}(t)\ge -[1-P_{ii}(h)]\) 。
-
证 ≤：
-
\[P_{ij}(t+h) - P_{ij}(t) = \sum_{k\in S} P_{ik}(h)P_{kj}(t) - P_{ij}(t) \\ =\sum_{k\neq i} P_{ik}(h)P_{kj}(t) - P_{ij}(t)[1-P_{ii}(h)] \]
-
此时，第一项 ≥ 0，第二项也 ≥ 0。放掉第二项，式子会变大；放掉第一项，式子会变小。
-
放掉第二项：原式 \(\le \sum_{k\neq i} P_{ik}(h)P_{kj}(t) \ge \sum_{k\neq i} P_{ik}(h) = 1-P_{ii}(h)\)，得证。
-
证 ≥：
-
放掉第一项：原式 \(\ge - P_{ij}(t)[1-P_{ii}(h)]\ge - 1-P_{ii}(h)\)，得证。
-
-
定义 \(\tau_i=\inf\{t:t>-,X_t\neq X_0\}\) ，即在状态 \(X_0\) 停留的时间。有 \(P[\tau_1 > t|X_0=0]=e^{-\lambda t}\)，\(P[\tau_1 > t|X_0=1]=e^{-\mu t}\) （状态空间 \(S=\{0,1\}\) ）。写出 K 向前方程，并求解得到表达式。
-
立得 $q_0=\lambda, q_1=\mu $ 。写出 K 向前方程：
-
\[\left[\begin{matrix} p'_{00}(t) & p'_{01}(t) \\ p'_{10}(t) & p'_{11}(t) \end{matrix}\right] = \left[\begin{matrix} p_{00}(t) & p_{01}(t) \\ p_{10}(t) & p_{11}(t) \end{matrix}\right] \cdot\left[\begin{matrix} -\lambda & \lambda \\ \mu & -\mu \end{matrix}\right] \]
-
然后展开，进行微分方程求解。进行替换，\(p_{01}(t) = 1-p_{00}(t)\)，\(p_{10}(t) = 1-p_{11}(t)\)。最后求解的形式为：
-
\[p_{00}(t) = \frac{\lambda }{\lambda +\mu}e^{-(\lambda +\mu)t} + \frac{\mu }{\lambda +\mu} \\ p_{11}(t) = \frac{\mu }{\lambda +\mu}e^{-(\lambda +\mu)t} + \frac{\lambda }{\lambda +\mu} \]
-
4 泊松过程
泊松过程：
-
泊松过程是一个增量过程，写作 \(\{N_t:t\ge0\}\) ，其中 \(P(N_{s+t}-N_s=k) = P(N_t=k) = \frac{(\lambda t)^k}{k!}e^{-\lambda t}\) ；即， \(\sim P(\lambda t)\) 。
-
定义 \(S_n = \inf\{t: N_t\ge n\}\) 为第 n 个事件发生的时刻。
-
得到 \(S_n\) 的分布函数：\(P(S_n \le t)=P(N_t\ge n) = 1-P(N_t\le n-1) = 1-\sum_{k=0}^{n-1}\frac{(\lambda t)^k}{k!}e^{-\lambda t}\) 。
-
\(S_n\) 的概率密度：\(f_{s_n}(t)=\frac{\lambda(\lambda t)^{n-1}}{(n-1)!}e^{-\lambda t}I_{(t\ge 0)}\) 。（直接求导，两两相消最后只剩一项）
-
相邻事件的时间间隔 \(X_n = S_n-S_{n-1}\) ，是 \(\sim 1-e^{-\lambda x}\) 的 λ 的指数分布。（泊松过程充要条件）
题型：
- 求 \(S_n\) 的分布函数、概率密度【背过】。
- 求 \((S_1,S_2)\) 的联合概率密度（用 [h,h] 的正方形把 \((S_1,S_2)\) 圈起来计算概率），并证明 \(S_1,S_2-S_1\) 独立。【背过】
5 鞅
必要的知识：
-
鞅的定义：① \(E|X_n|<\infty\) 绝对值期望有限，② \(E(X_{n+1}|Y_0,\cdots,Y_n) = X_n\) 鞅性。
-
（\(X_n\) 是鞅，\(T\) 是停时。）
-
停时定理 1：满足 ① \(P(T<\infty) = 1\) 停时有限，② $E(\sup_{n\ge 0}|X_{T\land n}|)<\infty $ 即 X_{停时 和 n 的最小值} 的上界 有限，则 \(EX_T = EX_0\) 。【貌似常用】
-
停时定理 2：满足 ① \(ET<\infty\) 停时的期望有限，② 存在 \(b<\infty\) 使得 \(E(|X_{n+1}-X_n|\big| X_0, \cdots, X_n)\le b\) ，则 \(EX_T = EX_0\) 。
-
停时定理 3：满足 ① \(P(T<\infty) = 1\) 停时有限，② 是鞅的随机过程 \(E|X_T|<\infty\) 绝对值有限，③ \(\lim_{n\rightarrow \infty}E|X_n\mathbf 1_{\{T>n\}}| = 0\) 即 n → 无穷的那部分 |Xn| 求和趋于 0，则 \(EX_T = EX_0\) 。
-
-
上穿不等式：
-
（在需要背过答案的题 鞅收敛定理 \(P\big[\lim_{n\rightarrow \infty} X_n=X_\infty\big] = 1\) 出现，背过即可）
-
\(V^{(n)}(a,b)\) 是 \(\{X_0,\cdots,X_n\}\) 上穿 (a,b) 的次数，上穿的意思就是从 a 下面钻到了 b 上面。
-
若 \(X_n\) 关于 \(Y_n\) 是下鞅（鞅是下鞅），有
-
\[E[V^{(n)}(a,b)]\le \frac{E(X_n-a)^+ - E(X_0-a)^+}{b-a} \le \frac{EX_n^+ +|a|}{b-a} \]
-
其中 \(a^+ = \max(a,0)\)，就是 ReLU（）
-
题型：
- 用定义证明鞅。
- 鞅收敛定理 \(P\big[\lim_{n\rightarrow \infty} X_n=X_\infty\big] = 1\) ：使用上穿不等式。【背过】
- 对随机游走，证明往左右走的概率 p = 1/2 时，走到 a 或 b 的停时的 \(ET=|a|b\) 。【背过好了】
6 布朗运动的鞅
布朗运动：
- 连续时间，连续状态空间。
- \(X_t\sim N(0,t)\)，满足正态分布。有增量独立性。
- 正态分布的概率密度： \(p(x)=\frac1{\sqrt{2\pi\sigma^2}}\exp(-\frac{x^2}{2\sigma^2})\) 。
- 期望和协方差：\(EB_t=0,~E[B_sB_t] = s\land t\)。
- \(\frac1{\sqrt\lambda}B_{\lambda t},~tB(\frac 1t)\) 都是布朗运动。证明好像是：正态过程 + 轨道连续 + 期望和协方差。
题型：
-
布朗运动的联合概率密度：使用增量独立性。
- 布朗运动相加：直接说满足正态分布，求期望（0）方差（使用协方差）。
- 联合概率密度：先写各个独立增量的联合分布，然后变量代换。我不会搞矩阵那一套。
-
证明布朗运动的鞅（是连续鞅，而非离散鞅）：
- \(B_t\) 显然，使用增量独立性。
- \(B_t^2-t\) ，按鞅的定义写开即可。要改成 \(E(X_{t_{n+1}}|B_{t_1},\cdots,B_{t_n})\)，下标是连续时间。
- \(\exp(\lambda B_t-\lambda^2t/2)\)：
- 验证绝对值有限：使用正态分布的概率密度，积分 + 写开，发现 = 1。
- 验证鞅性：写开，需要用到 \(E[\exp(\lambda B_t)]=\exp(\lambda^2t/2)\) 的结论。【背过】（推导方法是积分 + 写开）
-
布朗运动的停时：
- 学习例题，背诵。普通布朗运动、带漂移的布朗运动。【背过】
- 带漂移的布朗运动 \(X(t)=B(t)+\mu t\) 的常用鞅：\(V(t)=\exp(-2\mu X(t))\)。【背过】
-
均方收敛：
-
给定 \(t>0,~\forall 0=t_0<t_1<\cdots<t_n=t\)，记 \(\lambda=\max\{t_{i+1}-t_i\}\)，证明
-
\[\lim_{\lambda \rightarrow 0}\left| \sum_{i=0}^{n-1} (B_{t_{i+1}}-B_{t_i})^2-t\right|^2 = 0 \]
-
证明：背诵九一居士，直接放缩即可。
- 首先变量代换，\(X_i=B_{t_{i}}-B_{t_{i-1}}\) 。有 \(E(X_i)^2 = t_i-t_{i-1},~E(X_i)^4 = 3(t_i-t_{i-1})^2\) 。
- 然后写开，会有一个 \(\sum_{i=1}^n 3(t_i-t_{i-1})^2\) 和一个 \(\sum_{i<j} (t_i-t_{i-1})(t_j-t_{j-1})\) ，把前者（系数为 3 的）提出一个来，跟后面凑平方，剩下两个拿 λ 放掉，放成 \(2\lambda t\rightarrow 0\)。
7 伊藤公式
貌似讲伊藤公式很清楚的视频：https://www.bilibili.com/video/BV1qZ4y1V7oR/
伊藤公式：
题型 1：证明题，直接构造 \(f(t,B_t)\) 。
题型 2：求 \(X_t = \int_0^t f(s)B_sds\) 的概率分布。
-
首先，\(X_t\) 是正态分布，因此计算 μ 和 σ²。
-
\(EX_t = 0\)，因为 Fubini 定理（？）直接写出积分形式，然后 = 0 即可。
-
\(EX_t^2\) ：
-
\[EX_t^2 = EX_tX_t = \int_0^t\int_0^t f(u)f(v) EB_uB_v dudv \\ = \int_0^t\int_0^t f(u)f(v) (u\land v) dudv \\ = \int_0^t f(u)du \left[\int_0^u vf(v)dv + \int_u^t uf(v)dv\right] \]
-
\(EB_uB_v = u\land v\)，是因为独立增量。我们假设 \(u<v\)，这样 \(EB_uB_v = E[B_u^2 + B_u(B_v-B_u)]\)，第一项根据定义是 u，第二项根据独立增量性质，\(B_u\) 和 \(B_v-B_u\) 是相互独立的，它们的期望都 = 0，因此第二项 = 0。
