Recall
- 数学里，用\(o\)和\(O\)表示the order the terms.
- \(a_n = o(1)\).
- \(a_n = O(1)\).
Stochastic order notation
是一种用来表示随机变量序列概率收敛的速记方法。
\(O_p(1)\)依概率有界；
\(o_p(1)\)依概率收敛到0.
\(X_n= O_p(a_n)\Leftrightarrow \frac{X_n}{a_n} =O_p(1)\);
\(X_n= O_p(a_n)\Leftrightarrow \frac{X_n}{a_n} =O_p(1)\);
\(O_p\) 和\(o_p\)的关系
\(o_p\) 是一个更加general的说法.
符号的理解和运算性质
再来回顾一下数学里的\(o\)和\(O\)，在华东师大版的数分教材里，特意强调了一点，我们说的 \(a_n = o(1)\)，这里的等式与通常的等式的含义是不同的. 这里等式左边是一个随机变量，右边是一个类，中间的等号含义是“属于”.
同理\(o_p\)和\(O_p\)只是用来表示随机变量序列如何收敛（either to zero or a bound ）.
也就是我们在定义说的，这只是一种记号.
例如，如果\(X_n= o_p(\frac{1}{n^2})\),那么我们完全也可以说\(X_n = o_p(\frac{1}{n})\),按照我们的需要，我们甚至只断定\(X_n = o_p(1)\).
同理，我们试着看看\(O_p\)的表现.如果\(X_n =O_p(\frac{1}{n})\)....
以上，同时也告诉我们\(O_p(a_n)\)里面的\(a_n\)为什么称作为rate项.
因为它表示收敛的速度.
这里需要注意，不要觉得\(O\)就不好理解，只因为它不同于小\(o\)趋于0的直接含义.其实也就直接理解为收敛到界的速度呀！\(O_p(1)\)下仍然众生平等，大家都收敛到各自的界.界，那总归有一个相对大的常数，作为它们共同的界，这就和固定的0是一样的了.
所以上面的例如，越到后面越描述地不够准确，或者说信息量没有被充足地利用起来，我们可以那样说，但就没有那么准确.
现在再看下面的定义：
理解这个，我们就可以对两个量的收敛速度作比较了.
不要觉得上面的第一点if only if没有意义，看起来太自然了.
如果我说：
考虑一个随机变量序列\(X_n\)，其期望为\(E(X_n)= X\), 因此\(X_n= X+o_p(1)\).
proof：根据弱大数定律知, \(X_n\stackrel{p}{\longrightarrow}X\).
这是非常有用的，因为我们不必在方程中引入明确的极限.
常用运算
了解了所谓stochastic orders的含义，我们进一步看看一些相关运算.(😄)
第1个大家按照定理证明，没有大问题.（这个更好体现出stochastic orders notation的意义所在...）
下面给出三个证明(因为是截图，不要在意前面的序号.)
【笔者说明】：这里证明的难点只在关于联合概率不等式.具体读者可以自己去证明.
参考文章：
- https://blog.csdn.net/u011375991/article/details/130813883
- https://zhuanlan.zhihu.com/p/676370426
