信息论 Hans inequality 的证明

设 \(\alpha \subseteq \{X_1,X_2\dots X_n\}\),\(\displaystyle H_k=\binom{n}k^{-1}\sum_{|\alpha| = k}\frac{H(\alpha)}k\)，那么有 \(H_1\geq H_2\dots H_n\)

---

考虑熵的次模性，也就是对于两个集合 A,B，\(H(A) + H(B)\ge H(A\cup B) + H(A\cap B)\)

次模性证明

假设

引理：如果 \(|\alpha| = k+1\),记 \(x\in \alpha,\alpha_x\) 表示集合 \(\alpha\) 删去元素 \(x\) 得到的集合，那么下面的不等式成立：
\(\displaystyle kH(\alpha) \le \sum_{x\in alpha} H(\alpha_x)\)
证明就两边同时乘 \(k+1\) 然后右边每个 \(\alpha_x\) 和另一个 \(\alpha_y\) 配对用次模性。

使用这个不等式把原式化简一下就证完了。