向量的范数
向量的内积
设有两个n维向量\(x=(x_1,x_2,x_3...x_n)^T\)，\(y=(y_1,y_2,y_3...y_n)^T\)，
那么x，y的内积为
\[(x,y)=x_1y_1+x_2y_2+x_3y_3+...+x_ny_n
\]
向量的度量
关于向量的函数\(\rho(x)\)如果是向量的度量，那么必须要满足以下的三个条件
- \(\rho(x)\geq0 ，且\rho(x)=0当且仅当x=0\)
- 对于任意常数\(\alpha\)有\(\rho(\alpha x)=|\alpha|\rho(x)\)
- 对于任意的x，y，三角不等式\(\rho(x)+\rho(y)\leq\rho(x+y)\)成立
\(L_0\)范数
\[||x||_0=非零元素个数
\]
\(L_1\)范数
\[||x||_1=\sum_{i=1}^n|x|_i
\]
\(L_2\)范数
\[||x||_2=\sqrt{\sum_{i=1}^n|x_i|^2}
\]
\(L_\infty\)范数
\[||x||_\infty=max\lbrace |x_1|,|x_2|,|x_3|...|x_n|\rbrace
\]
\(L_p\)范数
\[||x||_p=(\sum_{i=1}^n|x_i|^p)^{\frac 1 p}
\]
Holder不等式
若\(\frac 1 p +\frac 1 q=1\)，有
\[|x^Ty|\leq ||x||_p||y||_q
\]
范数的等价性
\(R^n\)上所有的范数都是等价的，也就是说，对于对于两个范数\(||\cdot||_\alpha\)与\(||\cdot||_\beta\)，存在\(c_1,c_2>0\)满足
\[c_1||x||_\alpha\leq ||x||_\beta\leq c_2||x||_\alpha
\]
常用的范数等价性有
\[||x||_2\leq||x||_1\leq\sqrt n||x||_2
\]
\[||x||_\infty\leq ||x||_2\leq \sqrt n ||x||_\infty
\]
\[||x||_\infty\leq ||x||_1\leq n||x||_\infty
\]
矩阵范数
矩阵的度量
矩阵的度量和和向量的度量有着类似的定义，对于矩阵A，若\(\rho(A)\)是矩阵的度量，有
\[\rho(A)\geq 0,\rho(A)=0当且仅当A=0
\]
\[\rho(A+B)\leq \rho(A)+\rho(B)
\]
\[\rho(\alpha A)=|\alpha|\rho(A)
\]
Frobenius范数
对于\(A \in R^{m \times n}\)
\[||A||_F=\sqrt{\sum_{i=1}^m\sum_{j=1}^n|a_{ij}|^2}
\]
p范数
对于\(A \in R^{m \times n}\)
\[||A||_p=(\sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^p)^{\frac 1 p}=\sup_{x=0}||A(\frac{x}{||x||_p})||_p=\max_{||x||_p=1}||Ax||_p
\]
当\(p=1,2,\infty\)分别为\(L_1\)，Frobenius，无穷范数
二范数的一个定理
假设\(A\in R^{m\times n}\)，则存在一个单位二范数n维向量x使得
\[A^TAx=||A||_2^2x
\]
由此能得到
\[||A||_2=\sqrt{\lambda_{max}(A^TA)}
\]
参考资料
吉恩·戈卢布，矩阵计算，人民邮电出版社
