0. 四个子空间
1. 正交向量
两向量点乘为0，向量正交。
A ⊤ B = 0 A^{\top}B=0 A⊤B=0
勾股定理
∣ ∣ x ∣ ∣ 2 + ∣ ∣ y 2 ∣ ∣ = ∣ ∣ x + y ∣ ∣ 2 ||x||^2+||y^2||=||x+y||^2 ∣∣x∣∣2+∣∣y2∣∣=∣∣x+y∣∣2
验证正交条件
∣ ∣ x ∣ ∣ 2 = x ⊤ x = x x ⊤ ∣ ∣ y ∣ ∣ 2 = y ⊤ y = y y ⊤ ∣ ∣ x ∣ ∣ 2 + ∣ ∣ y 2 ∣ ∣ = ∣ ∣ x + y ∣ ∣ 2 ⟺ x ⊤ x + y ⊤ y = ( x + y ) ( x + y ) ⊤ = ( x + y ) ( x ⊤ + y ⊤ ) = x x ⊤ + x y ⊤ + y x ⊤ + y y ⊤ y x ⊤ = x ⊤ y = x y ⊤ = x ⊤ y 2 x ⊤ y = 0 x ⊤ y = 0 ||x||^2=x^{\top}x=xx^{\top}\\ ||y||^2=y^{\top}y=yy^{\top}\\ ||x||^2+||y^2||=||x+y||^2 \iff\\ x^{\top}x+y^{\top}y=(x+y)(x+y)^{\top}=(x+y)(x^{\top}+y^{\top})=\\ xx^{\top}+xy^{\top}+yx^{\top}+yy^{\top}\\ yx^{\top}=x^{\top}y=xy^{\top}=x^{\top}y\\ 2x^{\top}y=0\\ x^{\top}y=0 ∣∣x∣∣2=x⊤x=xx⊤∣∣y∣∣2=y⊤y=yy⊤∣∣x∣∣2+∣∣y2∣∣=∣∣x+y∣∣2⟺x⊤x+y⊤y=(x+y)(x+y)⊤=(x+y)(x⊤+y⊤)=xx⊤+xy⊤+yx⊤+yy⊤yx⊤=x⊤y=xy⊤=x⊤y2x⊤y=0x⊤y=0
也即垂直的条件
x ⊤ y = 0 x^{\top}y=0 x⊤y=0
举例:
x = [ 1 2 3 ] y = [ 2 − 1 0 ] x + y = [ 3 1 3 ] ∣ x ∣ 2 + ∣ y ∣ 2 = 1 + 4 + 9 + 4 + 1 = 19 ∣ x + y ∣ 2 = 9 + 9 + 1 = 19 x=\begin{bmatrix} 1 \\ 2\\ 3 \end{bmatrix} y=\begin{bmatrix}2 \\ -1\\ 0 \end{bmatrix}\\ x+y=\begin{bmatrix} 3 \\ 1\\ 3 \end{bmatrix}\\ |x|^2+|y|^{2}=1+4+9+4+1=19\\ |x+y|^2=9+9+1=19 x= 123 y= 2−10 x+y= 313 ∣x∣2+∣y∣2=1+4+9+4+1=19∣x+y∣2=9+9+1=19
2. 正交子空间
空间 S S S正交空间 T T T:
∀ s → ∈ S , ∀ t → ∈ T : s → t → = 0 ⟺ s → ⊥ t → \forall \overrightarrow{s} \in S,\forall \overrightarrow{t} \in T: \overrightarrow{s}\overrightarrow{t}=0 \iff \overrightarrow{s} \perp \overrightarrow{t} ∀s∈S,∀t∈T:st=0⟺s⊥t
方阵行空间 C ( A ⊤ ) C(A^{\top}) C(A⊤)与零空间 N ( A ) N(A) N(A)正交证明
A X = 0 [ r 1 r 2 r 3 . . . r m ] y = [ r 1 r 2 r 3 . . . r m ] [ x 1 x 2 r 3 . . . r n ] = [ 0 0 0 . . . 0 ] AX=0\\ \begin{bmatrix} r_1\\r_2\\r_3\\...\\r_m \end{bmatrix} y=\begin{bmatrix} r_1\\r_2\\r_3\\...\\r_m \end{bmatrix} \begin{bmatrix} x_1\\x_2\\r_3\\...\\r_n \end{bmatrix}= \begin{bmatrix} 0\\0\\0\\...\\0 \end{bmatrix} AX=0 r1r2r3...rm y= r1r2r3...rm x1x2r3...rn = 000...0
可以得到
y ⊥ r k y ⊥ a k r k y ⊥ ∑ k = 1 m a k r k y \perp r_k\\ y \perp a_kr_k\\ y \perp \sum_{k=1}^{m}a_kr_k y⊥rky⊥akrky⊥k=1∑makrk
y y y为 N ( A ) N(A) N(A)空间任意一向量，所以得证。
N ( A ) 与 C ( A ⊤ ) N(A)与C(A^{\top}) N(A)与C(A⊤)是空间 R n R^{n} Rn中的正交全集。
3. 求解无解的 A X = b AX=b AX=b
求解无解的 A X = b AX=b AX=b是什么意思呢？
假设矩阵 m > n m \gt n m>n, b b b不能由 A A A中各列线性组合得到时。
实际情况就是，测量数据多于实际需要数据；
测量数据中可能混入了出错的数据，我们需要把错误的数据给筛选出去。
解决办法: 同时左乘 A ⊤ A^{\top} A⊤变为了一个对称矩阵。
A X = b ⟶ A ⊤ A X ^ = A ⊤ b AX=b \longrightarrow A^{\top}A\hat{X}=A^{\top}b AX=b⟶A⊤AX^=A⊤b
N ( A ⊤ A ) N(A^{\top}A) N(A⊤A)
不一定总可逆。
若矩阵
A = [ 1 1 1 2 1 5 ] A ⊤ = [ 1 1 1 1 2 5 ] A ⊤ A = [ 3 8 8 30 ] A= \begin{bmatrix} 1 & 1\\ 1 & 2\\ 1 & 5\\ \end{bmatrix} A^{\top}= \begin{bmatrix} 1 & 1 & 1\\ 1 & 2 & 5\\ \end{bmatrix}\\ A^{\top}A= \begin{bmatrix} 3 & 8\\ 8 & 30\\ \end{bmatrix} A= 111125 A⊤=[111215]A⊤A=[38830]
此时 A ⊤ A A^{\top}A A⊤A可逆
若
A = [ 1 1 1 1 1 1 ] A ⊤ = [ 1 1 1 1 1 1 ] A ⊤ A = [ 3 3 3 3 ] A= \begin{bmatrix} 1 & 1\\ 1 & 1\\ 1 & 1\\ \end{bmatrix} A^{\top}= \begin{bmatrix} 1 & 1 & 1\\ 1 & 1 & 1\\ \end{bmatrix}\\ A^{\top}A= \begin{bmatrix} 3 & 3\\ 3 & 3\\ \end{bmatrix} A= 111111 A⊤=[111111]A⊤A=[3333]
此时 A ⊤ A A^{\top}A A⊤A不可逆。
性质
N ( A ⊤ A ) = N ( A ⊤ ) r a n k ( A ⊤ A ) = r a n k ( A ) N(A^{\top}A)=N(A^{\top})\\ rank(A^{\top}A)=rank(A) N(A⊤A)=N(A⊤)rank(A⊤A)=rank(A)
下节再证明吧。
