【矩阵论】7.范数理论——基本概念——矩阵范数生成向量范数谱范不等式

7.1.3 矩阵范数产生向量范数

$C^{n\times n}$ 上任一矩阵范数 $\Vert \bullet \Vert$ 都产生一个向量范数 $\phi (X)=\Vert X{\Vert }_V$

• 矩阵范数与向量范数的相容性：$\phi (Ax)\le \Vert A\Vert \phi (x)$ ，即 $\Vert AX{\Vert }_V\le \Vert A\Vert \cdot \Vert X{\Vert }_V$ ,$\forall A\in C^{n,n},\forall X\in C^n$

证明：
$$\begin{array}{rl}& 设向量范数\phi (X)\stackrel{\Delta }{=}\Vert X{\alpha }^T\Vert ,\forall X\in C^n,\alpha =\left(\begin{array}{c}{a}_1\\ ⋮\\ a_n\end{array}\right)\ne \vec{0}为权向量,表示对每个列向量放缩形成矩阵\\ & 则\phi (X)\stackrel{\Delta }{=}\Vert X{\alpha }^T\Vert =\Vert a_{1}X,a_{2}X,\cdots ,a_{n}X\Vert ，右边为一个矩阵范数\\ & 显然①正性：\phi (X)=\Vert X{\alpha }^T\Vert \ge 0\\ & ②齐性：\phi (kX)=\Vert (kX){\alpha }^T\Vert =\Vert a_{1}kX,a_{2}kX,\cdots ,a_{n}kX\Vert =|k|\Vert a_{1}X,a_{2}X,\cdots ,a_n{X}_n\Vert =|k|\phi (X)\\ & ③三角性：令X，Y\in C^n,\\ & \because \phi (X+Y)=\Vert (X+Y){\alpha }^T\Vert =\Vert X{\alpha }^T+Y{\alpha }^T\Vert \le \Vert X{\alpha }^T\Vert +\Vert Y{\alpha }^T\Vert =\phi (X)+\phi (Y)\\ & ④相容性：\phi (AX)=\Vert (AX){\alpha }^T\Vert =\Vert A(X{\alpha }^T)\Vert \le \Vert A\Vert \cdot \Vert X{\alpha }^T\Vert =\Vert A\Vert \cdot \phi (X)\\ & 可证，\Vert AX{\Vert }_V\le \Vert A\Vert \cdot \Vert X{\Vert }_V,即矩阵范数与向量范数有相容性\end{array}$$
eg

• F范数与向量2-范数相容： $\Vert Ax{\Vert }_2\le \Vert A{\Vert }_F\cdot \Vert x{\Vert }_2$
• 总和范数与1-范数，$\infty$-范数相容：$\Vert Ax{\Vert }_1\le \Vert A{\Vert }_M\cdot \Vert x{\Vert }_1$ ，$\Vert Ax{\Vert }_{\infty }\le \Vert A{\Vert }_M\cdot \Vert x{\Vert }_{\infty }$
• G范数与1-范数，$\infty$-范数相容，2-范数相容：$\Vert Ax{\Vert }_1\le \Vert A{\Vert }_G\cdot \Vert x{\Vert }_1$ ,$\Vert Ax{\Vert }_2\le \Vert A{\Vert }_G\cdot \Vert x{\Vert }_2$ ,$\Vert Ax{\Vert }_{\infty }\le \Vert A{\Vert }_G\cdot \Vert x{\Vert }_{\infty }$

a. 特别生成公式

令 $e_1=\left(\begin{array}{c}1\\ 0\\ ⋮\\ 0\end{array}\right)$ ，取 $e_1^T$ 作为向量 $X$ 的放缩量，将向量范数与矩阵范数建立联系

$\phi (X)\stackrel{\Delta }{=}\Vert X{e}_1^T{\Vert }_V=\Vert X(1,0,\cdots ,0)\Vert ={\Vert \left(\begin{array}{cccc}{x}_1& 0& \cdots & 0\\ x_2& 0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ x_n& 0& \cdots & 0\end{array}\right)\Vert }_{\ast }$ , $X=\left(\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right)\in C^n$ ，且 $\Vert X{\Vert }_V$ 满足相容性 $\Vert AX{\Vert }_V\le \Vert A{\Vert }_{\ast }\cdot \Vert X{\Vert }_V$ ， $A\in C^{n,n}$ ， $X\in C^n$

eg

取 F 范数 $\Vert A\Vert =\Vert A{\Vert }_F$ ，验证F范数与向量2-范数的相容性
$$\begin{array}{rl}& 由特别生成公式，\Vert X{\Vert }_V\stackrel{\Delta }{=}\Vert X{e}_1^T\Vert ={\Vert \left(\begin{array}{cccc}{x}_1& 0& \cdots & 0\\ x_2& 0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ x_n& 0& \cdots & 0\end{array}\right)\Vert }_F=\sqrt{|x_1{|}^2+|x_2{|}^2+\cdots +|x_n{|}^2}\\ & =\Vert X{\Vert }_2,即有F范数\Vert A{\Vert }_F可产生向量范数\Vert X{\Vert }_2\\ & 对相容性的验证：\\ & \forall A\in C^{n,n},\Vert AX{\Vert }_2=\Vert (AX)e_1^T\Vert =\Vert A(X{e}_1^T)\Vert \le \Vert A{\Vert }_F\cdot \Vert X{\Vert }_2\end{array}$$

取总和范数 $\Vert A{\Vert }_M=\sum |a_{ij}|$ ，写出矩阵范数产生的向量范数，并写出相容性
$$\begin{array}{rl}& 由特别生成公式,\Vert X{\Vert }_V\stackrel{\Delta }{=}\Vert X{e}_1^T\Vert ={\Vert \left(\begin{array}{cccc}{x}_1& 0& \cdots & 0\\ x_2& 0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ x_n& 0& \cdots & 0\end{array}\right)\Vert }_M=\sum |a_{ij}|=\Vert X{\Vert }_1\\ & 即有相容性：\Vert AX{\Vert }_1=\Vert AX{e}_1^T\Vert \le \Vert A\Vert \cdot \Vert X{\Vert }_1=\Vert A{\Vert }_M\cdot \Vert X{\Vert }_1\\ & 至于M范数与\infty -范数相容，则需要其他的生成公式证明\end{array}$$

取行范数 $\Vert A{\Vert }_{\infty }$ ，写出矩阵范数产生的向量范数，并写出相容性
由特别生成公式， ∥ X ∥ V = Δ ∥ X e 1 T ∥ = ∥ ( x 1 0 ⋯ 0 x 2 0 ⋯ 0 ⋮ ⋮ ⋱ ⋮ x n 0 ⋯ 0 ) ∥ ∞ = max ⁡ 1 ≤ i ≤ n { ∣ x i ∣ } = ∥ X ∥ ∞ ∥ A X ∥ ∞ ≤ ∥ A ∥ ∞ ∥ X ∥ ∞ \begin{aligned} &由特别生成公式，\Vert X\Vert_V\overset{\Delta}{=}\Vert Xe_1^T\Vert=\left\Vert \left(\begin{matrix} x_1&0&\cdots&0\\x_2&0&\cdots&0\\\vdots&\vdots&\ddots&\vdots\\x_n&0&\cdots&0\end{matrix}\right)\right\Vert_\infty=\max_{1\le i\le n}\{\vert x_i\vert\}=\Vert X\Vert_{\infty}\\ &\Vert AX\Vert_\infty\le\Vert A\Vert_\infty\Vert X\Vert_\infty \end{aligned} ​由特别生成公式，∥X∥V​=Δ∥Xe1T​∥= ​ ​x1​x2​⋮xn​​00⋮0​⋯⋯⋱⋯​00⋮0​ ​ ​∞​=1≤i≤nmax​{∣xi​∣}=∥X∥∞​∥AX∥∞​≤∥A∥∞​∥X∥∞​​

取列范数 $\Vert A{\Vert }_1$ ，由特别生成公式 $\Vert X{\Vert }_V\stackrel{\Delta }{=}\Vert X{\Vert }_1$ , $\Vert AX{\Vert }_1\le \Vert A{\Vert }_1\cdot \Vert X{\Vert }_1$

7.1.4 谱范不等式

a. 谱半径

ρ ( A ) = m a x { ∣ λ 1 ∣ , ∣ λ 2 ∣ , ⋯   , ∣ λ n ∣ } 为方阵 A = A n × n 的谱半径， 其中，方阵 A 的特征根为 λ ( A ) = { λ 1 , ⋯   , λ n } \begin{aligned} &\rho(A)=max\{\vert \lambda_1\vert,\vert \lambda_2\vert,\cdots,\vert \lambda_n\vert\}为方阵 A=A_{n\times n} 的谱半径，\\ &其中，方阵A的特征根为\lambda(A)=\{\lambda_1,\cdots,\lambda_n\} \end{aligned} ​ρ(A)=max{∣λ1​∣,∣λ2​∣,⋯,∣λn​∣}为方阵A=An×n​的谱半径，其中，方阵A的特征根为λ(A)={λ1​,⋯,λn​}​

eg

$$\begin{array}{rl}& \because {\lambda }_1=\frac{1}{2},{\lambda }_2=\frac{1}{3},\therefore \rho (A)={\lambda }_1=\frac{1}{2}\end{array}$$

λ ( A ) = { 2 i , 1 } , ρ ( A ) = 2 \begin{aligned} &\lambda(A)=\{2i,1\},\rho(A)=2 \end{aligned} ​λ(A)={2i,1},ρ(A)=2​

a. 谱半径性质

• 正性：任一方阵 $A_{n\times n}$ 必有 $\rho (A)\ge 0$

• 齐次公式：$\rho (kA)=|k|\rho (A)$

  可写齐次公式 $\rho (\frac{A}{k})=\frac{1}{|k|}\rho (A)$

  可取正数 $k=\rho (A)+ϵ,ϵ>0$ ，则有 $\rho (\frac{A}{k})=\rho (\frac{A}{\rho (A)+ϵ})=\frac{1}{\rho (A)+ϵ}\rho (A)<1$

• 幂公式：$\rho (A^k)=[\rho (A){]}^k$

b. 谱范不等式

$\rho (A)\le \Vert A\Vert$ 对于一切矩阵范数 $\Vert A\Vert$ 成立

• SP：若 A 是正规阵，则 $\rho (A)=\Vert A{\Vert }_2$
• $\rho (A)=\underset{k\to \infty }{\lim }\Vert A^k{\Vert }^{\frac{1}{k}}$

证明：
λ ( A ) = { λ 1 , λ 2 , ⋯   , λ n } ， λ 1 = m a x { ∣ λ 1 ∣ , ⋯   , ∣ λ n ∣ } = ρ ( A ) 取特根 X ≠ 0 , 使 A X = λ 1 X , 令矩阵 B = ( X , X , ⋯   , X ) n × n ≠ 0 可知 A B = ( A X , ⋯   , A X ) = λ 1 B , ∣ λ 1 ∣ ∥ B ∥ = ∥ A B ∥ ≤ ∥ A ∥ ⋅ ∥ B ∥ ，且 ∥ B ∥ > 0 ∴ ∣ λ 1 ∣ < ∥ A ∥ , 由谱半径定义得： ρ ( A ) = ∥ A ∥ \begin{aligned} &\lambda(A)=\{\lambda_1,\lambda_2,\cdots,\lambda_n\} ，\lambda_1=max\{\vert\lambda_1\vert,\cdots,\vert \lambda_n\vert\} =\rho(A)\\ &取特根X\neq 0,使AX=\lambda_1X,令矩阵B=\left(X,X,\cdots,X\right)_{n\times n}\neq 0\\ &可知AB=(AX,\cdots,AX)=\lambda_1B,\vert \lambda_1\vert\Vert B\Vert=\Vert AB\Vert\le \Vert A\Vert\cdot\Vert B\Vert，且\Vert B\Vert>0\\ &\therefore \vert \lambda_1\vert<\Vert A\Vert,由谱半径定义得：\rho(A)=\Vert A\Vert \end{aligned} ​λ(A)={λ1​,λ2​,⋯,λn​}，λ1​=max{∣λ1​∣,⋯,∣λn​∣}=ρ(A)取特根X=0,使AX=λ1​X,令矩阵B=(X,X,⋯,X)n×n​=0可知AB=(AX,⋯,AX)=λ1​B,∣λ1​∣∥B∥=∥AB∥≤∥A∥⋅∥B∥，且∥B∥>0∴∣λ1​∣<∥A∥,由谱半径定义得：ρ(A)=∥A∥​
证明2：
$$\begin{array}{rl}& 任取矩阵范数\Vert A\Vert ,产生向量范数\Vert X\Vert ,且\Vert AX\Vert \le |A\Vert \cdot \Vert X\Vert \\ & 任取A的特征值\lambda ,有特向X\ne 0,使AX=\lambda X\\ & 则|\lambda |\Vert X\Vert =\Vert \lambda X\Vert =\Vert AX\Vert \le \Vert A\Vert \cdot \Vert X\Vert ,且\Vert X\Vert >0\\ & \therefore |\lambda |\le \Vert A\Vert \Rightarrow \rho (A)\le \Vert A\Vert \end{array}$$

c. 小范数定理

设 $A\in C^{n,n}$ 固定，任取很小正数 $ϵ>0$ ，则有矩阵范数 $\Vert \bullet {\Vert }_{ϵ}$ ，使 $\Vert A{\Vert }_{ϵ}\le \rho (A)+ϵ$

证明小范数定理

新范数公式：固定可逆阵 $P=P_{n\times n}$ ， $\Vert A\Vert$ 为矩阵范数 $A\in C^{n\times n}$ ，令 $\phi (A)=\Vert P^{-1}AP\Vert$ ，则 $\phi (A)$ 为矩阵范数，记新范数为 $\phi (A)=\Vert A{\Vert }_P$ 或 $\phi (A)=\Vert A{\Vert }_{新}$

推论

若 $\rho (A)<1$ ，则有某个范数 $\Vert A{\Vert }_{ϵ}<1$
$$\begin{array}{rl}& \because \rho (A)<1，则1-\rho (A)>0,取ϵ>0很小，任意ϵ<\frac{1}{2}[1-\rho (A)]\\ & 可知\rho (A)+ϵ<\rho (A)+\frac{1}{2}[1-\rho (A)]=\frac{1}{2}[1+\rho (A)]<1,\\ & 由小范数定理，\exists \Vert A{\Vert }_{ϵ}<\rho (A)+ϵ<1\end{array}$$

总结

给定方阵 $A_{n\times n}$ ，$\forall ϵ>0$ ，有某个范数 $\Vert \bullet {\Vert }_{ϵ}<\rho (A)+ϵ$

SP：若 $\rho (A)<1$ ，则有某范数 $\Vert A{\Vert }_{ϵ}<1$

若 $A=A_{n\times n}$ 为单阵（相似与对角阵） ，则存在矩阵范数 $\Vert X{\Vert }_P,X\in C^{n\times n}$ ，使得 $\Vert A\Vert_P=\rho(A) $

e. 谱范的应用——矩阵绝对收敛判定

若方阵A满足 $A^k\to 0(k\to \infty )$ ，即 $\underset{k\to \infty }{\lim }{A}^k=0$ ，称A为收敛阵

充要条件

1. $\underset{k\to \infty }{\lim }{A}^k=0⟺\Vert A^k\Vert =0$

   证明：
   $$\begin{array}{rl}& \because \underset{k\to \infty }{\lim }{A}^k=0⟺A^k中每个元素a_{ij}^{(k)}\to 0⟺\Vert A^k{\Vert }_M=\sum _{i,j}|a_{ij}^{(k)}|\stackrel{k\to \infty }{\to }0\\ & 且由矩阵范数等价性，有\underset{k\to \infty }{\lim }{A}^k=0⟺\Vert A^k\Vert \stackrel{k\to \infty }{\to }0\end{array}$$

2. $\rho (A)<1⟺\Vert A^k\Vert \to 0(k\to \infty )\Rightarrow A^k\to 0(k\to \infty )$

   • 充分性：

     若 $\rho (A)<1$,则 $\exists$ 某小范数 $\Vert A{\Vert }_{ϵ}<1\Rightarrow \Vert A^k{\Vert }_{ϵ}\le \Vert A{\Vert }_{ϵ}^k\to 0⟺\Vert A^k{\Vert }_{ϵ}\to 0$

     由于范数等价性，对于所有范数都有 $\Vert A^k\Vert \stackrel{k\to \infty }{\to }0$

   • 必要性：

     

充分条件

• 某一范数 $\Vert A\Vert <1\Rightarrow \Vert A^k\Vert \to 0(k\to \infty )$

  若范数 $\Vert A\Vert <1\Rightarrow \Vert A^k\Vert \le \Vert A{\Vert }^k$ 已知 $\Vert A\Vert <1\Rightarrow \Vert A{\Vert }^k\stackrel{k\to \infty }{\to }0$ ,则 $\Rightarrow \Vert A^k\Vert \to 0\Rightarrow A^k\stackrel{k\to \infty }{\to }0，A为收敛阵$

总结

$\rho (A)<1⟺A^k\to 0(k\to \infty )$ ，A为收敛阵

某一范数 $\Vert A\Vert <1\Rightarrow A^k\to 0(k\to \infty )$ ，A为收敛阵

纽曼公式(矩阵级数收敛公式)

1. 若 $\rho (A)<1$ ，则 $I+A+A^2+\cdots +A^k=(I-A{)}^{-1}$ ；

   若 $\rho (A)\ge 1$ ，则 $I+A+A^2+\cdots +A^k$ 发散，无意义

   

2. 若某范数 $\Vert A\Vert <1$ ，则 $I+A+A^2+\cdots +A^k=(I-A{)}^{-1}$

证明
$$\begin{array}{rl}& (1)已知\rho (A)<1\Rightarrow A^k\to 0(k\to \infty )\\ & (I-A)(I+A+A^2+\cdots +A^k)=I-A^{k+1}\\ & 当k\to \infty ,\Rightarrow (I-A)(I+A+A^2+\cdots +A^k)=I\\ & 故可得(I-A{)}^{-1}=I+A+A^2+\cdots +A^k\end{array}$$

$$\begin{array}{rl}& (2)若\Vert A\Vert <1,则\rho (A)\le \Vert A\Vert <1,由(1)结论，可知结论成立\end{array}$$

eg

∥ A ∥ 1 = 4 3 , ∥ A ∥ ∞ = 3 2 , λ ( A ) = { 1 2 , 1 3 } ， ρ ( A ) < 1 故 ∑ k = 0 ∞ A k = ( I − A ) − 1 = ( 1 2 − 1 0 2 3 ) − 1 = 3 ( 2 3 1 0 1 2 ) = ( 2 3 0 3 2 ) \begin{aligned} &\Vert A\Vert_1=\frac{4}{3},\Vert A\Vert_\infty=\frac{3}{2},\lambda(A)=\{\frac{1}{2},\frac{1}{3}\} ，\rho(A)<1\\ &故\sum_{k=0}\limits^\infty A^k=(I-A)^{-1}=\left( \begin{matrix} \frac{1}{2}&-1\\0&\frac{2}{3} \end{matrix} \right)^{-1}=3\left( \begin{matrix} \frac{2}{3}&1\\0&\frac{1}{2} \end{matrix} \right)=\left( \begin{matrix} 2&3\\0&\frac{3}{2} \end{matrix} \right) \end{aligned} ​∥A∥1​=34​,∥A∥∞​=23​,λ(A)={21​,31​}，ρ(A)<1故k=0∑∞​Ak=(I−A)−1=(21​0​−132​​)−1=3(32​0​121​​)=(20​323​​)​

$\Vert (I-A{)}^{-1}\Vert$ 计算

设 $A\in C^{n\times n}$ ， $\Vert A\Vert$ 是矩阵范数，若 $\Vert A\Vert <1$ ，则 $I-A$ 为非奇异阵(可逆)，且 $\Vert (I-A{)}^{-1}\Vert \le \frac{\Vert I\Vert }{1-\Vert A\Vert }$