矩阵分析 5

向量范数

介绍

• 定义：如果$V$是数域$P$上的线性空间，且对于$x\in V$，存在$V\to R$的函数$||x||$，满足
  • 非负性：$||x||\ge 0$，当且仅当$x=0$取等
  • 齐次性：$||kx||=|k|\ast ||x||$
  • 三角不等式：$||x+y||\le ||x||+||y||$

这里记录一些常见的范数

• $||x||=\sqrt{\sum _{i=1}^n|x_i{|}^2}$，称作2-范数或者欧式范数，记为$||x|{|}_2$

  • 该函数显然满足非负性和齐次性，利用柯西不等式可以得到三角不等式也满足

• $||x||=ma{x}_{i=1}^n|x_i|$，称作$\mathrm{\infty }-$范数，记为$||x|{|}_{\mathrm{\infty }}$

  • 验证三条性质都是简单的

• $||x||=(\sum _{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}$，称作p-范数，其中$1\le p<+\mathrm{\infty }$，记为$||x|{|}_p$

  • 非负性和齐次性仍然是显然的
  • 三角不等式则可由Young不等式或Holder不等式得出
  • 不难发现$p=2$和$p\to +\mathrm{\infty }$的情况下，p-范数变为上述两种情况

• 对于正定埃尔米特矩阵$A$，定义$||x|{|}_A=\sqrt{x^{H}Ax}$，称作椭圆范数

  • 非负性和齐次性仍然是显然的

  • 三角不等式：由于$A$是正定埃尔米特矩阵，因此存在非奇异矩阵$P$，使得$A=P^{H}P$

    那么，$||x|{|}_A=||Px|{|}_2$，而$||P(x+y)|{|}_2=||Px+Py|{|}_2\le ||Px|{|}_2+||Py|{|}_2$

向量范数的等价性

• 称向量范数$||\cdot |{|}_a$，$||\cdot |{|}_b$等价，当且仅当存在$c_1,c_2>0$，使得对于任意$x$，

  $$c_1||x|{|}_b\le ||x|{|}_a\le c_2||x|{|}_b$$

• 两个范数等价，当且仅当它们具有相同的敛散性

  • 充分性是显然的，我们考虑必要性的证明

    反证法，不妨设对于任意大的整数$n$，都存在$x_n$，使得$||x_n|{|}_b>n||x_n|{|}_a$

    那么，我们考虑序列$x_n^{\prime }=x_n\ast ||x_n|{|}_b^{-1}$，显然$\underset{n\to \mathrm{\infty }}{lim}||x_n^{\prime }|{|}_b=1$

    而$||x_n^{\prime }|{|}_a=||x_n|{|}_a\ast ||x_n|{|}_b^{-1}<\frac{1}{n}$，因此$\underset{n\to \mathrm{\infty }}{lim}||x_n^{\prime }|{|}_a=0$，这与有相同的敛散性这一条件矛盾，矛盾的根源在于假设，因此命题是正确的

• 有限维线性空间上的不同范数是等价的

  • 向量范数的等价关系有传递性，我们只需证明所有范数都与某种范数等价即可

  • 首先，由于是有限维线性空间，我们取一组基底$e_1,e_2,...,e_n$，对于任意向量$x$，如果$x=\sum x_i{e}_i$，那么，对于向量范数$||\cdot |{|}_a$，定义$f(x_1,x_2,...,x_n)=||x|{|}_a$，不难证明$f(x_1,x_2,...,x_n)$是一个连续函数

    不妨设$||x|{|}_b$是另一种范数，我们考虑$f(x_1,x_2,...,x_n)$在$||x|{|}_b=1$上的分布情况，由$f$的连续性可知它可以取到最大值$M$和最小值$m$

    而对于$||x|{|}_b=k(k\ne 0)$的一般情况，我们有$m\le ||x\ast k^{-1}|{|}_a\le M$，即$m||x|{|}_b\le ||x|{|}_a\le M||x|{|}_b$

矩阵范数

矩阵范数

• 定义：对于矩阵$A$，如果存在实值函数$||A||$，满足

  • 非负性：$||A||\ge 0$，当且仅当$A=O$时取等
  • 齐次性：$||kA||=k||A||$
  • 三角不等式：$||A+B||\le ||A||+||B||$
  • 相容性：$||AB||\le ||A||\ast ||B||$

  称该函数为矩阵范数

定义中的次乘性的一个感性理解是，当$||A||<1$时，将有$\underset{n\to \mathrm{\infty }}{lim}||A|{|}^n=0(n\to \mathrm{\infty })$

• 不难验证下列函数都是矩阵范数

  $$||A|{|}_{m_1}=\sum _{i,j}|a_{ij}|$$

  $$||A|{|}_{m_2}=n\ast \underset{i.j}{max}|a_{i,j}|$$

  $$||A|{|}_F=(\sum _{i.j}|a_{ij}{|}^2{)}^{1/2}$$

最后一种矩阵范数简称为F-范数，F-范数有不错的性质

• 设$U,V$为酉矩阵，那么$||A|{|}_F=||UAV|{|}_F$
  • 注意到$||A|{|}_F=(tr(A{A}^H){)}^{1/2}$，$(UAV)(UAV{)}^H$和$A{A}^H$相似
• 矩阵范数在有限维线性空间下也有等价性

算子范数

• 定义：设$||x||$是一个向量范数，那么，我们定义$||A||=\underset{x\ne 0}{sup}\frac{||Ax||}{||x||}=\underset{x=1}{max}||Ax||$为由向量范数$||\cdot ||$诱导出的算子范数

  • 由定义，算子范数满足$||Ax||\le ||A||\ast ||x||$，此时，我们称矩阵范数$||A||$和向量范数$||x||$相容

  • 算子范数是一种矩阵范数

    • 非负性，齐次性，三角不等式都可以转化为向量范数来证明
    • 对于次乘性，设$x_0$是在$||x||=1$中，使得$||ABx||$取到最大值的$x$，那么$||AB||=||AB{x}_0||\le ||A||\ast ||B{x}_0||\le ||A||\ast ||B||$，其中的不等式利用的是算子范数的性质

  • $||I||=1$对任何算子范数成立

• 我们给出几个特例的算子范数

  对应于向量范数$||x|{|}_1,||x|{|}_2,||x|{|}_{\mathrm{\infty }}$的算子范数分别为

  $$||A|{|}_1=\underset{j}{max}\sum _{i=1}^m|a_{ij}|$$

  $$||A|{|}_2={\sigma }_{max}=\sqrt{{\lambda }_{max}}$$

  上式中${\lambda }_{max}$表示矩阵$A{A}^H$的最大特征值

  $$||A|{|}_{\mathrm{\infty }}=\underset{i}{max}\sum _{j=1}^n|a_{ij}|$$

  它们分别被称作列范数，谱范数，行范数

  • 列范数和行范数不难证明，我们对谱范数稍作解释

    对$||x||=1$，不难得到$||Ax|{|}_2^2=(Ax{)}^{H}Ax=x^H{A}^{H}Ax$

    设$A^{H}A$的谱分解为$\sum {\lambda }_i{x}_i^H{x}_i$，其中${\lambda }_1\ge ...\ge {\lambda }_m$，并设$x=\sum a_i{x}_i$

    那么$x^H{A}^{H}Ax=\sum {\lambda }_i|a_i{|}^2\le {\lambda }_1$，当$a_1=1$时可以取到等号

谱范数

性质

谱范数和F-范数一样，有比较好的性质

• 设$U,V$为酉矩阵，那么$||A|{|}_2=||UAV|{|}_2$

  • 证明：$A{A}^H$和$(UAV)(UVA{)}^H$相似

• $||A|{|}_2=||A^H|{|}_2$

  • $A{A}^H$和$A^{H}A$有相同的非零特征值

• $||A|{|}_2=\underset{||x|{|}_2=1,||y|{|}_2=1}{max}|y^{H}Ax|$

  • $|y^{H}Ax|\le ||y^H|{|}_2\ast ||A|{|}_2\ast ||x|{|}_2\le ||A|{|}_2$

    存在$x_0$满足条件，并且使得$||A{x}_0|{|}_2=||A|{|}_2$，此时，取$y_0=A{x}_0\ast ||A{x}_0|{|}^{-1}$可以取得等号

• $||A^{H}A|{|}_2=||A|{|}_2^2$

  • $||A^{H}A|{|}_2\le ||A^H|{|}_2\ast ||A|{|}_2=||A|{|}_2^2$

    $||A^{H}A|{|}_2=max|y^H{A}^{H}Ax|\ge max|x^H{A}^{H}Ax|$

谱半径

• 定义：设$A$的特征值为${\lambda }_1,...,{\lambda }_n$，那么称$\rho (A)=\underset{i}{max}|{\lambda }_i|$，称为$A$的谱半径

谱半径有非常良好的性质

• $\rho (A)\le ||A||$，谱半径不会超过$A$的任何一种范数

为了证明这个定理，我们需要一个引理 `

• 引理：对于任何一种矩阵范数$||\cdot |{|}_A$，存在与其相容的向量范数$||\cdot |{|}_v$

  • 任取$y\ne 0,y\in V$，那么定义$||x|{|}_v=||x{y}^H|{|}_A$

    容易验证这是一个向量范数，我们来考虑相容性

    $||M|{|}_A\ast ||x|{|}_v=||M|{|}_A\ast ||x{y}^H|{|}_A\ge ||Mx{y}^H|{|}_A=||Mx|{|}_v$

现在让我们回到定理的证明，设$\lambda$为其特征值，$x$为其对应的特征向量，$||\cdot |{|}_v$取与其相容的向量范数，那么$|\lambda |\ast ||x|{|}_v=||\lambda x|{|}_v=||Ax|{|}_v\le ||A||\ast ||x|{|}_v$，于是$|\lambda |\le ||A||$

• 如果$A$的正规矩阵，那么$\rho (A)=||A|{|}_2$

即证$A$的特征值的模的最大值等于$A$的最大奇异值，这个由特征值的模与奇异值之间的对应关系可以得到

• $||A|{|}_2=\sqrt{\rho (A{A}^H)}$

这个是显然的