矩阵分析 1

矩阵之间的关系

• 相抵：存在非奇异矩阵\(P, Q\)，使得\(B = PAQ\)时，则称\(A\)与\(B\)相抵
• 相似：存在非奇异方阵\(P\)，使得\(B = P^{-1}AP\)时，称\(A\)与\(B\)相似
• 合同：存在非奇异方阵\(P\)，使得\(B = P^TAP\)时，称\(A\)与\(B\)合同

特征值

• 对于方阵\(A\)，如果存在\(\lambda \in P\)以及非零向量\(x \in V^n\)，使得\(Ax = \lambda x\)，则称\(\lambda\)为\(A\)的特征值，\(x\)为\(A\)的特征向量

• \(Ax = \lambda x \Leftrightarrow (\lambda I - A)x = 0\)，因此非零向量\(x\)存在，要求\(|\lambda I - A| = 0\)，称\(f(\lambda) = |\lambda I - A|\)为矩阵\(A\)的特征多项式

  • \(|\lambda I - A| = \lambda^n + \sum_{k=1}^n (-1)^k A_k \lambda^{n-k} = \prod(\lambda - \lambda_i)\)，其中\(A_k\)表示矩阵\(A\)的所有\(k\)阶主子式的和，\(\lambda_1, ..., \lambda_n\)表示矩阵\(A\)的所有特征值
  • 对于上式中的\(A_1\)，即\(a_{11} + a_{22} + ... + a_{nn}\)，我们称其为矩阵的迹，记做\(tr(A)\)，由根与系数的关系，我们知道\(A_1 = tr(A) = \sum \lambda_i\)，\(A_n = |A| = \prod\lambda_i\)

• example

  矩阵

  \[A = \begin{pmatrix} 0 & 0& 0 & \dots & 0 &-a_{n} \\ 1& 0 & 0 & \dots & 0 & -a_{n-1}\\ 0 & 1 & 0 & \dots & 0& -a_{n-2}\\ \dots &\dots & \dots & \dots & \dots& \dots \\\ 0& 0 &0 & \dots & 1&-a_1 \end{pmatrix}\]

  的特征多项式为\(f(\lambda) = \lambda^n + a_1 \lambda^{n-1} + ... + a_n\)

• 对可逆矩阵\(A, B \in C^{n*n}\)，由\(|\lambda I - B| = |A^{-1}| |\lambda I - B| |A| = |\lambda I - A^{-1}BA|\)，可以知道相似矩阵之间有相同的特征的多项式，从而由相同的特征值，相同的迹

• 对\(A \in C^{m \times n}, B \in C^{n \times m}\)，由\(\lambda^n | \lambda I_m - AB| = \lambda^m |\lambda I_n - BA|\)，我们可以知道\(AB\)与\(BA\)有相同的非零特征值

• 设\(\lambda_i\)是\(|\lambda I - A|\)的\(m_i\)重根，则称\(m_i\)是\(\lambda_i\)的代数重复度，注意到\(\sum m_i = n\)

• 记\(V_{\lambda_i} = \{x:(\lambda_i I - A)x = 0\}\)为\(A\)的属于\(\lambda_i\)的特征子空间，并称\(\dim (V_{\lambda_i})\)为\(\lambda_i\)的几何重复度

• 几何重复度不大于代数重复度

  • 通过代数重复度构造出一组包含\((\lambda_i I - A)x = 0\)的基础解系的基，记这组基的坐标为\(C\)，考虑\(C^{-1}AC\)的特征多项式

• 设\(\lambda_1, ..., \lambda_r\)是矩阵\(A\)的不同的特征值，\(x_{1}^{(i)}, ..., x_{s_i}^{(i)}\)是属于\(\lambda_i\)的线性无关的特征向量，那么\(x_1^{(1)}, ..., x_{s_1}^{(1)}, ..., x_1^{(r)}, ..., x_{s_r}^{(r)}\)也是线性无关的

  • 利用线性无关的充要条件为零向量的组合系数仅有\(0\)，对于\(kx^{(i)}\)，注意到乘以\(\lambda_j\)和\(Ax^{(i)} = \lambda_i x^{(i)}\)将是两种不一样的变化即可

• 矩阵\(A\)可对角化（和对角矩阵相似）的充要条件为\(A\)有\(n\)个线性无关的特征向量

  • 注意到以这\(n\)个特征向量为基即可，也因此，相似中的转移矩阵即为这\(n\)个特征向量的坐标

  • 注意和对角矩阵相似时，相似中的转移矩阵和对角矩阵一定会对应于特征值和相应的特征向量

  • 如果\(A\)有\(n\)个线性无关的特征向量，则称\(A\)有完备的特征向量系

    否则，称\(A\)为亏损矩阵

  • 如果每个代数重复度和几何重复度相等，则称\(A\)为单纯矩阵

  • \(A\)可对角化的充要条件有其他不同的表述，比如\(V^n = V_{\lambda_1} \oplus ... \oplus V_{\lambda_r}\)

不变子空间

• 对于线性变换\(\mathscr{A}\)，如果\(\mathscr{A}W \subseteq W\)，则称\(W\)为\(\mathscr{A}\)的不变子空间
• 有两类较为容易发现的子空间
  • \(\ker \mathscr{A} = \mathscr{A}^{-1}(0) = \{x:\mathscr{A}x = 0\}\)，核空间
  • \(\text{Im} \mathscr{A} = \mathscr{A}V\)，值域
  • 联系方程组，我们可以知道，若线性变换\(\mathscr{A}\)对应于矩阵\(A\)，核空间实际上对应于\(A\)的解空间，我们记\(\dim \ker \mathscr{A} = \text{null } A\)，而值域实际上是\(A\)的列向量张成的空间，因此其维数应该是\(\text{rank} A\)
  • 维数公式：$ A + A = n $

Schur TH

• 任何\(n\)阶矩阵都酉相似于一个上三角阵，即存在一个\(n\)阶酉矩阵\(U\)和一个上三角阵\(T\)，使得

  \[A = UTU^H\]

  式中\(T\)的主对角元为\(A\)的特征值

  • 每一次选择一个特征向量后进行归纳

• 如果\(A^H = A\)，则称\(A\)为埃米尔特矩阵

  • 对埃米尔特矩阵运用Schur TH：\(A = UTU^H\)，从而\(A^H = UT^HU^H\)，由\(A=A^H\)，我们得到\(T = T^H\)，也就是说，\(T\)是对角矩阵，并且\(A\)的特征值都是实数

正定矩阵

• 对于埃米尔特矩阵\(A\)，如果\(x^HAx\geq 0\)，则称\(A\)为半正定矩阵，记作\(A\geq 0\)；类似的，如果\(x^HAx > 0\)，则称\(A\)为正定矩阵，记作\(A>0\)

  • 如果\(A>0\)，\(k>0\)，那么\(kA>0\)
  • 如果\(A \geq 0, B \geq 0\)，那么\(A+B\geq 0\)

• 矩阵\(A\)正定（半正定）的充要条件是其特征值都是正数（非负数）

  • 神奇恒等式：设\(\lambda\)为\(A\)的特征值，\(\xi\)为对应的单位特征向量，那么\(\lambda = \xi^HA\xi\)

• 矩阵\(A\)为正定（半正定）矩阵的充要条件为存在非奇异矩阵（矩阵）\(P\)，使得\(A=P^HP\)

  • 如果\(A>0\)，那么\(A^{-1}>0\)
  • 如果\(A>0\)，且\(C\)非奇异，则\(C^HAC>0\)
  • 如果\(A \geq 0\)，则\(C^HAC \geq 0\)

• 设\(A,B\)都是\(n\)阶埃米尔特矩阵，且\(B>0\)，则存在非奇异矩阵\(Q\)，使得\(Q^HBQ=I, Q^HAQ=\text{diag}\{\lambda_1, ..., \lambda_n\}\)（可同时对角化），且\(\lambda_1,...,\lambda_n\)为\(AB^{-1}\)的特征值

• 如果\(A-B\geq 0\)，那么称\(A\)大于等于\(B\)，记做\(A\geq B\)

  • 这不是一个well order...

  • \(A \geq B\)等价于\(x^HAx\geq x^HBx\)恒成立

    以下性质几乎是显然的

    • 如果\(A, B\)是对角阵，那么条件也等价于\(a_{ii} \geq b_{ii}\)

    • \(A \geq B, B \geq C\)可得\(A \geq C\)

    • \(A \geq B\)，且\(k>0\)，那么\(kA \geq kB\)

    • 若\(A_1 \geq B_1, A_2 \geq B_2\)，那么\(A_1 + A_2 \geq B_1 + B_2\)

    • 若\(A \geq B\)，那么\(P^HAP\geq P^HBP\)

  • 若\(A \geq 0\)，则\(A \leq tr(A)I\)（利用\(tr(A)\geq \lambda_i\)）

  • 若\(A\geq B\)，则\(B^{-1} \geq A^{-1}\)

  • 若\(A, B\)可交换，且\(A \geq B\)，那么\(A^2 \geq B^2\)

  • \(Schwartz\)不等式：若\(A,B\)分别为\(n\times m, m \times l\)的矩阵，且\(AA^H\)非奇异，则\(B^HB \geq (AB)^H(AA^H)^{-1}(AB)\)，等号成立当且仅当存在\(n \times l\)的矩阵\(C\)，使\(B=A^HC\)

• 对埃尔米特矩阵\(A\)，有\(\lambda_{min} I \leq A \leq \lambda_{max} I\)

• 定义：记\(R(x) = \frac{x^HAx}{x^Hx}\)，称其为诶尔米特矩阵\(A\)的瑞利商

  • 瑞利商是实数（注意到\(R(x) = R(x)^H\)）
  • \(\forall k \neq 0, R(kx) = R(x)\)
  • \(\lambda_{min} \leq R(x) \leq \lambda_{max}\)，并且可以取得等号

• 极大极小定理：设\(A\)是\(n\)阶埃尔米特矩阵，其特征值为\(\lambda_1 \geq \lambda_2 ... \geq \lambda_n\)，\(V_i\)是\(C^n\)中\(i\)维子空间，那么

  \[\lambda_i = \max_{V_i} \min_{x \in V_i, x \neq 0} R(x)\]

  \[\lambda_{n-i+1} = \min_{V_i} \max_{x \in V_i, x \neq 0} R(x)\]

  • 这个定理初看可能相当地令人疑惑，我们可以这么考虑，取\(x_1, x_2, ..., x_n\)为分别属于\(\lambda_1, ..., \lambda_n\)的特征向量，并且其构成标准正交向量基，那么对于\(\lambda_i\)而言，当我们考虑\(Span(x_1, ..., x_i)\)时，这个空间中的最小值恰好就是\(\lambda_i\)，而对于其他的\(i\)维空间，必然跟\(Span(x_{i+1}, ..., x_n)\)有交，此时\(Span(x_{i+1}, ..., x_n)\)中向量的存在将使最小值比\(\lambda_i\)小，从而取到等号