矩阵分析

1.3 线性子空间

这里给出两个非常重要的线性子空间的实例：矩阵$A\in \mathbb{F}^{m\times n}$的核与像。

• 矩阵$A$的核定义为

  $$\{ \boldsymbol{x}|A\boldsymbol{x}=0,\boldsymbol{x}\in\mathbb{F}^n \}$$

  记为$\mathrm{ker}A$，它是$\mathbb{F}^n$的子空间。

• 矩阵$A$的像定义为

  $$\{ A\boldsymbol{x}|\forall \boldsymbol{x}\in\mathbb{F}^n \}$$

  记为$\mathrm{im}A$，它是$\mathbb{F}^m$的子空间。

需要指出的是，子空间$\mathrm{im}A$就是由$A$的$n$个列向量所张成的$\mathbb{F}^m$的子空间，即

$$\mathrm{im}A=span\{ \boldsymbol{\alpha}_1,\boldsymbol{\alpha}_2,\dots,\boldsymbol{\alpha}_n \},A=[\boldsymbol{\alpha}_1,\boldsymbol{\alpha}_2,\dots,\boldsymbol{\alpha}_n]\in\mathbb{F}^{m\times n}$$

1.5 矩阵的等价与相似

矩阵等价

在线性代数中，我们就学过矩阵等价的定义。这里给出如下定义

矩阵等价 矩阵$A,B\in\mathbb{F}^{m\times n}$称为等价，如果存在可逆矩阵$P\in \mathbb{F}^{n\times n}$和$Q\in \mathbb{F}^{m\times m}$使得$AP=QB$。

这种形式的定义，可以较为清晰地表达出其几何意义。

矩阵等价的几何意义 如果将矩阵$P$的列向量$\{ \boldsymbol{p}_1,\boldsymbol{p}_2,\dots,\boldsymbol{p}_n \}$看作一组（入口）基，将矩阵$Q$的列向量$\{\boldsymbol{q}_1,\boldsymbol{q}_2,\dots,\boldsymbol{q}_m \}$看作另一组（出口）基，将矩阵$A$看作$\mathbb{F}^n$到$\mathbb{F}^m$的线性映射$\boldsymbol{x} \mapsto A\boldsymbol{x}$，则$B$为线性映射$A$在这对基下的矩阵表示。

那么问题来了：对于上述几何意义下的矩阵表示$B$，我们当然希望其“尽可能简单”，比如最简型。也就是说，如何寻找入口基$\{\boldsymbol{p}_i\}$和出口基$\{ \boldsymbol{q}_j \}$，使得线性映射$A$在这对基下的矩阵表示“尽可能简单”。

记$r=\mathrm{rank}(A)$，根据矩阵等价性，$\mathrm{rank}(B)=\mathrm{rank}(A)=r$，故矩阵$A$等价于一个标准型矩阵，即$\displaystyle B = \begin{bmatrix} \boldsymbol{I}_r & \boldsymbol{0} \\ \boldsymbol{0} & \boldsymbol{0} \end{bmatrix}$，接下来进行推导

$$\begin{aligned} AP &= QB \\ A[\boldsymbol{p}_1, \boldsymbol{p}_2,\dots,\boldsymbol{p}_n] &= [\boldsymbol{q}_1,\boldsymbol{q}_2,\dots,\boldsymbol{q}_m] \begin{bmatrix} \boldsymbol{I}_r & \boldsymbol{0} \\ \boldsymbol{0} & \boldsymbol{0} \end{bmatrix} \\ [ A\boldsymbol{p}_1, A\boldsymbol{p}_2, \dots, A\boldsymbol{p}_n ] &= [\boldsymbol{q}_1, \boldsymbol{q}_2, \dots, \boldsymbol{q}_r, \boldsymbol{0}, \dots, \boldsymbol{0}] \\ \end{aligned}$$

故而

$$\begin{cases} A\boldsymbol{p}_1 &= \boldsymbol{q}_1 \\ A\boldsymbol{p}_2 &= \boldsymbol{q}_2 \\ &\vdots\\ A\boldsymbol{p}_r &= \boldsymbol{q}_r \\ A\boldsymbol{p}_{r+1} &= \boldsymbol{0} \\ &\vdots\\ A\boldsymbol{p}_n &= \boldsymbol{0} \end{cases}$$

首先，根据矩阵核的定义，可以得到$\boldsymbol{p}_{r+1},\boldsymbol{p}_{r+2},\dots,\boldsymbol{p}_n\in \mathrm{ker}A$，又$\mathrm{dim}(\mathrm{ker}A)=n-r$且$\{\boldsymbol{p}_i\}$线性无关，所以得到结论：

$$\boldsymbol{p}_{r+1},\boldsymbol{p}_{r+2},\dots,\boldsymbol{p}_n 是\mathrm{ker}A的一组基;\boldsymbol{p}_1,\boldsymbol{p}_2,\dots,\boldsymbol{p}_r是\mathrm{ker}A的补子空间的一组基.$$

同理，有

$$\boldsymbol{q}_1,\boldsymbol{q}_2,\dots,\boldsymbol{q}_r是\mathrm{im}A的一组基;\boldsymbol{q}_{r+1},\boldsymbol{q}_{r+2},\dots,\boldsymbol{q}_n是\mathrm{im}A的补子空间的一组基.$$

接下来介绍具体的找寻矩阵$P,Q$的方法步骤。

1. 求出$\mathrm{ker}A$的基，也即求齐次线性方程组$A\boldsymbol{x}=\boldsymbol{0}$的基础解系，作为$\mathrm{ker}A$的一组基，记作

   $$\boldsymbol{p}_{r+1}=\boldsymbol{\xi}_1,\boldsymbol{p}_{r+2}=\boldsymbol{\xi}_2,\dots,\boldsymbol{p}_n=\boldsymbol{\xi}_{n-r}$$

2. 利用标准基$\boldsymbol{\varepsilon}_1,\boldsymbol{\varepsilon}_2,\dots,\boldsymbol{\varepsilon}_n$将$\boldsymbol{p}_{r+1},\dots,\boldsymbol{p}_n$扩充成$\mathbb{F}^n$的一组基，记作

   $$\boldsymbol{p}_i = \boldsymbol{\varepsilon}_{k_i},1\leqslant i \leqslant r, 1\leqslant k_i \leqslant n, k_1\ne k_2 \ne \dots \ne k_r$$

3. 求出$\boldsymbol{q}_1=A\boldsymbol{p}_1,\boldsymbol{q}_2=A\boldsymbol{p}_2,\dots,\boldsymbol{q}_r=A\boldsymbol{p}_r$，再将其扩充为$\mathbb{F}^m$的一组基

   $$[\boldsymbol{q}_1,\boldsymbol{q}_2,\dots,\boldsymbol{q}_r,\boldsymbol{q}_{r+1},\dots,\boldsymbol{q}_m]$$

矩阵相似

矩阵的相似对角化：对于矩阵$A\in \mathbb{F}^{n\times n}$，设可逆矩阵$P=\begin{bmatrix} \boldsymbol{p}_1 & \boldsymbol{p}_2 & \dots & \boldsymbol{p}_n \end{bmatrix}$，则$P^{-1}AP=\mathrm{diag}(\lambda_1,\lambda_2,\cdots,\lambda_n)$，当且仅当每个$\boldsymbol{p}_i(i=1,2,\cdots,n)$均为$A$的特征向量。在线性代数中，这个等价条件也可以表述为矩阵$A$的每个特征值的代数重数等于几何重数。

一般情况下，上述条件非常严格，也就是说，只有非常特殊的（方阵）$A$才能相似对角化，得到一个主对角线由其特征值组成的对角矩阵。更一般地，我们期待研究“最简相似对角化”，也即寻找一个尽可能简单的（方阵）$B$，使得$AP=PB$。特殊地，若$A$可相似对角化，$B$就是最简单的对角矩阵。

方阵的不变子空间与相似三角化的等同性 有如下定理：

$$\begin{aligned} A\begin{bmatrix} P_1 & P_2 \end{bmatrix} = \begin{bmatrix} P_1 & P_2 \end{bmatrix} \begin{bmatrix} B_{11} & B_{12} \\ B_{21} & B_{22} \end{bmatrix} \end{aligned}$$

• $B_{21}=\boldsymbol{0}$等价于$\mathrm{im}P_1$是$A$的不变子空间；
• $B_{12}=\boldsymbol{0}$等价于$\mathrm{im}P_2$是$A$的不变子空间；
• $B_{21}=\boldsymbol{0}, B_{12}=\boldsymbol{0}$等价于$\mathrm{im}P_1$是$A$的不变子空间且$\mathrm{im}P_2$是$A$的不变子空间。

问题的关键转化为，如何利用$A$的不变子空间，来对其进行最简相似对角化？我们很容易想到$A$的两个重要的不变子空间：$\mathrm{im}A,\mathrm{ker}A$。有如下定理：

基于不变子空间$\mathrm{ker}A,\mathrm{im}A$将$A$相似块三角化 设矩阵$A\in\mathbb{F}^{n\times n},\mathrm{rank}A=r$，有

• $\mathrm{dim}(\mathrm{ker}A)=n-r$，取$\mathrm{ker}A$的基$\boldsymbol{p}_1,\boldsymbol{p}_2,\cdots,\boldsymbol{p}_{n-r}$，并将其扩充为$\mathbb{F}^n$的$n$个基$[\boldsymbol{p}_i]_{i=1}^n$，则

  $$\begin{aligned} A\begin{bmatrix} P_1 & P_2 \end{bmatrix} = \begin{bmatrix} P_1 & P_2 \end{bmatrix} \begin{bmatrix} \boldsymbol{0} & B_{12} \\ \boldsymbol{0} & B_{22} \end{bmatrix} \end{aligned}$$

• $\mathrm{dim}(\mathrm{im}A)=r$，取$\mathrm{im}A$的基$\boldsymbol{q}_1,\boldsymbol{q}_2,\cdots,\boldsymbol{q}_r$，并将其扩充为$\mathbb{F}^n$的$n$个基$[\boldsymbol{q}_i]_{i=1}^n$，则

  $$\begin{aligned} A\begin{bmatrix} P_1 & P_2 \end{bmatrix} = \begin{bmatrix} P_1 & P_2 \end{bmatrix} \begin{bmatrix} B_{11} & B_{12} \\ \boldsymbol{0} & \boldsymbol{0} \end{bmatrix} \end{aligned}$$

矩阵$A=\begin{bmatrix} 1 & 1 & 6 \\ 0 & 4 & 2 \\ 1 & 1 & 6 \end{bmatrix}$，试将$A$块对角化，即求矩阵$P$，使得$A=PBP$，其中$B=\begin{bmatrix} B_{11} & \boldsymbol{0} \\ \boldsymbol{0} & B_{22} \end{bmatrix}$.

$$\begin{aligned} \min \frac{1}{2} \boldsymbol{x}^TQ\boldsymbol{x} + \boldsymbol{c}^T\boldsymbol{x} \\ s.t. A\boldsymbol{x} \leqslant \boldsymbol{b} \end{aligned}$$

例题 给定矩阵$A = \begin{bmatrix} -1 & -2 & 6 \\ -1 & 0 & 3 \\ -1 & -1 & 4 \end{bmatrix}$，求其相似矩阵$J$以及对应的变换矩阵$P$，即求矩阵$J,P$，使得$AP=PJ$.

酉矩阵的应用2：将正规矩阵酉相似对角化

例题 矩阵$A = \begin{bmatrix} 1 & -1 \\ 1 & 1 \end{bmatrix}$，求酉矩阵$U$，使得$U^HAU$为对角矩阵.

设矩阵$A$，则$(I-A)(I+A)=(I+A)(I-A)$.

赏