矩阵的广义逆
若 $A\in \mathbb {C}^{n\times n}$，且 $A$ 为可逆矩阵，则有
- $AA^{-1}A=A$
- $A^{-1}AA^{-1}=A^{-1}$
- $(AA^{-1})^H=AA^{-1}$
- $(A^{-1}A)^H=A^{-1}A$
若 $A\in \mathbb {C}^{m\times n}, X\in \mathbb {C}^{m\times m}$，以下矩阵方程称为 Penrose 方程
- $AXA=A$
- $XAX=X$
- $(AX)^H=AX$
- $(XA)^H=XA$
满足 Penrose 方程中一个或多个的 $X\in \mathbb {C}^{n\times m}$ 称为 $A$ 的一种广义逆矩阵。最广泛的广义逆矩阵有以下两个
- 仅满足条件 $1$ 的广义逆矩阵称为减号逆，记为 $A^{-}$
- 满足条件 $1,2,3,4$ 的广义逆矩阵称为加号逆，记为 $A^+$
矩阵的减号逆
（减号逆存在性定理）$A\in \mathbb {C}^{m\times n}$，矩阵方程 $AXA=A$ 恒有解，并且称 $X$ 是 $A$ 的一个减号逆
证明：设 $\mathrm {rank}(A)=r≤\min (m,n)$，存在可逆矩阵 $P,Q$ 使得
$$ A = P\begin{bmatrix}E_r&0\\0&0\end{bmatrix}Q $$
取 $X = Q^{-1}\begin {bmatrix} E_r&B_{r\times (n-r)}\\C_{(m-r)\times r}&D_{(m-r)\times (n-r)}\end {bmatrix} P^{-1}$，$B,C,D$ 为任意的满足分块要求的矩阵，则
$$ \begin{aligned} AX A &= P\begin{bmatrix}E_r&0\\0&0\end{bmatrix}QQ^{-1}\begin{bmatrix}E_r&B\\C&D\end{bmatrix}P^{-1}P\begin{bmatrix}E_r&0\\0&0\end{bmatrix}Q\\ &=P\begin{bmatrix}E_r&0\\0&0\end{bmatrix}Q\\ &=A \end{aligned} $$
很明显，减号逆是不唯一的
$A^{-}$ 的求法
对 $\mathrm {rank}(A)=r$ 的矩阵 $A$，做增广矩阵 $\begin {bmatrix} A & E_m\\ E_n & 0 \end {bmatrix}$ 进行初等变换将 $A$ 化为最简形，得到 $\left [\begin {array}{rr|rr} E_r& 0 & P \\ 0 & 0 & \\ \hline \\ Q & & 0 &\end {array}\right]$，则有 $X = Q\begin {bmatrix} E_r&B\\C&D\end {bmatrix} P$，其中 $B,C,D$ 是满足固定阶次的任意矩阵
例 1
求矩阵 $A= \begin {bmatrix} 0&-1&3&0\\2&-4&1&5\\-4&5&7&-10\end {bmatrix}$ 的减号逆
解：
$$ \begin{aligned} \left[\begin{array}{c|c} A & E_{m} \\ \hline E_{n} & 0 \end{array}\right]&=\left[\begin{array}{rrrr|rrr} 0 & -1 & 3 & 0 & 1 & 0 & 0 \\ 2 & -4 & 1 & 5 & 0 & 1 & 0 \\ -4 & 5 & 7 & -10 & 0 & 0 & 1 \\ \hline 1 & 0 & 0 & 0 & & \\ 0 & 1 & 0 & 0 & & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 & & \end{array}\right]\\ &\to \left[\begin{array}{cccc|ccc} 1 & 0 & 0 & 0 & -2 & \frac{1}{2} & 0 \\ 0 & 1 & 0 & 0 & -1 & 0 & 0 \\ 0 & 0 & 0 & 0 & -3 & 2 & 1 \\ \hline 1 & 0 & \frac{11}{2} & -\frac{5}{2} & & \\ 0 & 1 & 3 & 0 & 0 & \\ 0 & 0 & 1 & 0 & & \\ 0 & 0 & 0 & 1 & & \end{array}\right] \end{aligned} $$
于是
$$ {P}=\left[\begin{array}{ccc} -2 & \frac{1}{2} & 0 \\ -1 & 0 & 0 \\ -3 & 2 & 1 \end{array}\right], \quad {Q}=\begin{bmatrix} 1 & 0 & \frac{11}{2} & -\frac{5}{2} \\ 0 & 1 & 3 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{bmatrix} $$
所以
$$ A^-=Q\begin{bmatrix}E_2&B\\C&D\end{bmatrix}P $$
其中 $B\in \mathbb {C}^{2\times 1}, C\in \mathbb {C}^{2\times 2},D\in \mathbb {C}^{2\times 1}$
例 2
求矩阵 $A=\begin {bmatrix} 2\mathrm {i}&\mathrm {i}&0\\0&0&-3\\2&1&1\end {bmatrix}$ 的减号逆矩阵通式
解：
$$ \begin{aligned} \left[\begin{array}{c|c} A & E_{m} \\ \hline E_{n} & 0 \end{array}\right]&=\left[\begin{array}{rrr|rrr} 2\mathrm{i} & \mathrm{i} & 0&1&0&0 \\ 0&0&-3&0&1&0 \\ 2&1&1 &0&0&1\\ \hline 1 & 0 & 0 & & \\ 0 & 1 & 0 & & 0 \\ 0 & 0 & 1 \end{array}\right]\\ &\to \left[\begin{array}{rrr|rrr} 1 & 0 & 0&1&0&0 \\ 0&1&0&0&1&0 \\ 0&0&0 &\mathrm{i}&\frac{1}{3}&1\\ \hline -\frac{1}{2}\mathrm{i} & 0&-\frac{1}{2} & & \\ 0 & 0 & 1 & & 0 \\ 0 & -\frac{1}{3} & 0 \end{array}\right] \end{aligned} $$
于是
$$ {P}=\left[\begin{array}{ccc} 1 & 0 & 0 \\ 0 & 1 & 0 \\ \mathrm{i}&\frac{1}{3}&1 \end{array}\right], \quad {Q}=\begin{bmatrix} -\frac{1}{2}\mathrm{i} & 0&-\frac{1}{2} \\ 0 & 0 & 1 \\ 0 & -\frac{1}{3} & 0 \end{bmatrix} $$
所以
$$ A^-=Q\begin{bmatrix}E_2&B\\C&D\end{bmatrix}P $$
其中 $B\in \mathbb {C}^{2\times 1}, C\in \mathbb {C}^{2\times 2},D\in \mathbb {C}^{2\times 1}$
非齐次线性方程组的相容性
（定理）$A\in \mathbb {C}^{n\times n},Ax=b$ 有解 $\Leftrightarrow b=AA^-b$
非齐次线性方程组解的结构
（定理）$A\in \mathbb {C}^{m\times n}$，若 $Ax=b$ 有解，则通解为
$$ x=A^{+}b+(E_n-A^+A)t $$
其中 $t\in \mathbb {C}^{n}$。若相容，则上式为通解；若不相容，则上式为最小二乘的通解
矩阵的左逆、右逆
设 $A \in \mathbb {C}^{m \times n}, B \in \mathbb {C}^{n \times m}$，若有 $BA=E_n$，则称 $B$ 是 $A$ 的一个左逆，记为 $A_L^{-1}$
等价条件：
- $A$ 的零空间 $N (A)={0}$
- $m \geqslant n, \; \mathrm {rank}(A)= n$，即 $A$ 是列满秩的
- $A^H A$ 可逆
设 $A \in \mathbb {C}^{m \times n}, C \in \mathbb {C}^{n \times m}$，有 $AC = E_m$，则称 $C$ 是 $A$ 的一个右逆，记为 $A_R^{-1}$
等价条件：
- $A$ 的列空间 $R (A)=C^m$
- $m \leqslant n, \; \mathrm {rank}(A)=m$，即 $A$ 是行满秩的
- $AA^H$ 可逆
矩阵的加号逆
定义：对于矩阵 $A \in \mathbb {C}^{m \times n}$，$A=BC$ 是 $A$ 的一个满秩分解，则
$$ A^+ = \underbrace{C^H(CC^H)^{-1}}_{C_R^{-1}}\underbrace{(B^HB)^{-1}B^H}_{B_L^{-1}} $$
是 $A$ 的加号逆，且加号逆唯一
性质：
- $\mathrm{rank}(A) = \mathrm{rank}(A^+)$
- $\mathrm{rank}(A^+A) = \mathrm{rank}(AA^+) = \mathrm{rank}(A)$
$A^+$ 的求法
实际上加号逆的定义就是一个求法，另外还可以通过 SVD 分解进行求解：
对矩阵 $A$ 进行奇异值分解，得到 $A = U \begin {bmatrix}\Delta &0 \\ 0 & 0\end {bmatrix} V^H$，则 $\color{red}{A^+ = V \begin{bmatrix}\Delta^{-1} & 0\\ 0 & 0\end{bmatrix}U^H}$
例 2
分别求矩阵 $A=\left [\begin {array}{lllll} 1 & 1 & 0 & 1 & 0 \\0 & 1 & 1 & 1 & 1 \\1 & 0 & 1 & 1 & 0\end {array}\right],B = \begin {bmatrix} 0&1&0&1\\0&1&0&1\\2&0&1&1\end {bmatrix}$ 的加号逆
解：
对矩阵 $A$ 只作初等行变换
$$ A=\left[\begin{array}{lllll} 1 & 1 & 0 & 1 & 0 \\ 0 & 1 & 1 & 1 & 1 \\ 1 & 0 & 1 & 1 & 0 \end{array}\right]\to ···\to \begin{bmatrix}1&0&0&\frac{1}{2}&-\frac{1}{2}\\0&1&0&\frac{1}{2}&\frac{1}{2}\\0&0&1&\frac{1}{2}&\frac{1}{2}\end{bmatrix} $$
故可将 $A$ 进行满秩分解为 $A=CD$，且
$$ C = \begin{bmatrix}1&1&0\\0&1&1\\1&0&1\end{bmatrix},D = \begin{bmatrix}1&0&0&\frac{1}{2}&-\frac{1}{2}\\0&1&0&\frac{1}{2}&\frac{1}{2}\\0&0&1&\frac{1}{2}&\frac{1}{2}\end{bmatrix} $$
则
$$ A^+=\begin{bmatrix}\frac{1}{3}&-\frac{1}{3}&\frac{1}{3}\\\frac{1}{2}&\frac{1}{4}&-\frac{1}{2}\\-\frac{1}{2}&\frac{1}{4}&\frac{1}{2}\\\frac{1}{6}&\frac{1}{12}&\frac{1}{6}\\-\frac{1}{6}&\frac{5}{12}&-\frac{1}{6}\end{bmatrix} $$
对矩阵 $B$ 只作初等行变换
$$ B = \begin{bmatrix}0&1&0&1\\0&1&0&1\\2&0&1&1\end{bmatrix}\to ···\to \begin{bmatrix}1&0&\frac{1}{2}&\frac{1}{2}\\0&1&0&1\\0&0&0&0\end{bmatrix} $$
故可将 $B$ 进行满秩分解为 $B=EF$，且
$$ E = \begin{bmatrix}0&1\\0&1\\2&0\end{bmatrix},F = \begin{bmatrix}1&0&\frac{1}{2}&\frac{1}{2}\\0&1&0&1\end{bmatrix} $$
则
$$ B^+=\begin{bmatrix}-\frac{1}{11}&-\frac{1}{11}&\frac{4}{11}\\\frac{3}{11}&\frac{3}{11}&-\frac{1}{11}\\-\frac{1}{22}&-\frac{1}{22}&\frac{2}{11}\\\frac{5}{22}&\frac{5}{22}&\frac{1}{11}\end{bmatrix} $$
