矩阵的广义逆
若$A\in \mathbb{C}^{n\times n}$，且$A$为可逆矩阵，则有
- $AA^{-1}A=A$
- $A^{-1}AA^{-1}=A^{-1}$
- $(AA^{-1})^H=AA^{-1}$
- $(A^{-1}A)^H=A^{-1}A$
若$A\in \mathbb{C}^{m\times n}, X\in \mathbb{C}^{m\times m}$，以下矩阵方程称为Penrose方程
- $AXA=A$
- $XAX=X$
- $(AX)^H=AX$
- $(XA)^H=XA$
满足Penrose方程中一个或多个的$X\in \mathbb{C}^{n\times m}$称为$A$的一种广义逆矩阵。最广泛的广义逆矩阵有以下两个
- 仅满足条件$1$的广义逆矩阵称为减号逆，记为$A^{-}$
- 满足条件$1,2,3,4$的广义逆矩阵称为加号逆，记为$A^+$
矩阵的减号逆
（减号逆存在性定理）$A\in \mathbb{C}^{m\times n}$，矩阵方程$AXA=A$恒有解，并且称$X$是$A$的一个减号逆
证明：设$\mathrm{rank}(A)=r≤\min(m,n)$，存在可逆矩阵$P,Q$使得
$$ A = P\begin{bmatrix}E_r&0\\0&0\end{bmatrix}Q $$
取$X = Q^{-1}\begin{bmatrix}E_r&B_{r\times (n-r)}\\C_{(m-r)\times r}&D_{(m-r)\times (n-r)}\end{bmatrix}P^{-1}$，$B,C,D$为任意的满足分块要求的矩阵，则
$$ \begin{aligned} AX A &= P\begin{bmatrix}E_r&0\\0&0\end{bmatrix}QQ^{-1}\begin{bmatrix}E_r&B\\C&D\end{bmatrix}P^{-1}P\begin{bmatrix}E_r&0\\0&0\end{bmatrix}Q\\ &=P\begin{bmatrix}E_r&0\\0&0\end{bmatrix}Q\\ &=A \end{aligned} $$
很明显，减号逆是不唯一的
$A^{-}$的求法
对$\mathrm{rank}(A)=r$的矩阵$A$，做增广矩阵$\begin{bmatrix}A & E_m\\ E_n & 0 \end{bmatrix}$进行初等变换将$A$化为最简形，得到$\left[\begin{array}{rr|rr} E_r& 0 & P \\ 0 & 0 & \\ \hline \\ Q & & 0 &\end{array}\right]$，则有$X = Q\begin{bmatrix}E_r&B\\C&D\end{bmatrix}P$，其中$B,C,D$是满足固定阶次的任意矩阵
例1
求矩阵$A= \begin{bmatrix}0&-1&3&0\\2&-4&1&5\\-4&5&7&-10\end{bmatrix}$的减号逆
解：
$$ \begin{aligned} \left[\begin{array}{c|c} A & E_{m} \\ \hline E_{n} & 0 \end{array}\right]&=\left[\begin{array}{rrrr|rrr} 0 & -1 & 3 & 0 & 1 & 0 & 0 \\ 2 & -4 & 1 & 5 & 0 & 1 & 0 \\ -4 & 5 & 7 & -10 & 0 & 0 & 1 \\ \hline 1 & 0 & 0 & 0 & & \\ 0 & 1 & 0 & 0 & & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 & & \end{array}\right]\\ &\to \left[\begin{array}{cccc|ccc} 1 & 0 & 0 & 0 & -2 & \frac{1}{2} & 0 \\ 0 & 1 & 0 & 0 & -1 & 0 & 0 \\ 0 & 0 & 0 & 0 & -3 & 2 & 1 \\ \hline 1 & 0 & \frac{11}{2} & -\frac{5}{2} & & \\ 0 & 1 & 3 & 0 & 0 & \\ 0 & 0 & 1 & 0 & & \\ 0 & 0 & 0 & 1 & & \end{array}\right] \end{aligned} $$
于是
$$ {P}=\left[\begin{array}{ccc} -2 & \frac{1}{2} & 0 \\ -1 & 0 & 0 \\ -3 & 2 & 1 \end{array}\right], \quad {Q}=\begin{bmatrix} 1 & 0 & \frac{11}{2} & -\frac{5}{2} \\ 0 & 1 & 3 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{bmatrix} $$
所以
$$ A^-=Q\begin{bmatrix}E_2&B\\C&D\end{bmatrix}P $$
其中$B\in \mathbb{C}^{2\times 1}, C\in \mathbb{C}^{2\times 2},D\in \mathbb{C}^{2\times 1}$
例2
求矩阵$A=\begin{bmatrix}2\mathrm{i}&\mathrm{i}&0\\0&0&-3\\2&1&1\end{bmatrix}$的减号逆矩阵通式
解：
$$ \begin{aligned} \left[\begin{array}{c|c} A & E_{m} \\ \hline E_{n} & 0 \end{array}\right]&=\left[\begin{array}{rrr|rrr} 2\mathrm{i} & \mathrm{i} & 0&1&0&0 \\ 0&0&-3&0&1&0 \\ 2&1&1 &0&0&1\\ \hline 1 & 0 & 0 & & \\ 0 & 1 & 0 & & 0 \\ 0 & 0 & 1 \end{array}\right]\\ &\to \left[\begin{array}{rrr|rrr} 1 & 0 & 0&1&0&0 \\ 0&1&0&0&1&0 \\ 0&0&0 &\mathrm{i}&\frac{1}{3}&1\\ \hline -\frac{1}{2}\mathrm{i} & 0&-\frac{1}{2} & & \\ 0 & 0 & 1 & & 0 \\ 0 & -\frac{1}{3} & 0 \end{array}\right] \end{aligned} $$
于是
$$ {P}=\left[\begin{array}{ccc} 1 & 0 & 0 \\ 0 & 1 & 0 \\ \mathrm{i}&\frac{1}{3}&1 \end{array}\right], \quad {Q}=\begin{bmatrix} -\frac{1}{2}\mathrm{i} & 0&-\frac{1}{2} \\ 0 & 0 & 1 \\ 0 & -\frac{1}{3} & 0 \end{bmatrix} $$
所以
$$ A^-=Q\begin{bmatrix}E_2&B\\C&D\end{bmatrix}P $$
其中$B\in \mathbb{C}^{2\times 1}, C\in \mathbb{C}^{2\times 2},D\in \mathbb{C}^{2\times 1}$
非齐次线性方程组的相容性
（定理）$A\in \mathbb{C}^{n\times n},Ax=b$有解$\Leftrightarrow b=AA^-b$
非齐次线性方程组解的结构
（定理）$A\in \mathbb{C}^{m\times n}$，若$Ax=b$有解，则通解为
$$ x=A^{+}b+(E_n-A^+A)t $$
其中$t\in \mathbb{C}^{n}$。若相容，则上式为通解；若不相容，则上式为最小二乘的通解
矩阵的左逆、右逆
设$A \in \mathbb{C}^{m \times n}, B \in \mathbb{C}^{n \times m}$，若有$BA=E_n$，则称$B$是$A$的一个左逆，记为$A_L^{-1}$
等价条件：
- $A$的零空间$N(A)={0}$
- $m \geqslant n, \; \mathrm{rank}(A)= n$，即$A$是列满秩的
- $A^H A$可逆
设$A \in \mathbb{C}^{m \times n}, C \in \mathbb{C}^{n \times m}$，有$AC = E_m$，则称$C$是$A$的一个右逆，记为$A_R^{-1}$
等价条件：
- $A$的列空间$R(A)=C^m$
- $m \leqslant n, \; \mathrm{rank}(A)=m$，即$A$是行满秩的
- $AA^H$可逆
矩阵的加号逆
定义：对于矩阵$A \in \mathbb{C}^{m \times n}$，$A=BC$是$A$的一个满秩分解，则
$$ A^+ = \underbrace{C^H(CC^H)^{-1}}_{C_R^{-1}}\underbrace{(B^HB)^{-1}B^H}_{B_L^{-1}} $$
是$A$的加号逆，且加号逆唯一
性质：
- $\mathrm{rank}(A) = \mathrm{rank}(A^+)$
- $\mathrm{rank}(A^+A) = \mathrm{rank}(AA^+) = \mathrm{rank}(A)$
$A^+$的求法
实际上加号逆的定义就是一个求法，另外还可以通过SVD分解进行求解：
对矩阵$A$进行奇异值分解，得到$A = U \begin{bmatrix}\Delta &0 \\ 0 & 0\end{bmatrix}V^H$，则$\color{red}{A^+ = V \begin{bmatrix}\Delta^{-1} & 0\\ 0 & 0\end{bmatrix}U^H}$
例2
分别求矩阵$A=\left[\begin{array}{lllll}1 & 1 & 0 & 1 & 0 \\0 & 1 & 1 & 1 & 1 \\1 & 0 & 1 & 1 & 0\end{array}\right],B = \begin{bmatrix}0&1&0&1\\0&1&0&1\\2&0&1&1\end{bmatrix}$的加号逆
解：
对矩阵$A$只作初等行变换
$$ A=\left[\begin{array}{lllll} 1 & 1 & 0 & 1 & 0 \\ 0 & 1 & 1 & 1 & 1 \\ 1 & 0 & 1 & 1 & 0 \end{array}\right]\to ···\to \begin{bmatrix}1&0&0&\frac{1}{2}&-\frac{1}{2}\\0&1&0&\frac{1}{2}&\frac{1}{2}\\0&0&1&\frac{1}{2}&\frac{1}{2}\end{bmatrix} $$
故可将$A$进行满秩分解为$A=CD$，且
$$ C = \begin{bmatrix}1&1&0\\0&1&1\\1&0&1\end{bmatrix},D = \begin{bmatrix}1&0&0&\frac{1}{2}&-\frac{1}{2}\\0&1&0&\frac{1}{2}&\frac{1}{2}\\0&0&1&\frac{1}{2}&\frac{1}{2}\end{bmatrix} $$
则
$$ A^+=\begin{bmatrix}\frac{1}{3}&-\frac{1}{3}&\frac{1}{3}\\\frac{1}{2}&\frac{1}{4}&-\frac{1}{2}\\-\frac{1}{2}&\frac{1}{4}&\frac{1}{2}\\\frac{1}{6}&\frac{1}{12}&\frac{1}{6}\\-\frac{1}{6}&\frac{5}{12}&-\frac{1}{6}\end{bmatrix} $$
对矩阵$B$只作初等行变换
$$ B = \begin{bmatrix}0&1&0&1\\0&1&0&1\\2&0&1&1\end{bmatrix}\to ···\to \begin{bmatrix}1&0&\frac{1}{2}&\frac{1}{2}\\0&1&0&1\\0&0&0&0\end{bmatrix} $$
故可将$B$进行满秩分解为$B=EF$，且
$$ E = \begin{bmatrix}0&1\\0&1\\2&0\end{bmatrix},F = \begin{bmatrix}1&0&\frac{1}{2}&\frac{1}{2}\\0&1&0&1\end{bmatrix} $$
则
$$ B^+=\begin{bmatrix}-\frac{1}{11}&-\frac{1}{11}&\frac{4}{11}\\\frac{3}{11}&\frac{3}{11}&-\frac{1}{11}\\-\frac{1}{22}&-\frac{1}{22}&\frac{2}{11}\\\frac{5}{22}&\frac{5}{22}&\frac{1}{11}\end{bmatrix} $$
