定理 7.10：
定理 10.3：
定理 10.4：
定理 10.8：
定理 10.7：
定理 10.9：正定性与特征值
式 10.68：
定理 8.8：维数定理
定理 8.9：
定义 10.4：
定理 7.1：行列式（determinant）的性质
式 10.125：
式 10.124：
式 10.127：
第 10 章：特征值与特征向量
本章我们引入方阵的 和 概念。这些概念用途广泛，例如更好地理解和可视化 ，理解机械结构的稳定性，求解微分方程组，识别图像，解释和可视化二次方程，以及进行图像分割。首先，让我们从两个例子开始。
例 10.1：
特征脸
识别图像中的人脸有许多方法。最先进的方法通常使用深度学习，其中 代数是重要组成部分。一种用于理解和压缩人脸图像的流行方法是使用所谓的特征脸 (eigenfaces)。这在
交互图 10.1 中有所说明，我们展示了如何仅用两个参数生成新人脸的示例。只需指定两个数字，就可以合成如图所示的图像。因此，该技术可用于
合成 新图像。这也可以视为
图像压缩 ，因为每张新图像只需存储两个数字。该技术还可用于
图像理解 ：对于新图像，可以计算相应的坐标 $(x_1,x_2)$。$R^2$ 中的不同区域对应于笑脸、张嘴等。
平均图像 $\vc{O}$ 以及两个特征脸 $\vc{E}_1$ 和 $\vc{E}_2$ 如下所示。
用于生成 $\vc{O}$、$\vc{E}_1$ 和 $\vc{E}_2$ 的图像如
图 10.2 所示。一旦我们学习了更多关于 和 的内容，这一过程将在
例 10.18 中稍后更详细地解释。简要地说，
图 10.2 中的图像用于计算均值 $O$ 和协方差矩阵。协方差矩阵对应于两个最大 的两个 用作 $\vc{E}_1$ 和 $\vc{E}_2$。
例 10.2：
PageRank
Google 如何对网页进行 ？
在本例中，我们将研究一个简化的网页排名模型。主要思想是，如果许多（ 较高的）页面链接到某个页面，则该页面的 更高。问题是递归的。要计算一个页面的 ，你需要知道其他页面的排名。另一种看待此问题的方式是想象一个人随机点击主页上的链接之一。随机浏览后，页面 就是你在某个主页上的概率。为了连接所有主页，有一个想法是：以较小的概率（比如 15%）跳转到完全随机的主页。让我们看一个玩具例子。
假设互联网上有四个主页，1 —「Immersive Math」，2 —「 Algebra」，3 —「Boolean Algebra」，4 —「Boring Algebra」。
从一个主页到另一个主页的链接在图中以箭头表示。
假设位于某个主页的概率由向量 $\vc{v} = \begin{pmatrix} v_1 \\ v_2 \\ v_3 \\ v_4 \end{pmatrix}$ 给出，其中 $v_i$ 是位于编号为 $i$ 的主页上的概率。如果你随机选择某个主页的链接之一，位于某个主页的概率变为 $ \vc{w} = \mx{A} \vc{v}$，
其中转移矩阵为 $\mx{A}$，
\begin{equation}
\mx{A} =
\begin{pmatrix}
0 & 1 & 1/2 & 1 \\
1/2 & 0 & 1/2 & 0 \\
1/2 & 0 & 0 & 0 \\
0 & 0 & 0 & 0
\end{pmatrix} .
\end{equation}
(10.1)
第一列有两个元素。如果你位于主页 $1$，有两个链接，一个指向页面 2，一个指向页面 3。因此，有 $0.5$ 的概率最终到达主页 2，有 $0.5$ 的概率最终到达主页 3。同样，第 $j$ 列中的元素取决于主页 $j$ 上有哪些链接。
对于页面 问题，通常按以下方式修改概率。你有较小的概率，比如 $0.15$，以相等概率选择随机主页，然后以 $0.85$ 的概率根据链接选择下一个主页。转移矩阵变为
\begin{equation}
\mx{B} =
0.15
\begin{pmatrix}
1/4 & 1/4 & 1/4 & 1/4 \\
1/4 & 1/4 & 1/4 & 1/4 \\
1/4 & 1/4 & 1/4 & 1/4 \\
1/4 & 1/4 & 1/4 & 1/4
\end{pmatrix}
+ 0.85
\begin{pmatrix}
0 & 1 & 1/2 & 1 \\
1/2 & 0 & 1/2 & 0 \\
1/2 & 0 & 0 & 0 \\
0 & 0 & 0 & 0
\end{pmatrix} .
\end{equation}
(10.2)
页面的 与满足以下条件的所谓平稳概率向量 $\vc{p}$ 相关
\begin{equation}
\mx{B} \vc{p } = \vc{p} .
\end{equation}
(10.3)
这是关于未知量 $\vc{p}$ 的 方程，可以使用 计算，但它也与我们本章讨论的 概念相关。
在本例中，向量 $\vc{p}$ 为
\begin{equation}
\vc{p} =
\begin{pmatrix}
p_1\\
p_2\\
p_3\\
p_4
\end{pmatrix}
=
\begin{pmatrix}
0.43\\
0.31\\
0.22\\
0.04
\end{pmatrix}
\end{equation}
(10.4)
因此显然「Immersive Math」应该是首选。
关于如何使用我们将在本章学到的 和 来解决真正大型网络（如互联网）的页面 问题的进一步讨论，将在
例 10.12 中给出。
让我们从 和 的定义开始。
定义 10.1：
特征值与特征向量
设 $\mx{A}$ 为方阵。非零 $\vc{v}$
称为 ，若 $\mx{A}\vc{v}$ 与 $\vc{v}$ 平行，即若存在标量 $\lambda$ 使得
\begin{equation}
\mx{A}\vc{v} = \lambda \vc{v} .
\end{equation}
(10.5)
则标量 $\lambda$ 称为 。
在
第 9 章 中，我们看到 可以表示为矩阵乘法。对于 ，我们以相应的方式定义 和 ，即对于 $F$，我们说非 $\vc{v}$ 是 ，若 $F(\vc{v})$ 与 $\vc{v}$ 平行。这意味着 $F(\vc{v}) = \lambda \vc{v}$。同样，$\lambda$ 称为 。
例 10.3：
寻找特征向量游戏
注意， 对于 或变换的定义是良定的，无需知道坐标系。我们在以下示例和交互图中说明这一基本概念，可以将其视为一个「寻找 」的游戏。
在
交互图 10.3 中，
我们还计算 $\frac{\ln{ F(\vc{v}) } }{\ln{\vc{v}}}$。
尝试通过交互式移动输入向量 ${\vc{v}}$，看看你能找到多少个 ，并尝试确定每个 的 。
在
交互图 10.3 中，
你可能已经注意到，改变向量 $\vc{v}$ 的 并不会改变它是否是一个 这一事实。这源于 的线性性，下面的定理对此作了描述。
定理 10.1：
若 $\vc{v}$ 是 ，其 为 $\lambda$，则 $\vc{v} \neq 0$ 且
$F(\vc{v}) = \lambda \vc{v}$。对每个非零倍数 $\vc{u} = \mu \vc{v}$，我们有 $\vc{u} \neq 0$，且
$F(\vc{u}) = F( \mu \vc{v}) = \mu F(\vc{v}) = \mu \lambda \vc{v} = \lambda \vc{u}$。这就证明了该定理。
$\square$
因此 总可以重新缩放。然而，请记住 必须是非零的。
例 10.4：
线性函数的最大伸长
在
例 10.3 中，我们以交互方式说明了 和 。一个有趣的问题是研究 $F$ 的输出 $F(\vc{v})$ 相对于其输入向量 $\vc{v}$ 增大了多少。在下图中，我们将输入向量 $\vc{v}$ 的 固定为 1。你可以使用图下方的滑块旋转输入向量。注意输出向量 $F(\vc{v})$ 的端点落在一条椭圆上。有一个方向给出最大的伸长，而与该方向垂直的输入向量则给出最小的伸长。在本章后面（
10.6 节 ），我们将看到为何会如此，以及如何计算这些方向。
本节我们将说明如何计算 和 。（注意：该方法基于求多项式的根。实践中，还有更高效的数值方法来求 和 。 与根之间的对应关系随后被用来利用 计算根，而非反过来。）
定义 10.2：
特征多项式（characteristic polynomial）
设 $\mx{A}$ 为 $n \times n$ 阶方阵。多项式
\begin{equation}
p_{\mx{A}}(\lambda) = \det(\lambda I - \mx{A})
\end{equation}
(10.6)
则称为
。
定理 10.2：
给定矩阵 $\mx{A}$，我们如何计算 $\vc{v}$ 及相应的 $\lambda$？方程
\begin{equation}
\mx{A}\vc{v} = \lambda \vc{v} , \vc{v} \neq 0
\end{equation}
(10.7)
可以改写为
\begin{equation}
\lambda \vc{v} - \mx{A}\vc{v} = ( \lambda I - \mx{A} ) \vc{v} = 0.
\end{equation}
(10.8)
若 $\vc{v}$ 是 ，则矩阵 $(\lambda I - \mx{A})$ 的零空间中存在非零的。根据
定理 7.10 ，这意味着 $p_{\mx{A}}(\lambda) = \det( \lambda I - \mx{A} ) = 0$。
这就证明了 是 的根。反之，对于 的每个根 $\lambda$，方程 $( \lambda I - \mx{A} ) \vc{v} = 0$ 都有非零解 $\vc{v}$。由于 $\mx{A}\vc{v} = \lambda \vc{v}$，这给出一条 。
$\square$
例 10.5：
利用特征多项式计算特征值与特征向量
计算下列矩阵的 和 ：
\begin{equation}
\mx{A} = \begin{pmatrix}
5/2 & -3/4 \\
2 & 0
\end{pmatrix} .
\end{equation}
(10.9)
是 的根
\begin{equation}
\det( \lambda I - \mx{A} ) =
\begin{vmatrix}
\lambda -5/2 & 3/4 \\
-2 & \lambda
\end{vmatrix} = (\lambda-\frac{5}{2}) (\lambda) - \frac{3}{4}(-2) =
\lambda^2 - \frac{5}{2}\lambda + \frac{3}{2} = 0 .
\end{equation}
(10.10)
$\lambda^2 - \frac{5}{2}\lambda + \frac{3}{2} = 0$ 的两个根为
\begin{equation}
\lambda_{1,2} = \frac{5}{4} \pm \sqrt{ \frac{25}{4}-\frac{3}{2}} = \frac{5}{4} \pm \frac{1}{4} .
\end{equation}
(10.11)
因此两个 为 $\lambda_1 = 1$ 和 $\lambda_2 = 3/2$。
对每个 ，可通过求解
$( \lambda I - \mx{A} ) \vc{v} = 0$
找到相应的 。
对于 $\lambda_1 = 1$，我们有
\begin{equation}
(1 I - \mx{A}) \vc{v} = \begin{pmatrix}
-3/2 & 3/4 \\
-2 & 1
\end{pmatrix} \vc{v} = 0 .
\end{equation}
(10.12)
该方程组的参数解为
\begin{equation}
\vc{v} = t \begin{pmatrix}
1\\
2
\end{pmatrix} .
\end{equation}
(10.13)
因此所有向量
\begin{equation}
\vc{v} = t \begin{pmatrix}
1\\
2
\end{pmatrix} , \quad t \neq 0
\end{equation}
(10.14)
都是对应于 $1$ 的 。注意我们必须要求 $t \neq 0$，因为按定义 不是 。
对于 $\lambda_2 = 3/2$，我们有
\begin{equation}
(\frac{3}{2} I - \mx{A}) \vc{v} = \begin{pmatrix}
-1 & 3/4 \\
-2 & 3/2
\end{pmatrix} \vc{v} = 0 .
\end{equation}
(10.15)
该方程组的参数解为
\begin{equation}
\vc{v} = t \begin{pmatrix}
3\\
4
\end{pmatrix} .
\end{equation}
(10.16)
因此所有向量
\begin{equation}
\vc{v} = t \begin{pmatrix}
3\\
4
\end{pmatrix} , \quad t \neq 0
\end{equation}
(10.17)
都是对应于 $3/2$ 的 。
交互图 10.5 展示了这一 。通过移动红色输入箭头，可以直观地「验证」这些向量确实是 ，因为蓝色输出向量与红色输入向量平行。
和 与对角化这一概念相关联。
这里的想法是，若选取 作为 向量，则 会特别简单。我们需要分别针对 和矩阵给出对角化的定义。这两个定义本质上相同。
对于第一个定义，我们应记住， $F(\vc{v})$ 即使在没有 的情况下也可以定义。一个例子是输出向量恰好为输入向量但长度加倍的 ——无论选取何种 ，这一映射都可以理解。然而，若我们为 选取一个 ，则可以将 写成 $F(\vc{v}) = \mx{A}\vc{v}$ 的形式，其中 $\mx{A}$ 称为变换矩阵。变换矩阵取决于所选的 。带着这一回顾，我们现在可以给出 的可对角化性的定义。
定义 10.3：
定义 10.4：
矩阵 $\mx{A}$ 称为可对角化的，若存在可逆矩阵 $\mx{V}$ 和对角矩阵 $\mx{D}$ 使得
\begin{equation}
\mx{A} = \mx{V} \mx{D} \mx{V}^{-1} .
\end{equation}
(10.18)
矩阵 $\mx{A}$ 被分解为三个矩阵 $\mx{V}$、$\mx{D}$ 和
$\mx{V}^{-1}$ 的乘积。这类分解在许多应用中极为有用。我们将在本章后面给出几个这样的应用。
为了理解对角化与 和 之间的关系，我们重新排矩阵方程为
\begin{equation}
\mx{A} \mx{V}= \mx{V} \mx{D} .
\end{equation}
(10.19)
设 $\mx{V}$ 的 为 $(\vc{v}_1, \ldots, \vc{v}_n)$，$\mx{D}$ 的对角元素为 $(\lambda_1, \ldots, \lambda_n)$。
利用这一记号，方程可以写成
\begin{equation}
\mx{A}
\begin{pmatrix}
\vc{v}_1 & \ldots & \vc{v}_n
\end{pmatrix}
= \begin{pmatrix}
\vc{v}_1 & \ldots & \vc{v}_n
\end{pmatrix}
\mx{D}
\end{equation}
(10.20)
或
\begin{equation}
\begin{pmatrix}
\mx{A} \vc{v}_1 & \ldots & \mx{A} \vc{v}_n
\end{pmatrix}
= \begin{pmatrix}
\lambda_1 \vc{v}_1 & \ldots & \lambda_n \vc{v}_n
\end{pmatrix}.
\end{equation}
(10.21)
换言之，矩阵方程的第 $k$ 列即为
\begin{equation}
\mx{A} \vc{v}_k = \lambda_k \vc{v}_k,
\end{equation}
(10.22)
因此 $\mx{V}$ 的各列是 $\mx{A}$ 的 ，相应的 位于 $\mx{D}$ 的相应对角元素处。
这可以总结为一个定理。
定理 10.3：
例 10.6：
单根与可对角化矩阵
检验矩阵
\begin{equation}
\mx{A} = \begin{pmatrix}
5/2 & -3/4 \\
2 & 0
\end{pmatrix}
\end{equation}
(10.23)
是否可对角化；若是，计算矩阵 $\mx{V}$ 和 $\mx{D}$ 使得
\begin{equation}
\mx{A} = \mx{V} \mx{D} \mx{V}^{-1} .
\end{equation}
(10.24)
在上一例中，我们找到了两个 的
\begin{equation}
\vc{v} _1= \begin{pmatrix}
1\\
2
\end{pmatrix} \spc \text{and} \spc \vc{v} _2= \begin{pmatrix}
3\\
4
\end{pmatrix}
\end{equation}
(10.25)
其 为 $\lambda_1 = 1$ 和 $\lambda_2 = 3/2$。根据
定理 10.3 ，
$\mx{A}$ 可以分解为
\begin{equation}
\mx{V} = \begin{pmatrix}
1 & 3 \\
2 & 4
\end{pmatrix}
\end{equation}
(10.26)
以及
\begin{equation}
\mx{D} = \begin{pmatrix}
1 & 0 \\
0 & \frac{3}{2}
\end{pmatrix} .
\end{equation}
(10.27)
对于 $2 \times 2$ 规模的矩阵， 的次数为 2，因此有 2 个根（若计入复根并考虑根的重数）。在
例 10.5 中，两个根（$2$ 和 $3$）互不相同，且存在由 构成的 。对于一般的 $n \times n$ 矩阵，结论同样成立，如下述定理所述。
定理 10.4：
记 $n$ 个不同的 为 $\lambda_1, \ldots, \lambda_n$。对每个 $\lambda_k$，至少存在一个 $\vc{v}_k$。
若这 $n$ 个 ，则这些 构成一个 。根据
定理 10.3 ，
矩阵 $\mx{A}$ 即可对角化。因此，我们只需证明这 $n$ 个 。
为证明这一点，我们将对 的个数 $k$ 使用归纳法。对于 $k=2$，结论成立，因为两条平行的向量具有相同的 。假设 $k-1$ 个对应于不同 的 总是 的。我们需要证明，对于 $k$ 个对应于不同 的 ，方程
\begin{equation}
z_1 \vc{v}_1 + z_2 \vc{v}_2 + \ldots + z_k \vc{v}_k = 0
\end{equation}
(10.28)
只有唯一解，即 $z_1 = z_2 = \ldots = z_k = 0$。
两边左乘 $\mx{A}$ 得
\begin{equation}
\mx{A} (z_1 \vc{v}_1 + z_2 \vc{v}_2 + \ldots + z_k \vc{v}_k) =
z_1 \mx{A} \vc{v}_1 + z_2 \mx{A}\vc{v}_2 + \ldots + z_k \mx{A}\vc{v}_k =
z_1 \lambda_1 \vc{v}_1 + z_2 \lambda_2 \vc{v}_2 + \ldots + z_k \lambda_k \vc{v}_k =
0 .
\end{equation}
(10.29)
从该式减去原式 $ \lambda_k $ 倍，得
\begin{equation}
z_1 (\lambda_1-\lambda_k) \vc{v}_1 + z_2 (\lambda_2 -\lambda_k) \vc{v}_2 + \ldots + z_{k-1} (\lambda_{k-1} - \lambda_k) \vc{v}_{k-1}
= 0 .
\end{equation}
(10.30)
由于 $k-1$ 个对应于不同 的 总是 的，我们得到
\begin{equation}
\begin{array}{ll}
z_1 (\lambda_1-\lambda_k) & = 0 \\
z_2 (\lambda_2-\lambda_k) & = 0 \\
& \vdots \\
z_{k-1} (\lambda_{k-1} - \lambda_k) & = 0.
\end{array}
\end{equation}
(10.31)
由于所有 互不相同，这意味着 $z_1 = z_2 = \ldots = z_{k-1} = 0$。
将其代入原方程，得 $z_k \vc{v}_k = 0$，即 $z_k= 0$。
证明至此完成。
$\square$
因此，若所有根互不相同，则矩阵可对角化。若存在重数大于 1 的根，矩阵可能可对角化（
例 10.7 ），也可能不可（
例 10.8 ）。
例 10.7：
重根与可对角化矩阵
检验矩阵
\begin{equation}
\mx{A} = \begin{pmatrix}
2 & 0\\
0 & 2
\end{pmatrix}
\end{equation}
(10.32)
是否可对角化；若是，计算矩阵 $\mx{V}$ 和 $\mx{D}$ 使得
\begin{equation}
\mx{A} = \mx{V} \mx{D} \mx{V}^{-1} .
\end{equation}
(10.33)
本例略显多余，因为矩阵 $\mx{A}$ 本身已经是对角矩阵，但它作为 有重根却仍可对角化的例子，仍然有其作用。尽管它显然可对角化，我们仍将完成全部计算。
与
例 10.5 一样，我们先确定 。
是
\begin{equation}
\det( \lambda I - \mx{A} ) =
\mx{A} = \begin{vmatrix}
\lambda - 2 & 0\\
0 & \lambda -2
\end{vmatrix} = (\lambda-2) (\lambda-2) - (0)(0) =
(\lambda-2) (\lambda-2) = 0 .
\end{equation}
(10.34)
该多项式在 $\lambda = 2$ 处有重根。
对于 $\lambda = 2$，有
\begin{equation}
(2 I - \mx{A}) \vc{v} = \begin{pmatrix}
0 & 0 \\
0 & 0
\end{pmatrix} \vc{v} = 0 .
\end{equation}
(10.35)
该方程组的参数解为
\begin{equation}
\vc{v} = t_1\begin{pmatrix}
1\\
0
\end{pmatrix} + t_2 \begin{pmatrix}
0\\
1
\end{pmatrix} .
\end{equation}
(10.36)
此时可以找到 的一个 ，例如
\begin{equation}
\vc{v}_1 = \begin{pmatrix}
1\\
0
\end{pmatrix}
\end{equation}
(10.37)
以及
\begin{equation}
\vc{v}_1 = \begin{pmatrix}
0\\
1
\end{pmatrix} .
\end{equation}
(10.38)
因此该矩阵可对角化。
实际上，这并不令人意外，因为矩阵 $\mx{A}$ 本身已经是对角矩阵。因此，无需计算，我们可以选取 $\mx{D} = \mx{A}$、$\mx{V} = \mx{I}$ 和 $\mx{V}^{-1} = \mx{I}^{-1} = \mx{I}$，并写出 $\mx{A}$ 为
\begin{equation}
\mx{A} = \mx{I}\mx{A}\mx{I}^{-1} = \mx{V} \mx{D} \mx{V}^{-1}.
\end{equation}
(10.39)
例 10.8：
重根与不可对角化矩阵
检验矩阵
\begin{equation}
\mx{A} = \begin{pmatrix}
1 & 1\\
0 & 1
\end{pmatrix}
\end{equation}
(10.40)
是否可对角化；若是，计算矩阵 $\mx{V}$ 和 $\mx{D}$ 使得
\begin{equation}
\mx{A} = \mx{V} \mx{D} \mx{V}^{-1} .
\end{equation}
(10.41)
与
例 10.5 一样，我们先确定 。
是
\begin{equation}
\det( \lambda I - \mx{A} ) =
\mx{A} = \begin{vmatrix}
\lambda - 1 & -1\\
0 & \lambda -1
\end{vmatrix} = (\lambda-1) (\lambda-1) - (0)(-1) =
(\lambda-1) (\lambda-1) = 0 .
\end{equation}
(10.42)
该多项式在 $\lambda = 1$ 处有重根。
对于 $\lambda = 1$，有
\begin{equation}
(1 I - \mx{A}) \vc{v} = \begin{pmatrix}
0 & -1 \\
0 & 0
\end{pmatrix} \vc{v} = 0 .
\end{equation}
(10.43)
该方程组的参数解为
\begin{equation}
\vc{v} = t \begin{pmatrix}
1\\
0
\end{pmatrix} .
\end{equation}
(10.44)
因此所有向量
\begin{equation}
\vc{v} = t \begin{pmatrix}
1\\
0
\end{pmatrix} , \quad t \neq 0
\end{equation}
(10.45)
都是对应于 $1$ 的 。
这些就是仅有的 。任意选取两个这样的 都 。这意味着无法对角化该矩阵。
在
例 10.6 中，所有根均为单根，因此所有 互不相同。根据
定理 10.4 ，这样的矩阵总是可对角化的。 有重根（或更高重数的根）的矩阵，可能像
例 10.7 那样可对角化，也可能像
例 10.8 那样不可对角化。能否对角化，取决于对每个 $\lambda$，能从 $(\lambda I - \mx{A})$ 的零空间中选出多少个 的 。
此时引入代数重数与 的概念会很有用。
定义 10.5：
代数重数、特征空间与几何重数
定理 10.5：
假设 $\lambda_0$ 的 为 $k$。这意味着
$(\lambda_0 I - \mx{A})$ 零空间的维数为 $k$，换言之，我们可以找到 $k$ 个 的 $\vc{e}_1, \ldots, \vc{e}_k$
对应于 $\lambda_0$。按 $\vc{e}_1, \ldots, \vc{e}_k, \ldots \vc{e}_n$ 选取一个新 ，使前 $k$ 个
向量由对应于 $\lambda_0$ 的 给出。在这个新 下，变换矩阵 $\mx{A}$ 具有形式
\begin{equation}
\mx{A} =
\begin{pmatrix}
\lambda_0 & 0 & \ldots & 0 & a_{1,k+1} & \ldots & a_{1,n}\\
0 & \lambda_0 & \ldots & 0 & a_{2,k+1} & \ldots & a_{2,n}\\
\vdots & \vdots & \ddots & \vdots & \vdots & \vdots \\
0 & 0 & \ldots & \lambda_0 & a_{k,k+1} & \ldots & a_{k,n}\\
\vdots & \vdots & \ddots & \vdots & \vdots & \vdots \\
0 & 0 & \ldots & 0 & a_{n,k+1} & \ldots & a_{n,n}\\
\end{pmatrix}
\end{equation}
(10.46)
该矩阵的 包含 $(\lambda - \lambda_0)^k p(\lambda)$，因此 至少为 $k$。这表明 总是小于或等于 。
$\square$
定理 10.6：
假设有 $k$ 个不同的 $\lambda_1, \ldots, \lambda_k$。
若每个 的代数重数与几何重数相同。对每个 $\lambda_i$，设该重数为 $m_i$。由 ，我们有 $\sum_{i=1}^k m_i = n$。由于 为 $m_i$，存在 $m_i$ 个无关的 $\vc{v}_{i,1}, \ldots, \vc{v}_{i,m_i}$。所有这些 （来自所有 ）$\{ \vc{v}_{1,1}, \ldots, \vc{v}_{1,m_i}, \ldots, \vc{v}_{k,1}, \ldots, \vc{v}_{k,m_k} \}$ 共 $n$ 个向量。我们将通过证明它们 来说明它们构成一个 。
假设存在标量 $c_{i,j}$，满足 $1 \leq i \leq k$ 且 $1 \leq j \leq m_i$，使得
\begin{equation}
\sum_{i=1}^k \sum_{j=1}^{m_i} c_{i,j} \vc{v}_{i,j} = 0 .
\end{equation}
(10.47)
构造向量
\begin{equation}
\vc{w}_{i} = \sum_{j=1}^{m_i} c_{i,j} \vc{v}_{i,j}.
\end{equation}
(10.48)
对每个 $i$，向量 $\vc{w}_i$ 要么为零，要么是对应于 $\lambda_i$ 的 。
假设其中至少有一个非零，则我们得到如下类型的和
\begin{equation}
\sum_{i=1}^k \vc{w}_i= 0
\end{equation}
(10.49)
即对应于不同 的 之和。然而，根据
定理 10.4 ，这些向量必须 ，它们之和为零的唯一可能是它们全为零。
现在我们得到
\begin{equation}
\vc{w}_{i} = \sum_{j=1}^{m_i} c_{i,j} \vc{v}_{i,j} = 0 .
\end{equation}
(10.50)
由于对每个 $i$，集合 $\{\vc{v}_{i,1}, \ldots, \vc{v}_{i,m_i}\}$ 都 ，我们有
\begin{equation}
c_{i,j} = 0, \quad 1 \leq i \leq k, 1 \leq j \leq m_i \, .
\end{equation}
(10.51)
这表明 $\{ \vc{v}_{1,1}, \ldots, \vc{v}_{1,m_i}, \ldots, \vc{v}_{k,1}, \ldots, \vc{v}_{k,m_k} \}$ 。因此，它们构成一个 ，从而矩阵 $\mx{A}$ 可对角化。
为证明反向结论——若矩阵可对角化，则几何重数与代数重数必相等——我们假设 $\mx{A}$ 可对角化。则存在可逆矩阵 $\mx{V}$ 和对角矩阵 $\mx{D}$ 使得 $\mx{A} = \mx{V} \mx{D} \mx{V}^{-1}$。矩阵 $\mx{A}$ 与 $\mx{D}$ 具有相同的 ，且对每个 $\lambda_i$ 具有相同的几何重数。对于对角矩阵，几何重数与代数重数相同，这很容易证明，从而证明完成。
$\square$
在
例 10.7 和
例 10.8 中，都只有一个 。在两个例子中， 均为 2。在
例 10.7 中， 仅为 1，因此矩阵不可对角化。然而，在
例 10.8 中， 为 2，因此矩阵可对角化。
注意，对于随机矩阵，例如若矩阵的每个元素独立地从 分布中抽取，得到不可对角化矩阵的概率极小。事实上，若使用真正的连续 分布而非（离散的）计算机近似，该概率实际上为零。因此在某种意义上，不可对角化矩阵是例外。然而，在实际应用中，有些矩阵因其固有结构而不可对角化。
我们主要处理实矩阵和向量，但处理包含复数的矩阵和向量也很有用。即使对于实矩阵，有时考虑复 和 也颇为有益。
对于实矩阵和复矩阵 $\mx{A}$，复 与 的定义是类似的。
定义 10.6：
复特征值与复特征向量
设 $\mx{A}$ 为实或复元素的方阵。非零 $\vc{v}$（元素为复数）
称为 ，若 $\mx{A}\vc{v}$ 与 $\vc{v}$ 平行，即存在复标量 $\lambda$，使得
\begin{equation}
\mx{A}\vc{v} = \lambda \vc{v} .
\end{equation}
(10.52)
则标量 $\lambda$ 称为 。
对称矩阵的一个有用性质总结于下述定理。
定理 10.7：
假设我们有一个 $\vc{v}$（可能为复数），以及对应的 $\lambda$（也可能为复数）。首先证明
$z = \bar{\vc{v}}^\T \mx{A} \vc{v}$ 是实数。
为此，我们使用复数 $z=a+bi$ 的复共轭，即 $\overline{z}=a-bi$。
我们得到
\begin{equation}
\bar{z}= \overline{\bar{\vc{v}}^\T \mx{A} \vc{v}} = \vc{v}^\T \bar{\mx{A}} \bar{\vc{v}} = (\vc{v}^\T \bar{\mx{A}} \bar{\vc{v}})^\T = \bar{\vc{v}} \bar{\mx{A}}^\T \vc{v} = \bar{\vc{v}}^\T \mx{A} \vc{v} = z .
\end{equation}
(10.53)
标量 $z$ 是实数，因为 $\bar{z}=z$。
若我们现在利用 $\vc{v}$ 是 这一事实，我们得到
\begin{equation}
z = \bar{\vc{v}}^\T \mx{A} \vc{v}= \bar{\vc{v}}^\T \lambda \vc{v} = \lambda (\bar{\vc{v}}^\T \vc{v}) .
\end{equation}
(10.54)
但由于 $\bar{\vc{v}}^\T \vc{v}$ 恒为实数，这意味着 $\lambda$ 也是实数。
$\square$
注意，在证明中我们用到 $\bar{\mx{A}}^\T = \mx{A}$ 这一事实。因此，即使对于复矩阵，若它们满足约束 $\bar{\mx{A}}^\T = \mx{A}$，我们也能证明所有 均为实数。
定理 10.8：
对于对称矩阵 $\mx{A}$，可以找到 矩阵 $\mx{U}$ 和对角矩阵 $\mx{D}$ 使得
\begin{equation}
\mx{A} = \mx{U} \mx{D} \mx{U}^{-1} = \mx{U} \mx{D} \mx{U}^{T} .
\end{equation}
(10.55)
换言之，可以使用 的 进行对角化。
我们将对矩阵 $\mx{A}$ 的规模 $k$ 使用归纳法来证明此结论。
对于 $k = 1$，即对于 $1 \times 1$ 矩阵 $\mx{A}$，定理成立。此时可以选择 $\mx{U} = (1)$ 和 $\mx{D}= \mx{A}$。
我们假设该定理对 $(k-1) \times (k-1)$ 矩阵成立。
设 $\mx{A}$ 为 $n \times n$ 实对称矩阵。我们要证明，可以使用 的 对 $\mx{A}$ 进行对角化。至少存在一个 $\lambda$ 及对应的 $\vc{v}$。令 $\vc{q}_1 = \frac{\vc{v}}{||\vc{v}||}$。
选取任意 $k \times k$ 矩阵 $\mx{Q} = \begin{pmatrix}\vc{q}_1 & \ldots & \vc{q}_k\end{pmatrix}$，使其第一列为 $\vc{q}_1$。
将 $\mx{A}$ 乘以 $\mx{Q}$ 得到
\begin{equation}
\mx{A}\mx{Q} =
\begin{pmatrix}
\lambda \vc{q}_1 & \mx{A}\vc{q}_2 & \ldots & \mx{A} \vc{q}_k
\end{pmatrix}
=
\mx{Q}
\begin{pmatrix}
\lambda & \vc{w}^\T \\
0 & \tilde{\mx{A}}
\end{pmatrix} .
\end{equation}
(10.56)
对于某个 $(k-1) \times 1$ $\vc{w}$ 和某个 $(k-1) \times (k-1)$ 矩阵 $\tilde{\mx{A}}$。
由此得到
\begin{equation}
\mx{Q}^\T \mx{A} \mx{Q} =
\begin{pmatrix}
\lambda & \vc{w}^\T \\
0 & \tilde{\mx{A}}
\end{pmatrix} .
\end{equation}
(10.57)
由于 $\mx{A}$ 是对称的，我们有
\begin{equation}
(\mx{Q}^\T \mx{A} \mx{Q})^\T =
\mx{Q}^\T \mx{A}^\T \mx{Q} =
\mx{Q}^\T \mx{A} \mx{Q} =
\begin{pmatrix}
\lambda & 0 \\
\vc{w} & \tilde{\mx{A}}^\T
\end{pmatrix} .
\end{equation}
(10.58)
这意味着 $\vc{w}=\vc{0}$，且 $\tilde{\mx{A}}^\T = \tilde{\mx{A}}$。
根据归纳假设，$\tilde{\mx{A}}$ 的规模为 $(k-1) \times (k-1)$，因此可以使用 的 对其进行对角化。
这意味着存在 $\tilde{\mx{Q}}$ 和 $\tilde{\mx{D}}$ 使得
\begin{equation}
\tilde{\mx{A}} =
\tilde{\mx{Q}} \tilde{\mx{D}} \tilde{\mx{Q}}^\T.
\end{equation}
(10.59)
但这给出了 的 ，满足
\begin{equation}
\mx{U} =
\mx{Q}
\begin{pmatrix}
1 & 0 \\
0 & \tilde{\mx{Q}}
\end{pmatrix}
\end{equation}
(10.60)
且
\begin{equation}
\mx{D} =
\begin{pmatrix}
\lambda & 0 \\
0 & \tilde{\mx{D}}
\end{pmatrix},
\end{equation}
(10.61)
这就完成了证明。
$\square$
定义 10.7：
正定性
对称实 $n \times n$ 矩阵 $\mx{A}$ 称为
\begin{align}
\begin{array}{lll}
&(1) & \text{positive definite if } & \vc{v}^T \mx{A} \vc{v} > 0, \, \, \forall \vc{v} \in R^n \setminus 0 \\
&(2) & \text{positive semi-definite if } & \vc{v}^T \mx{A} \vc{v} \geq 0, \, \, \forall \vc{v} \in R^n \setminus 0\\
&(3) & \text{negative definite if } & \vc{v}^T \mx{A} \vc{v} < 0, \, \, \forall \vc{v} \in R^n \setminus 0\\
&(4) & \text{negative semi-definite if } & \vc{v}^T \mx{A} \vc{v} \leq 0, \, \, \forall \vc{v} \in R^n \setminus 0\\
&(5) & \text{indefinite if } & \vc{v}^T \mx{A} \vc{v} \text{ takes on both positive and negative values} \\
\end{array}
\end{align}
(10.62)
定理 10.9：
正定性与特征值
对称实 $n \times n$ 矩阵 $\mx{A}$
\begin{align}
\begin{array}{ll}
&(1) & \text{positive definite if and only if all eigenvalues are positive} \\
&(2) & \text{positive semi-definite if and only if all eigenvalues are non-negative} \\
&(3) & \text{negative definite if and only if all eigenvalues are negative} \\
&(4) & \text{negative semi-definite if and only if all eigenvalues are non-positive} \\
&(5) & \text{indefinite if and only if there are both positive and negative eigenvalues} \\
\end{array}
\end{align}
(10.63)
由于矩阵 $\mx{A}$ 是对称的，因此可以使用 矩阵 $\mx{U}$ 将其对角化，即
$\mx{A} = \mx{U}^\T \mx{D} \mx{U}$。
坐标变换 $\vc{w} = \mx{U} \vc{v}$ 给出
\begin{equation}
\vc{v}^T \mx{A} \vc{v} = \vc{v}^T \mx{U}^\T \mx{D} \mx{U} \vc{v} = \vc{w}^T \mx{D} \vc{w}
\end{equation}
(10.64)
若所有 均为正，则容易看出对所有非 有 $\vc{v}^T \mx{A} \vc{v} > 0$。若某个 （例如 $\lambda_i$）为零或为负，则显然对应的 $\vc{v} = \vc{u}_i$ 将给出零或负的结果，因为 $\vc{u}_i^T \mx{A} \vc{u}_i = \vc{u}_i^T \lambda_i \vc{u}_i = \lambda_i \leq 0$。这就证明了第一个结论。定理的其余部分可以类似地证明。
$\square$
在
例 10.4 中，我们研究了若固定输入向量的 ，输出向量 $F(\vc{v})$ 可以有多长。这里我们将利用
定理 10.8 和
定理 10.7 中的工具来更好地理解这一问题。
给定实矩阵 $\mx{A}$ 及相应的 映射 $F(\vc{v}) = \mx{A} \vc{v}$（作用于实向量 $\vc{v}$），哪个输入 $\vc{v}$ 给出最大和最小的伸长 $s = \frac{|| \mx{A} \vc{v}||}{||\vc{v}||}$？
研究伸长的平方更为方便，即
\begin{equation}
s^2 =\left(\frac{|| \mx{A} \vc{v}||}{||\vc{v}||}\right)^2= \frac{\vc{v}^\T \mx{A}^\T \mx{A} \vc{v}}{\vc{v}^\T \vc{v}},
\end{equation}
(10.65)
我们假设向量 $\vc{v}$ 非零。注意，此处相关的是矩阵 $\mx{A}^\T \mx{A}$。
该矩阵按构造是对称的。根据
定理 10.8 ，我们知道可以使用 矩阵 $\mx{U}$ 将该矩阵对角化，
\begin{equation}
\mx{A}^\T \mx{A} = \mx{U} \mx{D} \mx{U}^\T .
\end{equation}
(10.66)
为实数。注意 $\mx{A}^\T \mx{A}$ 是半正定的。这可以由
$ \vc{v}^T \mx{A}^\T \mx{A} \vc{v} = \left( || \mx{A} \vc{v}|| \right)^2 \geq 0$ 看出。由
定理 10.9 可知 非负。
为简单起见，假设 的排序满足 $d_1 \geq d_2 \geq \ldots \geq d_n \geq 0$。
这意味着
\begin{equation}
s^2 = \frac{\vc{v}^\T \mx{A}^\T \mx{A} \vc{v}}{\vc{v}^\T \vc{v}} = \frac{\vc{v}^\T \mx{U} \mx{D} \mx{U}^\T \vc{v}}{\vc{v}^\T \mx{U} \mx{U}^\T \vc{v}} .
\end{equation}
(10.67)
通过坐标变换 $\vc{w} = \mx{U}^\T \vc{v}$，我们得到
\begin{equation}
s^2 = \frac{\vc{w}^\T \mx{D} \vc{w}}{\vc{w}^\T \vc{w}}.
\end{equation}
(10.68)
为了直观理解如何最大化这一量，我们注意到分子恰为
\begin{equation}
w_1^2 d_1 + w_2^2 d_2 + \ldots + w_n^2 d_n,
\end{equation}
(10.69)
其中 $d_1, d_2, \dots d_N$ 是
$\mx{D}$ 的对角元素。此外，分母就是
\begin{equation}
w_1^2 + w_2^2 + \ldots + w_n^2.
\end{equation}
(10.70)
因此，直观上，若要在保持分母尽可能小的同时最大化分子，将最大权重放在第一项上似乎是合理的，因为 $d_1$ 是最大元素，例如取 $w_1 = 1$ 且 $w_j = 0$（对 $j\neq1$）。
若要为这一直观认识给出严格证明，可以按如下方式进行。首先将
式 (10.68) 改写为
\begin{equation}
s^2 = \frac{\sum_{i=1}^n d_i w_i^2 }{\sum_{i=1}^n w_i^2}.
\end{equation}
(10.71)
为了了解最大值，我们通过计算偏导数来求所有驻点
\begin{equation}
\frac{\partial (s^2)}{\partial w_i} = \frac{ (2 d_i w_i) (\sum_{i=1}^n w_i^2) - (\sum_{i=1}^n d_i w_i^2 )(2 w_i)}{(\sum_{i=1}^n w_i^2)^2} .
\end{equation}
(10.72)
由于对驻点有 $\frac{\partial (s^2)}{\partial w_i} = 0$（对所有 $i$），我们有
\begin{equation}
\begin{pmatrix}
d_1 w_1 & w_1 \\
d_2 w_2 & w_2 \\
\vdots & \vdots \\
d_n w_n & w_n
\end{pmatrix}
\begin{pmatrix}
\sum_{i=1}^n w_i^2 \\
\sum_{i=1}^n d_i w_i^2
\end{pmatrix} = \vc{0}.
\end{equation}
(10.73)
因此我们有一个矩阵乘以一个向量，结果为零。当变换后的向量 $\vc{w}$ 非零时，该向量非零，因为其第一个元素是它的 的平方 $||\vc{w}||^2$。因此，若 $\vc{w}\neq \vc{0}$，则必是该矩阵使表达式为零，即它至少有一维的 （ 为 1）。这意味着该矩阵的 至多为 1，因为
定理 8.8 指出 与 之和必须等于列数。然而，
定理 8.9 指出 等于最大的非零 （子行列式）的规模。因此，此情况下最大的 为 $1\times 1$。这又意味着每个 $2 \times 2$ 均为零，即
\begin{equation}
\det \begin{pmatrix}
d_i w_i & w_i \\
d_j w_j & w_j
\end{pmatrix} =(d_i-d_j) w_i w_j = 0
\end{equation}
(10.74)
对所有 $i$ 和 $j$ 成立。一个解是 $\vc{w}$ 只有一个非零元素。
全局最大值在 $\vc{w}_{max} = \begin{pmatrix} 1 & 0 & \ldots & 0 \end{pmatrix}$ 处取得，最大伸长为 $d_1$；全局最小值在 $\vc{w}_{min} = \begin{pmatrix} 0 & 0 & \ldots & 1 \end{pmatrix}$ 处取得，最小伸长为 $d_n$。
由于 $\vc{w} = \mx{U}^\T \vc{v}$，我们有 $\vc{v} = \mx{U} \vc{w}$，这意味着最大伸长在 $\vc{v}_1$ 处取得，即 $\mx{A}^\T \mx{A}$ 的对应于最大 的 ；
最小伸长在 $\vc{v}_n$ 处取得，即 $\mx{A}^\T \mx{A}$ 的对应于最小 的 。
例 10.9：
对称矩阵的最大伸长
研究
交互图 10.6 中的 ，
其中（红色）输入向量的 为 1。
尝试改变输入向量 $\vc{v}$，使结果向量 $F(\vc{v})$ 尽可能长，然后再尽可能短。在本例中， 为 $\vc{v} \rightarrow \mx{A} \vc{v}$，其中 $\mx{A}$ 是对称矩阵。对此情形，解释稍更简单。
在
第 9 章 中，我们看到（有限维） $F$ 总可以表示为矩阵乘法 $\vc{y} = \mx{A} \vc{x}$。
若矩阵可对角化，则由
定义 10.4 可知
\begin{equation}
\mx{A} = \mx{V} \mx{D} \mx{V}^{-1} .
\end{equation}
(10.75)
这意味着，若我们按 $ \vc{x} = \mx{V} \tilde{\vc{x}}$ 进行坐标变换（从而也有 $\vc{y} = \mx{V} \tilde{\vc{y}}$），则在新坐标系中得到简化的关系 $\tilde{\vc{y}} = \tilde{\mx{A}} \tilde{\vc{x}}$，即
\begin{equation}
\tilde{\vc{y}} = \mx{V}^{-1} \vc{y} = \mx{V}^{-1} \mx{V} \mx{D} \mx{V}^{-1} \vc{x} =
\mx{V}^{-1} \mx{V} \mx{D} \mx{V}^{-1} \mx{V} \tilde{\vc{x}}
\end{equation}
(10.76)
这意味着
\begin{equation}
\tilde{\vc{y}} = \mx{D} \tilde{\vc{x}} .
\end{equation}
(10.77)
这意味着 现在由包含 的对角矩阵表示。
在本例中，矩阵 $\mx{A}$ 给定为
\begin{equation}
\mx{A} = \frac{1}{10}\left(\begin{array}{cc}
8 & 6\\
6 & 17\\
\end{array}\right).
\end{equation}
(10.78)
在一般情形（见上文）中，是 $\mx{A}^T \mx{A}$ 的 给出最大伸长，但由于矩阵是对称的，$\mx{A}$ 的 也是 $\mx{A}^T \mx{A} = \mx{A}^2$ 的 。
本节我们给出 与 的一些有用结论与性质。
定理 10.10：
若 $\vc{v}$ 是矩阵 $\mx{A}$ 的 ， 为 $\lambda$，同时又是矩阵 $\mx{B}$ 的 ， 为 $\mu$，则
\begin{equation}
\begin{array}{ll}
(i) & \text{The vector}\ \vc{v} \ \text{is an eigenvector with eigenvalue}\ c\lambda \ \text{to the matrix}\ c\mx{A}. \\
(ii) & \text{The vector}\ \vc{v} \ \text{is an eigenvector with eigenvalue}\ \lambda+d \ \text{to the matrix}\ \mx{A}+d \mx{I}. \\
(iii) & \text{The vector}\ \vc{v} \ \text{is an eigenvector with eigenvalue}\ \lambda^n \ \text{to the matrix}\ \mx{A}^n. \\
(iv) & \text{The vector}\ \vc{v} \ \text{is an eigenvector with eigenvalue}\ 1/\lambda. \\
& \text{to the matrix}\ \mx{A}^{-1}, \ \text{if}\ \mx{A}\ \text{is invertible}. \\
(v) & \text{The vector}\ \vc{v} \ \text{is an eigenvector with eigenvalue}\ \lambda + \mu \ \text{to the matrix}\ \mx{A}+\mx{B}. \\
\end{array}
\end{equation}
(10.79)
这些结论中的大多数都相当容易证明。
$(i)$：将矩阵 $c\mx{A}$ 乘以向量 $\vc{v}$。
\begin{equation}
(c \mx{A}) \vc{v}= c \mx{A} \vc{v} = c \lambda \vc{v} = (c \lambda) \vc{v} .
\end{equation}
(10.80)
这证明了 $\vc{v}$ 是 $c \mx{A}$ 的 ， 为 $c \lambda$。
$(ii)$：将矩阵 $\mx{A} + d\mx{I}$ 乘以向量 $\vc{v}$。
\begin{equation}
(\mx{A} + d\mx{I}) \vc{v} = \mx{A}\vc{v} + d \mx{I} \vc{v} = \lambda \vc{v} + d \vc{v} = (\lambda + d) \vc{v} .
\end{equation}
(10.81)
这证明了 $\vc{v}$ 是 $\mx{A}+d\mx{I}$ 的 ， 为 $\lambda+d$。
$(iii)$：将矩阵 $\mx{A}^n$ 乘以向量 $\vc{v}$。
\begin{equation}
\mx{A}^n \vc{v} = \mx{A}^{n-1} \mx{A} \vc{v} = \lambda \mx{A}^{n-1} \vc{v} = \lambda^2 \mx{A}^{n-2} \vc{v} = \ldots = \lambda^n \vc{v} .
\end{equation}
(10.82)
这证明了 $\vc{v}$ 是 $\mx{A}^n$ 的 ， 为 $\lambda^n$。
$(iv)$：研究方程
\begin{equation}
\mx{A} \vc{v} = \lambda \vc{v} .
\end{equation}
(10.83)
若 $\mx{A}$ 可逆，我们可在左侧乘以逆矩阵。由此得到
\begin{equation}
\vc{v} = \lambda \mx{A}^{-1} \vc{v} .
\end{equation}
(10.84)
由于对于可逆矩阵，所有 均非零，我们可以在两边除以 $\lambda$。由此得到
\begin{equation}
\frac{1}{\lambda} \vc{v} = \mx{A}^{-1} \vc{v} .
\end{equation}
(10.85)
这证明了 $\vc{v}$ 是 $\mx{A}^{-1}$ 的 ， 为 $\frac{1}{\lambda}$。
$(v)$：将矩阵 $\mx{A}+\mx{B}$ 乘以向量 $\vc{v}$。
\begin{equation}
( \mx{A} + \mx{B}) \vc{v} = \mx{A} \vc{v} + \mx{B} \vc{v} = \lambda \vc{v} + \mu \vc{v} = (\lambda + \mu) \vc{v} .
\end{equation}
(10.86)
这证明了 $\vc{v}$ 是 $\mx{A}+\mx{B}$ 的 ， 为 $\lambda+\mu$。
$\square$
定理 10.11：
这由行列式的法则（
定理 7.1 ）推出。
\begin{equation}
p_{\mx{A}^\T}(\lambda) = \det( \lambda \mx{I} - \mx{A}^\T ) = \det( (\lambda \mx{I} - \mx{A})^\T ) = \det(\lambda \mx{I} - \mx{A}) = p_\mx{A}(\lambda) .
\end{equation}
(10.87)
$\square$
这意味着 $ \mx{A}$ 与 $\mx{A}^\T$ 的 相同。然而， 可能不同。
定理 10.12：
这同样由行列式的法则（
定理 7.1 ）推出。我们可以将 $\mx{I} = \mx{V}\mx{V}^{-1} = \mx{V}\mx{I}\mx{V}^{-1}$ 写成，从而
\begin{equation}
p_{\mx{V} \mx{A} \mx{V}^{-1}}(\lambda) = \det( \lambda \mx{I} - \mx{V} \mx{A} \mx{V}^{-1} ) =
\det( \lambda \mx{V}\mx{I}\mx{V}^{-1} - \mx{V} \mx{A} \mx{V}^{-1} ).
\end{equation}
(10.88)
从左侧提出 $\mx{V}$、从右侧提出 $\mx{V}^{-1}$ 得到
\begin{equation}
p_{\mx{V} \mx{A} \mx{V}^{-1}}(\lambda) =
\det( \mx{V} (\lambda \mx{I} - \mx{A}) \mx{V}^{-1} ) =
\det( \mx{V}) \det(\lambda \mx{I} - \mx{A}) \det(\mx{V}^{-1} ) = \det(\lambda \mx{I} - \mx{A}) = p_{\mx{A}}(\lambda),
\end{equation}
(10.89)
其中我们用到 $\det(\mx{A}\mx{B}) = \det(\mx{A})\det(\mx{B})$ 与 $\det(\mx{V}^{-1}) = \frac{1}{\det(\mx{V})}$ 这一事实。
$\square$
定理 10.13：
若 $\mx{A}$ 是 $n \times n$ 矩阵，其 为 $\lambda_1, \ldots, \lambda_n$，则
\begin{equation}
\det(\mx{A}) = \lambda_1 \cdot \lambda_2 \cdot \ldots \cdot \lambda_n .
\end{equation}
(10.90)
且
\begin{equation}
\tr(\mx{A}) = \lambda_1 + \lambda_2 + \ldots + \lambda_n .
\end{equation}
(10.91)
换言之，行列式等于 之积；而迹定义为矩阵对角元素之和，等于 之和。
这两个定理的证明可以通过用两种不同的方式研究 得到。一方面， 为
\begin{equation}
p_{\mx{A}}(\lambda) = (\lambda-\lambda_1) (\lambda-\lambda_2) \cdot (\lambda - \lambda_n) =
\lambda^n - (\lambda_1 + \lambda_2 + \cdot + \lambda_n) \lambda^{n-1} + \ldots + (\lambda_1 \lambda_2 \ldots \lambda_n) (-1)^n .
\end{equation}
(10.92)
另一方面， 为
\begin{equation}
p_{\mx{A}}(\lambda) = \det( \lambda \mx{I} - \mx{A} ) = \lambda^n - (a_{11} + a_{22} + \ldots + a_{nn}) \lambda^{n-1} + \ldots + (\det(\mx{A})) (-1)^n
\end{equation}
(10.93)
或
\begin{equation}
p_{\mx{A}}(\lambda) = \det( \lambda \mx{I} - \mx{A} ) = \lambda^n - \tr(\mx{A}) \lambda^{n-1} + \ldots + (\det(\mx{A})) (-1)^n .
\end{equation}
(10.94)
这即证明了两个等式。
$\square$
本节中，我们通过一系列例子说明 与 确实非常有用。
例 10.10：
计算 $\mx{A}^n$
对角化可用于简化和理解 $\mx{A}^n$。
若 $\mx{A}$ 可对角化，则 $\mx{A} = \mx{V} \mx{D} \mx{V}^{-1}$。
$\mx{A}^n$ 的计算可以改写为
\begin{equation}
\mx{A}^n = \mx{V} \mx{D} \mx{V}^{-1} \mx{V} \mx{D} \mx{V}^{-1} \mx{V} \mx{D} \mx{V}^{-1} \ldots \mx{V} \mx{D} \mx{V}^{-1} =
\mx{V} \mx{D} \mx{D} \mx{D} \ldots \mx{D} \mx{V}^{-1} =
\mx{V} \mx{D}^n \mx{V}^{-1}.
\end{equation}
(10.95)
换言之，$\mx{A}^n$ 的计算可以借助 分解显式写出
例 10.11：
计算 $\mx{A}^n$
求
\begin{equation}
\begin{pmatrix}
0.68 & -0.24 \\
-0.24 & 0.82
\end{pmatrix}^n?
\end{equation}
(10.96)
当 $n \rightarrow \infty$ 时会发生什么？
该矩阵是对称的，因此我们知道 将是实数，且可以用 矩阵对角化。这一点在此处并不那么重要，但一种分解为
\begin{equation}
\begin{pmatrix}
0.68 & -0.24 \\
-0.24 & 0.82
\end{pmatrix} = \mx{U} \mx{D} \mx{U}^\T =
\begin{pmatrix}
0.8 & -0.6 \\
0.6 & 0.8
\end{pmatrix}
\begin{pmatrix}
0.5 & 0 \\
0 & 1
\end{pmatrix}
\begin{pmatrix}
0.8 & -0.6 \\
0.6 & 0.8
\end{pmatrix}^\T
\end{equation}
(10.97)
根据前一个例子，我们有
\begin{equation}
\begin{pmatrix}
0.68 & -0.24 \\
-0.24 & 0.82
\end{pmatrix}^n =
\begin{pmatrix}
0.8 & -0.6 \\
0.6 & 0.8
\end{pmatrix}
\begin{pmatrix}
(0.5)^n& 0 \\
0 & 1
\end{pmatrix}
\begin{pmatrix}
0.8 & -0.6 \\
0.6 & 0.8
\end{pmatrix}^\T.
\end{equation}
(10.98)
当 $n$ 趋于无穷时，$(0.5)^n$ 趋于零，且
\begin{equation}
\begin{pmatrix}
0.68 & -0.24 \\
-0.24 & 0.82
\end{pmatrix}^n \rightarrow
\begin{pmatrix}
0.8 & -0.6 \\
0.6 & 0.8
\end{pmatrix}
\begin{pmatrix}
0 & 0 \\
0 & 1
\end{pmatrix}
\begin{pmatrix}
0.8 & -0.6 \\
0.6 & 0.8
\end{pmatrix}^\T =
\begin{pmatrix}
0.36 & -0.48 \\
-0.48 & 0.64
\end{pmatrix} .
\end{equation}
(10.99)
例 10.12：
Pagerank：计算 $\vc{p}$ 使得 $\mx{B}\vc{p}=\vc{p}$
在本章开头，我们研究了如何将网页的重要性或 建模为向量 $\vc{p}$，它可由 方程 $\mx{B}\vc{p} = \vc{p}$ 求得。实践中，对方程组 $\mx{B}\vc{p} = \vc{p}$ 使用 计算 $\vc{p}$ 是不可行的。
事实证明，通过迭代计算 $\vc{p}$ 要高效得多。从任意向量 $\vc{w}_0$ 出发，构造
\begin{equation}
\vc{w}_{k+1} = \mx{B} \vc{w}_k .
\end{equation}
(10.100)
对于这类矩阵 $\mx{B}$，可以证明 $\vc{w}_k$ 快速收敛到满足 $\mx{B}\vc{p} = \vc{p}$ 的 $\vc{p}$。
要理解这一点，首先证明该矩阵有一个 $\vc{v}_1$，其 为 $\lambda_1 = 1$，且
所有其他 $\vc{v}_2, \ldots, \vc{v}_n$ 的 的绝对 小于 1。
这意味着对于任意向量 $\vc{w}_0$，我们有 $\vc{w}_k = \mx{B}^k \vc{w}_0$，其中
\begin{equation}
\vc{w}_k = \mx{B}^k \vc{w}_0 = (\mx{V} \mx{D} \mx{V}^{-1})^k \vc{w}_0 = \mx{V} \mx{D}^k \mx{V}^{-1} \vc{w}_0,
\end{equation}
(10.101)
其中
\begin{equation}
\mx{D}^k=
\begin{pmatrix}
\lambda_1^k & 0 & \ldots & 0 \\
0 & \lambda_2^k & \ldots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \ldots & \lambda_n^k \\
\end{pmatrix}
\rightarrow
\begin{pmatrix}
1& 0 & \ldots & 0 \\
0 & 0 & \ldots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \ldots & 0 \\
\end{pmatrix},
\end{equation}
(10.102)
当 $k\rightarrow \infty$ 时。
引入向量 $\vc{e}_1 = \begin{pmatrix} 1 & 0 & \ldots & 0 \end{pmatrix}$。
我们看到
\begin{equation}
\vc{w}_k = \mx{B}^k \vc{w}_0 \rightarrow \mx{V} \vc{e}_1 \vc{e}_1^\T \mx{V}^{-1} \vc{w}_0 = \vc{v}_1 \mu,
\end{equation}
(10.103)
其中 $\mx{V} \vc{e}_1 = \vc{v}_1$ 是第一个 ，未知标量 $\mu = \vc{e}_1^\T \mx{V}^{-1} \vc{w}_0 $。换言之，选取随机向量 $\vc{w}_0$ 并迭代 $\vc{w}_{k+1} = \mx{B} \vc{w}_k$，该向量将收敛到 $\vc{v_1}$ 的倍数，而后者又是 $\vc{p}$ 的倍数。
由构造，矩阵 $\mx{B}$ 满足：若向量 $\vc{w}$ 的元素之和为正且等于 1，则向量 $\mx{B} \vc{w}$ 亦为正且元素之和为 1，因此可以从这样的概率向量 $\vc{w}_k \rightarrow \vc{p}$ 出发。
在
例 10.2 中，互联网上有四个主页，矩阵 $\mx{B}$ 为
\begin{equation}
\mx{B} =
0.15
\begin{pmatrix}
1/4 & 1/4 & 1/4 & 1/4 \\
1/4 & 1/4 & 1/4 & 1/4 \\
1/4 & 1/4 & 1/4 & 1/4 \\
1/4 & 1/4 & 1/4 & 1/4
\end{pmatrix}
+ 0.85
\begin{pmatrix}
0 & 1 & 1/2 & 1 \\
1/2 & 0 & 1/2 & 0 \\
1/2 & 0 & 0 & 0 \\
0 & 0 & 0 & 0
\end{pmatrix} .
\end{equation}
(10.104)
该矩阵有四个 $1$、$0.42$、$-0.42$ 和 $0$。由于特征值 $\lambda_j$ 的绝对值小于 $0.5$，每迭代 10 次，误差 $||\vc{w}_k - \vc{p}||$ 将缩小 1000 倍。
尽管互联网上的网页数量庞大，实际上仍可以执行迭代 $\vc{w}_{k+1} = \mx{B} \vc{w}_k$；由于只需少量迭代，用这种方式计算 $\vc{p}$ 是可行的。
可用于更好地理解 。
例 10.13：
线性映射的解读
在
例 9.7 中，我们研究了用于求立方体在平面上的阴影的 。在该例中，我们将变换矩阵计算为
\begin{equation}
\mx{A} = \left(\begin{array}{ccc}
1 & -0.5 & 0\\
0 & 0 & 0\\
0 & -0.25 & 1\\
\end{array}\right).
\end{equation}
(10.105)
与 有助于解读 。
为 $(\lambda-1)^2 \lambda$。对于重根 $\lambda_1 = \lambda_2 = 1$，我们可以选取两个 的 ，例如 $\vc{v_1} = (1, 0, 0)$ 和 $\vc{v_2} = (0, 0, 1)$。对于 $\lambda_3 = 0$， 为
$\vc{v_3} = t (0.5, 1.0, 0.25), t \neq 0$。
由于前两个 张成 $y=0$，位于该 内的所有向量都不受 影响。这是因为这样的向量 $\vc{x} = (x_1, 0, x_2)$ 可以写成两个 $\vc{v}_1$ 与 $\vc{v}_2$ 的 ：
\begin{equation}
\vc{x} = x_1 \vc{v}_1 + x_2 \vc{v}_2,
\end{equation}
(10.106)
对该向量执行 ，因而得到
\begin{equation}
\mx{A}\vc{x} = \mx{A}(x_1 \vc{v}_1 + x_2 \vc{v}_2)\\
= x_1 \mx{A}\vc{v}_1 + x_2 \mx{A} \vc{v}_2\\
= x_1 \lambda_1 \vc{v}_1 + x_2 \lambda_2 \vc{v}_2\\
= x_1 \vc{v}_1 + x_2 \vc{v}_2 = \vc{x}.
\end{equation}
(10.107)
反之，所有与 $\vc{v}_3 = (0.5, 1.0, 0.25)$ 平行的向量都映射到 ：这样的向量可以写成 $\vc{x} = t \vc{v}_3$，它被映射到 $\mx{A}\vc{x} = t\mx{A}\vc{v}_3 = t\lambda_3\vc{v}_3 = t 0 \vc{v}_3 = \vc{0}$。
在
交互图 10.7 中，我们展示如何将其应用于阴影投射。假设物体上有一点由向量 $\vc{p}$ 表示。由于三个 的 ，我们可以将向量 $\vc{p}$ 表示为三个 的 ，
\begin{equation}
\vc{p} = \alpha_1 \vc{v}_1 + \alpha_2 \vc{v_2} + \alpha_3 \vc{v_3}.
\end{equation}
(10.108)
这可以解读为：两个分量指定「地面」上的一点（ 内的一点），还有一个分量沿光源方向。现在我们来看对 $\mx{A}\vc{p}$ 执行 时会发生什么：
\begin{equation}
\mx{A}\vc{p} = \alpha_1 \mx{A}\vc{v}_1 + \alpha_2 \mx{A}\vc{v_2} + \alpha_3 \mx{A}\vc{v_3} = \alpha_1 \lambda_1 \vc{v}_1 + \alpha_2 \lambda_2 \vc{v}_2 + \alpha_3 \lambda_3 \vc{v}_3.
\end{equation}
(10.109)
前两项仍指定 内的一点，最后一项因 $\lambda_3=0$ 而消失。这可以解读为：遮挡点沿第三个 方向投影到 上。
例 10.14：
波与振动 1
代数的众多成功应用之一，是用于理解
偏微分方程 。在一系列三个例中，我们将研究小振动。在第一个例中，我们将弦上的小振动建模为在中间有一个质量为 $m$ 的单独重物。假设弦固定在相距 $l$ 的两点之间。引入变量 $x$ 表示到弦中点的水平距离，如
例 10.8 所示。
弦受到力 $2 T \sin(\alpha)$ 的作用，其中 $\alpha$ 为图中所示的角度。假设振动很小，我们可以用 $x/(l/2)$ 近似 $\sin(\alpha)$，这意味着力近似为
\begin{equation}
F = - \frac{4T}{l} x.
\end{equation}
(10.110)
利用牛顿第一定律 $F = ma$，我们得到微分方程
\begin{equation}
x'' = - \frac{4T}{ml} x .
\end{equation}
(10.111)
引入常数 $q^2 = \frac{4T}{ml}$。于是得到
\begin{equation}
x'' = - q^2 x ,
\end{equation}
(10.112)
其解如下
\begin{equation}
x(t) = a \sin(qt+\phi) ,
\end{equation}
(10.113)
其中 $a$ 为任意振幅，$\phi$ 为任意相位偏移，它们可由初始条件确定，例如吉他弦被拨动的力度（$a$）以及何时释放（$\phi$）。
例 10.15：
波与振动 2
在本例中，我们在前一个例的基础上进一步阐述，对模型稍作细化。此处，我们将弦建模为沿弦在等距三点处有三个小质量，见
交互图 10.9 。
与之前一样，假设弦固定在相距 $l$ 的两点之间。引入三个变量 $(x_1, x_2, x_3)$ 表示到三个质量的水平距离，如图所示。与之前一样假设振动很小，第一个质量的位置 $x_1$ 的微分方程为
\begin{equation}
x_1'' = - \frac{8T}{ml} x_1 + \frac{4T}{ml} x_2 .
\end{equation}
(10.114)
对于另外两个距离，我们有
\begin{equation}
x_2'' = \frac{4T}{ml} x_1 - \frac{8T}{ml} x_2 + \frac{4T}{ml} x_3
\end{equation}
(10.115)
以及
\begin{equation}
x_3'' = \frac{4T}{ml} x_2 - \frac{8T}{ml} x_3 .
\end{equation}
(10.116)
引入 $q = \frac{4T}{ml}$。三个方程可以用矩阵记号写成
\begin{equation}
\left(\begin{array}{c}
x_1'' \\
x_2'' \\
x_3'' \\
\end{array}\right) = q^2
\left(\begin{array}{ccc}
-2 & 1 & 0\\
1 & -2 & 1\\
0 & 1 & -2\\
\end{array}\right)
\left(\begin{array}{c}
x_1 \\
x_2 \\
x_3 \\
\end{array}\right)
\end{equation}
(10.117)
或简写为
\begin{equation}
\vc{x}'' = \mx{A} \vc{x} .
\end{equation}
(10.118)
该微分方程难以求解，主要是因为三个函数 $x_1(t)$、$x_2(t)$ 和 $x_3(t)$ 相互耦合。若它们解耦则会容易得多。这正是 分解能够帮助我们做到的。
由于 $\mx{A}$ 是对称的，我们知道它可以用一个 矩阵 $\mx{R}$ 进行对角化。因此我们有
\begin{equation}
\vc{x}'' = \mx{R} \mx{D}\mx{R}^\T \vc{x}
\end{equation}
(10.119)
或
\begin{equation}
\mx{R}^\T \vc{x}'' = \mx{D}\mx{R}^\T \vc{x} .
\end{equation}
(10.120)
通过改变坐标系，使得
\begin{equation}
\vc{z} = \mx{R}^\T \vc{x},
\end{equation}
(10.121)
我们得到一个解耦的方程组
\begin{equation}
\vc{z}'' = \mx{D} \vc{z}
\end{equation}
(10.122)
或
\begin{equation}
\begin{split}
z_1'' = \lambda_1 z_1, \\
z_2'' = \lambda_2 z_2,\\
z_3'' = \lambda_3 z_3. \\
\end{split}
\end{equation}
(10.123)
由于微分方程已解耦，它们可以逐一独立求解。
解为
\begin{equation}
\begin{cases}
\begin{array}{rrrl}
z_1(t) = a_1 \sin( \sqrt{-\lambda_1} t + \phi_1), \\
z_2(t) = a_2 \sin( \sqrt{-\lambda_2} t + \phi_2), \\
z_3(t) = a_3 \sin( \sqrt{-\lambda_3} t + \phi_3).
\end{array}
\end{cases}
\end{equation}
(10.124)
最后，解可以用原始坐标系借助 $ \vc{x} = \mx{R} \vc{z}$ 表示为
\begin{equation}
\begin{cases}
\begin{array}{rrrl}
x_1(t) = a_1 r_{11} \sin( \sqrt{-\lambda_1} t + \phi_1) + a_2 r_{12} \sin( \sqrt{-\lambda_2} t + \phi_2) + a_3 r_{13} \sin( \sqrt{-\lambda_3} t + \phi_3), \\
x_2(t) = a_1 r_{21} \sin( \sqrt{-\lambda_1} t + \phi_1) + a_2 r_{22} \sin( \sqrt{-\lambda_2} t + \phi_2) + a_3 r_{23} \sin( \sqrt{-\lambda_3} t + \phi_3), \\
x_3(t) = a_1 r_{31} \sin( \sqrt{-\lambda_1} t + \phi_1) + a_2 r_{32} \sin( \sqrt{-\lambda_2} t + \phi_2) + a_3 r_{33} \sin( \sqrt{-\lambda_3} t + \phi_3). \\
\end{array}
\end{cases}
\end{equation}
(10.125)
该运动由三个
特征频率 表征，它们取决于 $\lambda_i$。对于每个 ，弦有一个特征的空间形状。这些由 给出。见
图 10.9 。
要得到包含振幅（$a_1$、$a_2$ 和 $a_3$）和相位（$\phi_1$、$\phi_2$ 和 $\phi_3$）的完整解，我们需要关于初始条件的信息。在交互图中，我们可以设置 $t=0$ 时刻各重物位置，从而给 $x_1(0)$、$x_2(0)$ 和 $x_3(0)$ 赋值。这些值可以直接代入
式 (10.125) ，但该式相当复杂且难以求解。相反，我们再次用
\begin{equation}
\vc{z}(0) = \mx{R}^\T \vc{x}(0)
\end{equation}
(10.126)
并用新得到的约束 $\vc{z}(0)$ 作用于
(10.124) 中的方程。然而，我们只有三个方程和六个未知数（所有振幅和相位）。因此，我们还需要三个约束。在交互图中，通过改变初始速度 $\dot{x}_1(0)$、$\dot{x}_2(0)$ 和 $\dot{x}_3(0)$（即移动黄色箭头）来设置这些约束。对
(10.124) 中的方程求导，我们得到
\begin{equation}
\begin{cases}
\begin{array}{rrrl}
\dot{z}_1(t) = a_1 \sqrt{-\lambda_1}\cos( \sqrt{-\lambda_1} t + \phi_1), \\
\dot{z}_2(t) = a_2 \sqrt{-\lambda_1}\cos( \sqrt{-\lambda_2} t + \phi_2), \\
\dot{z}_3(t) = a_3 \sqrt{-\lambda_1}\cos( \sqrt{-\lambda_3} t + \phi_3).
\end{array}
\end{cases}
\end{equation}
(10.127)
将
(10.124) 中的每个方程除以
(10.127) 中对应的方程，并令 $t$ 为零，得到
\begin{equation}
\begin{cases}
\begin{array}{rrrl}
\frac{z_1(0)}{\dot{z}_1(0)} = \frac{1}{\sqrt{-\lambda_1}}\tan( \phi_1), \\
\frac{z_2(0)}{\dot{z}_2(0)} = \frac{1}{\sqrt{-\lambda_1}}\tan( \phi_2), \\
\frac{z_3(0)}{\dot{z}_3(0)} = \frac{1}{\sqrt{-\lambda_1}}\tan( \phi_3),
\end{array}
\end{cases}
\end{equation}
(10.128)
其中 $\dot{z}(0)$ 可以再次借助 $\dot{\vc{z}}(0) = \mx{R}^\T \dot{\vc{x}}(0)$ 求得。由于我们有三个方程和三个未知数（$\phi_1$、$\phi_2$ 和 $\phi_3$），可以解出它们。现在可以将它们代入
(10.124) 或
(10.127) 中的方程，以求得 $a_1$、$a_2$ 和 $a_3$。当用户改变重物和箭头位置时，交互图会自动完成这一步骤。在交互图的下一步中，使用
式 (10.125) 对重物进行动画演示。
例 10.16：
波与振动 3
在前一个例中，我们将弦建模为在没有外力作用下振动。
用向量记号，模型为
\begin{equation}
\vc{x}'' = \mx{A} \vc{x} .
\end{equation}
(10.129)
若存在外力，它们会叠加到加速度上。因此，一个合理的模型是
\begin{equation}
\vc{x}''(t) = \mx{A} \vc{x}(t) + \vc{u}(t).
\end{equation}
(10.130)
一个有趣的问题是研究弦 $\vc{x}(t)$ 在受到正弦外力 $\vc{u}(t) = \cos(\omega t) \vc{u_0}$ 影响时如何运动。若我们假设存在特解 $\vc{x}(t) = \cos(\omega t) \vc{x}_0$，
则得到
\begin{equation}
-\omega^2 \cos(\omega t) \vc{x}_0 = \mx{A} \cos(\omega t) \vc{x}_0 + \cos(\omega t) \vc{u}_0,
\end{equation}
(10.131)
亦即，
\begin{equation}
(-\omega^2 \mx{I} - \mx{A}) \vc{x}_0 = \vc{u}_0.
\end{equation}
(10.132)
这意味着我们可以计算振动 $\vc{x}_0$ 的形状和大小，它们取决于输入 $\vc{u}_0$ 和频率 $\omega$，即
\begin{equation}
\vc{x}_0 = (-\omega^2 \mx{I} - \mx{A})^{-1} \vc{u}_0,
\end{equation}
(10.133)
若 $(-\omega^2 \mx{I} - \mx{A})$ 可逆。当
$\det{(-\omega^2 \mx{I} - \mx{A})} = 0$，即 $-\omega^2$ 是 $\mx{A}$ 的 时，它不可逆。
不深入细节，这些 称为所谓
传递函数 的
极点 。
传递函数粗略地说描述了输入 $ \vc{u}_0$ 与输出 $\vc{x}_0$ 之间的关系。
输出的大小，由 $\vc{x}_0$ 的大小表征，在 $-\omega^2$ 接近 $\mx{A}$ 的某个 时很大。当 $-\omega^2$ 恰好等于 $\mx{A}$ 的某个 时，
$(-\omega^2 \mx{I} - \mx{A})$ 不可逆。此处我们不讨论这种情况下会发生什么。
理解系统的极点位于何处，对于理解系统的稳定性至关重要。若存在对应于噪声或扰动中常见频率的极点，则可能出现不良结果。
1831 年 4 月 12 日，曼彻斯特外的布劳顿悬索桥因部队齐步行进产生的输入 $u(t)$ 引起的共振而倒塌。
另一个著名例子是塔科马海峡大桥的倒塌，见
此链接 。
这可能不是共振的例子，而是一种称为气动弹性颤振的更复杂现象。
一架从华沙飞往克拉科夫的 正在飞行。当他们经过一些美丽的地标时，飞行员通过对讲机通知所有有兴趣观看地标的乘客从 的右侧向外看。许多乘客照做了， 随即坠毁。为什么？
右半 上的极点太多了。（译注：原文为双关——poles 兼指控制论中的“极点”与“波兰人”，right-hand plane 兼指“机身右侧”与“右半平面”；系统极点落在右半平面即失稳，中文难以两全。）
例 10.17：
理解协方差矩阵
假设我们有一组点 $\vc{x}_1, \ldots, \vc{x}_n$，其中每个点 $\vc{x}_i$ 表示为一个 。均值为向量
\begin{equation}
\vc{m} = \frac{1}{n} \sum_{i=1}^{n} \vc{x}_i,
\end{equation}
(10.134)
在下方的交互图中以红点示出。
协方差矩阵为
\begin{equation}
\mx{C} = \frac{1}{n} \sum_{i=1}^{n} (\vc{x}_i - \vc{m}) (\vc{x}_i - \vc{m})^\T .
\end{equation}
(10.135)
协方差矩阵按定义是对称（且正定的），因此可以用 矩阵 $\mx{U}$ 进行对角化，
\begin{equation}
\mx{C} = \mx{U} \mx{D} \mx{U}^\T .
\end{equation}
(10.136)
这意味着可以选择 的 。
$\mx{U} = \begin{pmatrix} \vc{u}_1 & \ldots & \vc{u}_n \end{pmatrix}$ 的各列是 。假设已选取顺序，使得对应的
$\lambda_1, \ldots, \lambda_n$ 按递减顺序排列，即 $\lambda_1 \geq \ldots \geq \lambda_n \geq 0$。这意味着
$\vc{u}_1$ 对应于变化最大的方向，$\sqrt{\lambda_1}$ 对应于该方向上的标准差。在图中，$\sqrt{\lambda_1}$ 乘以 $\vc{u}_1$ 是两根箭头中较长的一根，$\sqrt{\lambda_2}$ 乘以 $\vc{u}_2$ 是较短的一根。
见
交互图 10.10 。
例 10.18：
特征脸
主要思想是，可以
学习 人脸图像的外观，并将这些信息用于
图像 或
视频压缩 、
人脸检测 或
人脸识别 。简要地说，这是通过先对一组图像计算均值和协方差矩阵来完成的。然后计算协方差矩阵的
和
。对应于最大 的 是最能编码图像变化的那些。
这是
机器学习 的一个例子。更一般地说，
机器学习 是学习数据良好表示或学习如何识别图像的工具。在（通常很大的）数据集合上，使用涉及 代数、数理统计、分析和优化的方法。
在本例中，我们收集了一组人脸图像，如
图 10.11 所示。
图像可以看作 向量空间的元素。
每张图像 $\vc{W}$ 有 $m$ 行 $n$ 列的图像强度，即，
\begin{equation}
\vc{W} =
\begin{pmatrix}
w_{1,1} & w_{1,2} & \ldots & w_{1,n} \\
w_{2,1} & w_{2,2} & \ldots & w_{2,n} \\
\vdots & \vdots & \vdots & \vdots \\
w_{m,1} & w_{m,2} & \ldots & w_{m,n}
\end{pmatrix}.
\end{equation}
(10.137)
然而，现在我们希望将 $\vc{W}$ 看作 向量空间的一个元素，也就是说，我们并不将 $\vc{W}$ 看作可以与向量相乘的矩阵！
引入一个从图像到 的 ，按列堆叠，即，
\begin{equation}
\begin{pmatrix}
x_{1} \\
x_{2} \\
\vdots \\
x_{m} \\
x_{m+1} \\
x_{m+2} \\
\vdots \\
x_{m+m} \\
\vdots \\
x_{m(n-1)+1} \\
x_{m(n-1)+2} \\
\vdots \\
x_{N}
\end{pmatrix}
= \vc{x} = f(\vc{W})
= \begin{pmatrix}
w_{1,1} \\
w_{2,1} \\
\vdots \\
w_{m,1} \\
w_{1,2} \\
w_{2,2} \\
\vdots \\
w_{m,2} \\
\vdots \\
w_{1,n} \\
w_{2,n} \\
\vdots \\
w_{m,n}
\end{pmatrix} ,
\end{equation}
(10.138)
其中 $N = mn$。再引入从 $\vc{x}$ 到图像 $\vc{W}$ 的逆 ，即，
\begin{equation}
\begin{pmatrix}
w_{1,1} & w_{1,2} & \ldots & w_{1,n} \\
w_{2,1} & w_{2,2} & \ldots & w_{2,n} \\
\vdots & \vdots & \vdots & \vdots \\
w_{m,1} & w_{m,2} & \ldots & w_{m,n}
\end{pmatrix}
= \vc{w} = f^{-1}(\vc{x})
=
\begin{pmatrix}
x_{1} & x_{m+1} & \ldots & x_{m (n-1) + 1} \\
x_{2} & x_{m+2} & \ldots & x_{m (n-1) + 2} \\
\vdots & \vdots & \vdots & \vdots \\
x_{m} & x_{m+m} & \ldots & x_{m n}
\end{pmatrix} .
\end{equation}
(10.139)
换言之，$f$ 取一张图像并生成一个很长的 ，而 $f^{-1}$ 取一个 并生成一张图像。
假设我们有一组图像 $\vc{W}_1, \ldots, \vc{W}_{23}$，如
图 10.11 所示。
这些图像尺寸均为 $81 \times 41$ 像素。通过 $\vc{x}_i = f(\vc{W}_i)$ 将每张图像 到对应的 ，我们得到 $23$ 个向量 $\vc{x}_1, \ldots, \vc{x}_{23}$，其中每个向量的大小为
$3321 \times 1$。均值是一个向量
\begin{equation}
\vc{m} = \frac{1}{n} \sum_{i=1}^{n} \vc{x}_i ,
\end{equation}
(10.140)
将其从向量转换为图像后可以图示为一张图像，即 $\vc{O} = f^{-1}(\vc{m)}$
协方差矩阵为
\begin{equation}
\mx{C} = \frac{1}{n} \sum_{i=1}^{n} (\vc{x}_i - \vc{m}) (\vc{x}_i - \vc{m})^\T .
\end{equation}
(10.141)
与前面的例子一样，我们用一个 矩阵 $\mx{U}$ 分解协方差矩阵，
\begin{equation}
\mx{C} = \mx{U} \mx{D} \mx{U}^\T,
\end{equation}
(10.142)
其中我们再次对 排序，即，
$\mx{U} = \begin{pmatrix} \vc{u}_1 & \ldots & \vc{u}_N \end{pmatrix}$ 的各列，使得对应的
$\lambda_1, \ldots, \lambda_N$ 按递减顺序排列，即 $\lambda_1 \geq \ldots \geq \lambda_N \geq 0$。这意味着
$\vc{u}_1$ 对应于变化最大的方向，$\sqrt{\lambda_1}$ 对应于该方向上的标准差。
在本例中，我们选取对应于两个最大 的两个向量作为我们的特征脸（在从向量转换为图像之后，即 $\vc{E}_1 = f^{-1}(\sqrt{\lambda_1} \vc{u}_1) $ 和
$\vc{E}_2 = f^{-1}(\sqrt{\lambda_2} \vc{u}_2)$。
这三张图像 $\vc{O}$、$\vc{E}_1$ 和 $\vc{E}_2$ 从左到右展示如下。
我们以一例结束本章，说明这一主题还有许多内容值得学习。
例 10.19：
与 的理论比方阵的情形要一般得多。
本例是一个小插曲，但旨在展示本章某些概念的普遍性。
我们可以研究一般 或算子的 。一个有趣的例子是对函数求导这一运算。这个过程是 的，但导数算子是否存在 ""（或特征函数）呢？
将“求导”看作一个运算 $D$，它取一个函数 $g$ 并返回一个函数 $h$。
\begin{equation}
h = D(g) = \frac{d}{dx} g .
\end{equation}
(10.143)
研究指数函数 $g$，它定义为
\begin{equation}
g(x) = e^{\lambda x} .
\end{equation}
(10.144)
对 $g$ 求导得到
\begin{equation}
D(g) = \frac{d}{dx} g = \lambda e^{\lambda x} = \lambda g
\end{equation}
(10.145)
这意味着 $D(g) = \lambda g$。换言之，$g$ 是导数算子的 ， 为 $\lambda$。
不过，这使我们稍稍偏离了课程的核心内容。
弹出帮助：
$n$ 维列向量 $\vc{v}$ 是相对于一组表示的，由 $n$ 个标量值组成的列构成。
向量元素有时记作 $v_1$、$v_2$、…、$v_n$。对于二维和三维向量，有时也使用 $v_x$、$v_y$ 和 $v_z$。
记法为
\begin{equation}
\underbrace{
\vc{u} =
\begin{pmatrix}
u_x
\end{pmatrix}
=
\begin{pmatrix}
u_1
\end{pmatrix}}_{\text{1D vector}},
\spc\spc
\underbrace{
\vc{v} =
\begin{pmatrix}
v_x \\
v_y
\end{pmatrix}
=
\begin{pmatrix}
v_1 \\
v_2
\end{pmatrix}}_{\text{2D vector}},
\spc\spc
\underbrace{
\vc{w} =
\begin{pmatrix}
w_x \\
w_y \\
w_z
\end{pmatrix}
=
\begin{pmatrix}
w_1 \\
w_2 \\
w_3
\end{pmatrix}}_{\text{3D vector}},
\end{equation}
其中 $\vc{u} = u_x \vc{e}_1$、$\vc{v} = v_x \vc{e}_1 + v_y \vc{e}_2$ 且
$\vc{w} = w_x \vc{e}_1 + w_y \vc{e}_2 + w_z \vc{e}_3$。
注意 $\vc{e}_i$ 是向量。
在我们的行文中，也使用简写记法 $\vc{w} = \bigl(w_1,w_2,w_3\bigr)$，其含义与上式相同（注意向量元素之间的逗号）。不过行向量的元素之间没有逗号。
用于生成 $\vc{O}$、$\vc{E}_1$ 和 $\vc{E}_2$ 的图像如 图 10.2 所示。一旦我们学习了更多关于 特征值 和 特征向量 的内容，这一过程将在 例 10.18 中稍后更详细地解释。简要地说，图 10.2 中的图像用于计算均值 $O$ 和协方差矩阵。协方差矩阵对应于两个最大 特征值 的两个 特征向量 用作 $\vc{E}_1$ 和 $\vc{E}_2$。
从一个主页到另一个主页的链接在图中以箭头表示。
假设位于某个主页的概率由向量 $\vc{v} = \begin{pmatrix} v_1 \\ v_2 \\ v_3 \\ v_4 \end{pmatrix}$ 给出，其中 $v_i$ 是位于编号为 $i$ 的主页上的概率。如果你随机选择某个主页的链接之一，位于某个主页的概率变为 $ \vc{w} = \mx{A} \vc{v}$，
其中转移矩阵为 $\mx{A}$，
