式 6.1：
\begin{equation} \begin{cases} \begin{array}{rrrl} 2 & \!\!\!\!\!\! x_1 + 4 &\!\!\!\!\!\!\!x_2 - 2 &\!\!\!\!\!\!x_3 = \hid{-}16, \\ - & \!\!\!\!\!\! x_1 - 7 &\!\!\!\!\!\!x_2 + 2 &\!\!\!\!\!\!x_3 = -27, \\ & 3 &\!\!\!\!\!\!x_2 - 6 &\!\!\!\!\!\!x_3 = -21. \\ \end{array} \end{cases} \end{equation}

式 6.5：
\begin{align} \mx{A}=& \left( \begin{array}{rrr} 2 & 4 & -2 \\ -1 & -7 & 2 \\ 0 & 3 & -6 \end{array} \right) = \left( \begin{array}{c} -\,\,\, \vc{a}_{1,}^\T - \\ -\,\,\, \vc{a}_{2,}^\T - \\ -\,\,\, \vc{a}_{3,}^\T - \end{array} \right), \\ &\text{where } \vc{a}_{1,} = \left( \begin{array}{rrr} 2 \\ 4\\ -2 \end{array} \right), \ \ \vc{a}_{2,} = \left( \begin{array}{rrr} -1 \\ -7\\ 2 \end{array} \right), \ \ \text{and } \vc{a}_{3,} = \left( \begin{array}{rrr} 0 \\ 3\\ -6 \end{array} \right). \end{align}

式 6.4：
\begin{align} \mx{A}=& \left( \begin{array}{rrr} 2 & 4 & -2 \\ -1 & -7 & 2 \\ 0 & 3 & -6 \end{array} \right) = \left( \begin{array}{ccc} \vert & \vert & \vert \\ \vc{a}_{,1} & \vc{a}_{,2} & \vc{a}_{,3} \\ \vert & \vert & \vert \end{array} \right), \\ &\\ &\\ &\text{where } \vc{a}_{,1} = \left( \begin{array}{rrr} 2 \\ -1\\ 0 \end{array} \right), \ \ \vc{a}_{,2} = \left( \begin{array}{rrr} 4 \\ -7\\ 3 \end{array} \right), \ \ \text{and } \vc{a}_{,3} = \left( \begin{array}{rrr} -2 \\ 2\\ -6 \end{array} \right). \end{align}

式 6.6：
\begin{equation} \mx{A} = \bigl(\vc{a}_{,1} \,\,\, \vc{a}_{,2} \,\,\,\dots\,\,\, \vc{a}_{,c}\bigr) = \left( \begin{array}{c} \vc{a}_{1,}^\T\\ \vc{a}_{2,}^\T\\ \vdots \\ \vc{a}_{r,}^\T\\ \end{array} \right). \end{equation}

定义 6.6：对称矩阵
若 $\mx{A}=\mx{A}^\T$，则称该方阵为对称矩阵。

定义 6.7：矩阵的标量乘法
矩阵 $\mx{A}$ 可乘以标量 $k$ 得到新矩阵 $\mx{S} = k \mx{A}$，其大小与 $\mx{A}$ 相同。 \begin{equation} \mx{S}= \left( \begin{array}{cccc} s_{11} & s_{12} & \dots & s_{1c} \\ s_{21} & s_{22} & \dots & s_{2c} \\ \vdots & \vdots & \ddots & \vdots \\ s_{r1} & s_{r2} & \dots & s_{rc} \end{array} \right) = \left( \begin{array}{cccc} k a_{11} & k a_{12} & \dots & k a_{1c} \\ k a_{21} & k a_{22} & \dots & k a_{2c} \\ \vdots & \vdots & \ddots & \vdots \\ k a_{r1} & k a_{r2} & \dots & k a_{rc} \end{array} \right) \end{equation} 更紧凑地可写为： $[ s_{ij} ] = k[ a_{ij} ] = [ k a_{ij} ]$。

定义 3.4：标准正交基中的点积（dot product）计算
在任意标准正交基中，两个 $n$ 维向量 $\vc{u}$ 和 $\vc{v}$ 的点积可以计算为 \begin{equation} \vc{u}\cdot\vc{v} = \sum_{i=1}^{n} u_i v_i, \end{equation} 即逐分量乘积之和。二维和三维点积分别计算为 \begin{align} \mathrm{two\ dimensions\ } &:\ \ \vc{u}\cdot\vc{v} = u_xv_x + u_yv_y, \\ \mathrm{three\ dimensions\ } &:\ \ \vc{u}\cdot\vc{v} = u_xv_x + u_yv_y +u_zv_z. \\ \end{align}

定义 6.2：矩阵的行向量与列向量
$r \times c$ 矩阵 $\mx{A}$ 的第 $i$ 行向量记作 $\vc{a}_{i,}^\T$，其中包含 $c$ 个标量元素。 $\mx{A}$ 的第 $i$ 列向量记作 $\vc{a}_{,i}$，其中包含 $r$ 个标量元素。 利用向量，矩阵可写成以下两种形式， \begin{equation} \mx{A} = \bigl(\vc{a}_{,1} \,\,\, \vc{a}_{,2} \,\,\,\dots\,\,\, \vc{a}_{,c}\bigr) = \left( \begin{array}{c} \vc{a}_{1,}^\T\\ \vc{a}_{2,}^\T\\ \vdots \\ \vc{a}_{r,}^\T\\ \end{array} \right). \end{equation}

式 6.22：
\begin{equation} [p_{ij}] = \Biggl[\sum_{k=1}^s a_{ik} b_{kj}\Biggr] = \bigl[ \vc{a}_{i,} \cdot \vc{b}_{,j} \bigr], \end{equation}

式 6.20：
\begin{equation} (r \times \bcancel{s})\, (\bcancel{s} \times t) \longrightarrow (r \times t), \end{equation}

定义 6.9：矩阵与矩阵的乘法
若 $\mx{A}$ 为 $r \times s$ 矩阵，$\mx{B}$ 为 $s\times t$ 矩阵，则 乘积矩阵 $\mx{P}=\mx{A}\mx{B}$ 为 $r \times t$ 矩阵，定义为 \begin{align} \mx{P} =& \mx{A}\mx{B} = \left( \begin{array}{ccc} a_{11} & \dots & a_{1s} \\ \vdots & \ddots & \vdots \\ a_{r1} & \dots & a_{rs} \end{array} \right) \left( \begin{array}{ccc} b_{11} & \dots & b_{1t} \\ \vdots & \ddots & \vdots \\ b_{s1} & \dots & b_{st} \end{array} \right)\\ &\\ =& \left( \begin{array}{ccc} \sum_{k=1}^s a_{1k} b_{k1} & \dots & \sum_{k=1}^s a_{1k} b_{kt} \\ \vdots & \ddots & \vdots \\ \sum_{k=1}^s a_{rk} b_{k1} & \dots & \sum_{k=1}^s a_{sk} b_{kt} \end{array} \right) = \left( \begin{array}{ccc} p_{11} & \dots & p_{1t} \\ \vdots & \ddots & \vdots \\ p_{r1} & \dots & p_{rt} \end{array} \right). \end{align} 注意 $\mx{A}$ 的列数必须等于 $\mx{B}$ 的行数，否则 矩阵与矩阵的乘法无定义。 矩阵与矩阵的乘法更紧凑地可写为 $\bigl[p_{ij}\bigr] = \Bigl[\sum_{k=1}^s a_{ik} b_{kj}\Bigr]$。

式 6.8：
\begin{equation} \underbrace{ \mx{A} }_{3\times 1} = \left( \begin{array}{c} 3 \\ 2 \\ 6 \end{array} \right) = \underbrace{\vc{a}}_{\begin{array}{c} \text{column} \\ \text{vector} \end{array} } ,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\, \underbrace{ \mx{B} }_{1\times 3} = \bigl(5\,\,\, 1 \,\,\, 4\bigr) = \underbrace{ \vc{b}^\T }_{\begin{array}{c} \text{transposed} \\ \text{column} \\ \text{vector} \end{array} } \end{equation}

式 6.27：
\begin{gather} \begin{cases} \begin{array}{r} z_1 = a_{11} y_1 + a_{12} y_2 \\ z_2 = a_{21} y_1 + a_{22} y_2 \end{array} \end{cases} \,\,\,\,\,\,\,\,\text{and}\,\,\,\,\,\,\,\, \begin{cases} \begin{array}{r} y_1 = b_{11} x_1 + b_{12} x_2 \\ y_2 = b_{21} x_1 + b_{22} x_2 \end{array} \end{cases} . \end{gather}

式 6.28：
\begin{gather} \begin{cases} \begin{array}{r} z_1 = a_{11} (b_{11} x_1 + b_{12} x_2) + a_{12} (b_{21} x_1 + b_{22} x_2) \\ z_2 = a_{21} (b_{11} x_1 + b_{12} x_2) + a_{22} (b_{21} x_1 + b_{22} x_2) \end{array} \end{cases} \\  \Longleftrightarrow \\ \begin{cases} \begin{array}{r} z_1 = (a_{11} b_{11} + a_{12} b_{21}) x_1 + (a_{11} b_{12} + a_{12} b_{22}) x_2) \\ z_2 = (a_{21} b_{11} + a_{22} b_{21}) x_1 + (a_{21} b_{12} + a_{22} b_{22}) x_2) \end{array} \end{cases} . \end{gather}

式 6.21：
\begin{align} \mx{P} = \mx{A}\mx{B} &= \left( \begin{array}{c} -\,\,\, \vc{a}_{1,}^\T - \\ \textcolor{#cc0000}{-}\,\,\, \textcolor{#cc0000}{\vc{a}_{2,}^\T} \textcolor{#cc0000}{-} \\ \vdots \\ -\,\,\, \vc{a}_{r,}^\T - \end{array} \right) \left( \begin{array}{ccccc} \vert & \vert & \textcolor{#cc0000}{\vert} & & \vert \\ \vc{b}_{,1} & \vc{b}_{,2} & \textcolor{#cc0000}{\vc{b}_{,3}} & \dots & \vc{b}_{,t} \\ \vert & \vert & \textcolor{#cc0000}{\vert} & & \vert \end{array} \right) \\ &\\ &= \left( \begin{array}{ccccc} \vc{a}_{1,}\cdot \vc{b}_{,1} & \vc{a}_{1,}\cdot \vc{b}_{,2} & \vc{a}_{1,}\cdot \vc{b}_{,3} & \dots & \vc{a}_{1,}\cdot \vc{b}_{,t} \\ \vc{a}_{2,}\cdot \vc{b}_{,1} & \vc{a}_{2,}\cdot \vc{b}_{,2} & \textcolor{#cc0000}{\vc{a}_{2,}\cdot \vc{b}_{,3}} & \dots & \vc{a}_{2,}\cdot \vc{b}_{,t} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ \vc{a}_{r,}\cdot \vc{b}_{,1} & \vc{a}_{r,}\cdot \vc{b}_{,2} & \vc{a}_{r,}\cdot \vc{b}_{,3} & \dots & \vc{a}_{r,}\cdot \vc{b}_{,t} \\ \end{array} \right). \end{align}

定理 5.2：高斯消元法则
若我们执行下列操作，线性方程组的解保持不变：

1. 交换两个方程的顺序，
2. 将某个方程乘以一个常数 $\neq 0$，或
3. 将另一个方程的倍数加到某个方程上。

定义 6.10：二维旋转矩阵
$2\times 2$ 旋转矩阵定义为 \begin{align} \mx{R}(\phi) = & \left(\begin{array}{rr} \cos \phi & -\sin \phi \\ \sin \phi & \cos \phi \end{array} \right), \end{align} 其中 $\phi$ 为该矩阵逆时针旋转的弧度值。

定义 6.12：二维剪切矩阵
二维剪切矩阵由下列之一定义： \begin{align} \mx{H}_{xy}(s) = \begin{pmatrix} 1 & s \\ 0 & 1 \end{pmatrix} \ \ \ \mathrm{or} \ \ \ \mx{H}_{yx}(s) = \begin{pmatrix} 1 & 0 \\ s & 1 \end{pmatrix} . \end{align} 注意 $\mx{H}$ 的第一个下标表示被改变的坐标，第二个 下标表示用于乘以 $s$ 并加到第一个坐标上的坐标。

定理 3.1：点积运算法则
以下是使用点积时的一组有用法则。 \begin{align} \begin{array}{llr} (i) & \vc{u} \cdot \vc{v} = \vc{v} \cdot \vc{u} & \spc\text{(commutativity)} \\ (ii) & k(\vc{u} \cdot \vc{v}) = (k\vc{u}) \cdot \vc{v} & \spc\text{(associativity)} \\ (iii) & \vc{v} \cdot (\vc{u} +\vc{w}) = \vc{v} \cdot \vc{u} + \vc{v} \cdot \vc{w} & \spc\text{(distributivity)} \\ (iv) & \vc{v} \cdot \vc{v} = \ln{\vc{v}}^2 \geq 0, \mathrm{with\ equality\ only\ when\ } \vc{v}=\vc{0}. & \spc\text{(squared length)} \\ \end{array} \end{align}

式 6.23：
\begin{equation} [p_{ij}] = \Biggl[ \sum_{k=1}^s a_{ik} b_{kj} \Biggr] = \biggl[ \vc{a}_{i,}^\T \vc{b}_{,j} \biggr] = \Biggl[ \Bigl(a_1\spc a_2 \dots a_s \Bigr) \left( \begin{array}{c} b_1\\ b_2\\ \vdots\\ b_s \end{array} \right) \Biggr]. \end{equation}

定义 6.4：零矩阵
零矩阵 $\mx{O}$ 的所有矩阵元素均为零。

式 6.50：
\begin{gather} \mx{A}\mx{B} = \mx{A}\mx{C} \\ \Longleftrightarrow \\ \mx{A}\mx{B} - \mx{A}\mx{C} = \mx{O} \\ \Longleftrightarrow \\ \mx{A}(\mx{B} -\mx{C}) = \mx{O}, \end{gather}

式 6.49：
\begin{align} \mx{A}= \left( \begin{array}{rr} 2 & 1 \\ 6 & 3 \end{array} \right) \spc\spc\text{and}\spc\spc \mx{B}= \left( \begin{array}{rr} -2 & 3 \\ 4 & -6 \end{array} \right) \\ \mx{A}\mx{B}= \left( \begin{array}{rr} 2\cdot(-2) + 1\cdot 4 & 2\cdot 3 + 1\cdot (-6) \\ 6\cdot(-2) + 3\cdot 4 & 6\cdot 3 + 3\cdot (-6) \end{array} \right) = \left( \begin{array}{rr} 0 & 0 \\ 0 & 0 \end{array} \right) =\mx{O}. \end{align}

定理 6.1：矩阵运算性质
以下我们假设各矩阵的大小使得 相应运算有定义。 \begin{equation} \begin{array}{llr} (i) & k(l\mx{A}) = (kl)\mx{A} & \spc\text{(associativity)} \\ (ii) & (k+l)\mx{A} = k\mx{A} +l\mx{A} & \spc\text{(distributivity)} \\ (iii) & k(\mx{A}+\mx{B}) = k\mx{A} +k\mx{B} & \spc\text{(distributivity)} \\ (iv) & \mx{A} + \mx{B} = \mx{B} + \mx{A} & \spc\text{(commutativity)} \\ (v) & \mx{A}+(\mx{B}+\mx{C})=(\mx{A}+\mx{B})+\mx{C} & \spc\text{(associativity)} \\ (vi) & \mx{A}+ (-1)\mx{A} = \mx{O} & \spc\text{(additive inverse)} \\ (vii) & \mx{A}(\mx{B}+\mx{C})=\mx{A}\mx{B}+\mx{A}\mx{C} & \spc\text{(distributivity)} \\ (viii) & (\mx{A}+\mx{B})\mx{C}=\mx{A}\mx{C}+\mx{B}\mx{C} & \spc\text{(distributivity)} \\ (ix) & (\mx{A}\mx{B})\mx{C}=\mx{A}(\mx{B}\mx{C}) & \spc\text{(associativity)} \\ (x) & \mx{I}\mx{A}=\mx{A}\mx{I}=\mx{A} & \spc\text{(multiplicative one)} \\ (xi) & (k\mx{A})^\T=k\mx{A}^\T & \spc\text{(transpose rule 1)} \\ (xii) & (\mx{A}+\mx{B})^\T=\mx{A}^\T+\mx{B}^\T & \spc\text{(transpose rule 2)} \\ (xiii) & (\mx{A}^\T)^\T=\mx{A} & \spc\text{(transpose rule 3)} \\ (xiv) & (\mx{A}\mx{B})^\T=\mx{B}^\T\mx{A}^\T & \spc\text{(transpose rule 4)} \\ \end{array} \end{equation} 此外，我们还有下列显然的法则：$1\mx{A}=\mx{A}$、$0\mx{A}=\mx{O}$、 $k\mx{O}=\mx{O}$ 以及 $\mx{A}+\mx{O}=\mx{A}$。

式 6.55：
\begin{equation} ax = b. \end{equation}

式 6.54：
\begin{equation} \mx{A}\mx{X} = \mx{B}. \end{equation}

式 6.58：
\begin{equation} \mx{A}\mx{A}^{-1} = \mx{A}^{-1}\mx{A} = \mx{I}. \end{equation}

定义 6.17：逆矩阵
若存在矩阵 $\mx{A}^{-1}$（称为 $\mx{A}$ 的逆），使得 \begin{equation} \mx{A}\mx{A}^{-1} = \mx{A}^{-1}\mx{A} = \mx{I}. \end{equation} 则称方阵 $\mx{A}$ 可逆。 对于 $\mx{A}\mx{A}^{-1} = \mx{I}$，称 $\mx{A}^{-1}$ 为右逆；若 $\mx{A}^{-1}\mx{A} = \mx{I}$，则称 $\mx{A}^{-1}$ 为左逆。

定理 6.3：二维矩阵的逆
对于 $2\times 2$ 矩阵 $\mx{A}$，其逆为 \begin{equation} \mx{A}^{-1} = \begin{pmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{pmatrix} ^{-1} = \frac{1}{a_{11}a_{22} - a_{12}a_{21}} \begin{pmatrix} \hid{-}a_{22} & -a_{12} \\ -a_{21} & \hid{-}a_{11} \end{pmatrix} , \end{equation} 若 $a_{11}a_{22} - a_{12}a_{21} \neq 0$；否则逆不存在。

式 6.64：
\begin{gather} \mx{A}\vc{x} = \vc{y} \\ \Longleftrightarrow \\ \mx{A}\vc{x} = \mx{I}\vc{y}, \end{gather}

式 6.26：
\begin{gather} \begin{cases} \begin{array}{rrrl} 2 & \!\!\!\!\!\! x_1 + 4 &\!\!\!\!\!\!\!x_2 - 2 &\!\!\!\!\!\!x_3 = \hid{-}16 \\ - & \!\!\!\!\!\! x_1 - 7 &\!\!\!\!\!\!x_2 + 2 &\!\!\!\!\!\!x_3 = -27 \\ & 3 &\!\!\!\!\!\!x_2 - 6 &\!\!\!\!\!\!x_3 = -21 \\ \end{array} \end{cases} \\ \Longleftrightarrow \\ \underbrace{ \left( \begin{array}{rrr} -2 & 4 & -2 \\ -1 & -7 & 2 \\ 0 & 3 & -6 \end{array} \right) }_{\mx{A}} \, \underbrace{ \left( \begin{array}{c} x_1\\ x_2\\ x_3 \end{array} \right) }_{\vc{x}} = \underbrace{ \left( \begin{array}{r} 16\\ -27\\ -21 \end{array} \right) }_{\vc{b}} \\ \Longleftrightarrow \\ \mx{A} \vc{x} = \vc{b}. \end{gather}

定理 6.4：逆矩阵的性质
以下若矩阵 $\mx{A}$ 和 $\mx{B}$ 可逆，则 $\mx{A}^{\T}$、 $\mx{A}^{-1}$、$\mx{B}^{-1}$ 和 $\mx{A}\mx{B}$ 也可逆，且 \begin{equation} \begin{array}{llr} (i) & (\mx{A}^{-1})^{-1} = \mx{A} & \spc\text{(inverse inverse)}, \\ (ii) & (\mx{A}\mx{B})^{-1} = \mx{B}^{-1}\mx{A}^{-1} & \spc\text{(product inverse)}, \\ (iii) & (\mx{A}^{-1})^{\T} = (\mx{A}^{\T})^{-1} & \spc\text{(inverse transpose)}. \\ \end{array} \end{equation} 注意 $(ii)$ 的顺序，即 $\mx{A}$ 与 $\mx{B}$ 的顺序在右端与左端相比是颠倒的。

定义 5.2：线性无关与线性相关
向量组 $\vc{v}_1,\dots,\vc{v}_n$ 称为线性无关，若方程 \begin{equation} k_1\vc{v}_1 + k_2 \vc{v}_2 + \dots + k_n \vc{v}_n = \vc{0}, \end{equation} 仅有唯一解 \begin{equation} k_1 = k_2 = \dots = k_n =0. \end{equation} 若存在至少一个其他解，则该向量组线性相关。

定义 5.3：张成
$\R^n$ 中的向量组 $\{\vc{v}_1,\dots,\vc{v}_q\}$ 称为张成 $\R^n$，若方程 \begin{equation} k_1\vc{v}_1 + k_2 \vc{v}_2 + \dots + k_q \vc{v}_q = \vc{u}, \end{equation} 对于每个向量 $\vc{u}$ 都至少有一个解。

定理 6.2：逆矩阵的存在性
设左逆为 $\mx{A}_l^{-1}$，右逆为 $\mx{A}_r^{-1}$，即 $\mx{A}_l^{-1} \mx{A} = \mx{I}$ 与 $\mx{A}\mx{A}_r^{-1} = \mx{I}$。则下列结论成立： $(i)$ 若 $\mx{A}_l^{-1} \mx{A} = \mx{A}\mx{A}_r^{-1} = \mx{I}$，则 $\mx{A}_l^{-1} =\mx{A}_r^{-1}$。 $(ii)$ 矩阵 $\mx{A}$ 的逆矩阵 $\mx{A}^{-1}$ 唯一，即 $\mx{A}^{-1}= \mx{A}_l^{-1} =\mx{A}_r^{-1}$。

定理 5.5：基定理

1. 平面中的两个向量 $\vc{u}$ 和 $\vc{v}$ 构成一个基，当且仅当它们线性无关。
2. 三维空间中的三个向量 $\vc{u}$、$\vc{v}$ 和 $\vc{w}$ 构成一个基，当且仅当它们线性无关。
3. 平面中的三个或更多向量总是线性相关的。
4. 三维空间中的四个或更多向量总是线性相关的。

定理 6.8：矩阵与线性无关
若 $\mx{A}$ 的列张成 $\R^p$，则矩阵 $\mx{A}$ 存在右逆 $\mx{A}_r^{-1}$。

定理 6.6：矩阵与线性无关
若矩阵 $\mx{A}$ 存在左逆 $\mx{A}_l^{-1}$，则 $\mx{A}$ 的列线性无关。

式 5.102：
\begin{gather} \hat{\vc{e}}_1 = x_{11} \vc{e}_1 + x_{21} \vc{e}_2,\\ \hat{\vc{e}}_2 = x_{12} \vc{e}_1 + x_{22} \vc{e}_2. \end{gather}

式 6.83：
\begin{align} \hat{\vc{e}}_j = \sum_{i=1}^n b_{ij}\vc{e}_i, \end{align}

式 6.82：
\begin{align} \vc{v} &= \sum_{i=1}^n x_i\vc{e}_i \\ &= \sum_{i=1}^n \hat{x}_i\hat{\vc{e}}_i, \end{align}

定理 2.5：三维坐标
设 $\vc{e}_1$、$\vc{e}_2$ 和 $\vc{e}_3$ 为三个非零基向量， 且不存在同时平行于这三个向量的平面。 对于三维空间中的每个向量 $\vc{v}$，存在唯一的坐标三元组 $(x,y,z)$ 使得 \begin{equation} \vc{v} = x\vc{e}_1 + y\vc{e}_2 + z\vc{e}_3. \end{equation}

式 6.81：
\begin{align} \vc{v} = \mx{B}\hat{\vc{v}} = \begin{pmatrix} b_{11} & b_{12} & \dots & b_{1,n} \\ b_{21} & b_{22} & \dots & b_{2,n} \\ \vdots & \vdots & \ddots & \vdots \\ b_{n,1} & b_{n,2} & \dots & b_{n,n} \end{pmatrix} \vc{\hat{v}}, \end{align}

定义 3.3：标准正交基
对于由基向量组 $\{\vc{e}_1, \dots, \vc{e}_n\}$ 构成的 $n$ 维标准正交基， 下列关系成立： \begin{equation} \vc{e}_i \cdot \vc{e}_j = \begin{cases} 1 & \text{if } i=j, \\ 0 & \text{if } i\neq j. \\ \end{cases} \end{equation} 这意味着基向量长度为 1，即已归一化，且两两正交。

定义 6.18：正交矩阵
正交矩阵 $\mx{B}$ 是列向量构成标准正交基的方阵。

定理 6.12：正交性与长度保持
若 $\mx{B}$ 为正交矩阵，则 $\ln{\mx{B}\vc{v}} = \ln{\vc{v}}$，反之亦然， 即该变换保持长度。

定理 6.14：
若 $\mx{A}$ 和 $\mx{B}$ 为正交矩阵，则 $\mx{A}\mx{B}$ 也是正交矩阵。

定理 6.10：基变换
给定 $\R^n$ 中两组基 $\{\vc{e}_1,\vc{e}_2,\dots,\vc{e}_n\}$ 与 $\{\hat{\vc{e}}_1,\hat{\vc{e}}_2,\dots,\hat{\vc{e}}_n\}$ 之间的如下关系： \begin{align} \hat{\vc{e}}_1 &= b_{11} \vc{e}_1 + b_{21} \vc{e}_2 + \dots + b_{n,1} \vc{e}_n, \\ \hat{\vc{e}}_2 &= b_{12} \vc{e}_1 + b_{22} \vc{e}_2 + \dots + b_{n,2} \vc{e}_n, \\ &\dots \\ \hat{\vc{e}}_n &= b_{1,n} \vc{e}_1 + b_{2,n} \vc{e}_2 + \dots + b_{n,n} \vc{e}_n, \end{align} 其中某个向量 $\vc{v}$ 有两种表示 \begin{align} \vc{v} &= v_1\vc{e}_1 + v_2\vc{e}_2 + v_3\vc{e}_3+\dots+v_n\vc{e}_n = \\ &= \hat{v}_1\hat{\vc{e}}_1 + \hat{v}_2\hat{\vc{e}}_2 + \hat{v}_3\hat{\vc{e}}_3+\dots+\hat{v}_n\hat{\vc{e}}_n, \end{align} 设 $\mx{B}$ 为以 $\hat{\vc{e}}_i$ 为列向量的矩阵， 则有 \begin{align} \vc{v} = \mx{B}\hat{\vc{v}} = \begin{pmatrix} b_{11} & b_{12} & \dots & b_{1,n} \\ b_{21} & b_{22} & \dots & b_{2,n} \\ \vdots & \vdots & \ddots & \vdots \\ b_{n,1} & b_{n,2} & \dots & b_{n,n} \end{pmatrix} \vc{\hat{v}}, \end{align} 其中 $\vc{v}=(v_1,v_2,v_3,\dots,v_n)$ 和 $\hat{\vc{v}}=(\hat{v}_1,\hat{v}_2,\hat{v}_3,\dots,\hat{v}_n)$。

弹出帮助：
基（复数形式为 bases）是一组线性无关的（基）向量，使得空间中的每个向量都可以表示为基向量的线性组合。如果基为 $\{\vc{e}_1,\vc{e}_2,\vc{e}_3\}$，则空间中的任意向量 $\vc{v}$ 可以由三个数 $(x,y,z)$ 描述，使得 $\vc{v} = x\vc{e}_1 +y\vc{e}_2 +z\vc{e}_3$。基通常是隐含的，此时我们写作 $\vc{v} = (x,y,z)$，或者为了区分一个向量 $\vc{v}$ 与另一个向量 $\vc{u}$ 的元素，可以使用 $\vc{v}=(v_x,v_y,v_z)$ 和 $\vc{u}=(u_x,u_y,u_z)$ 作为记号。

弹出帮助：
$n$ 维列向量 $\vc{v}$ 是相对于一组基表示的，由 $n$ 个标量值组成的列构成。向量元素有时记作 $v_1$、$v_2$、…、$v_n$。对于二维和三维向量，有时也使用 $v_x$、$v_y$ 和 $v_z$。记法为

\begin{equation} \underbrace{ \vc{u} = \begin{pmatrix} u_x \end{pmatrix} = \begin{pmatrix} u_1 \end{pmatrix}}_{\text{1D vector}}, \spc\spc \underbrace{ \vc{v} = \begin{pmatrix} v_x \\ v_y \end{pmatrix} = \begin{pmatrix} v_1 \\ v_2 \end{pmatrix}}_{\text{2D vector}}, \spc\spc \underbrace{ \vc{w} = \begin{pmatrix} w_x \\ w_y \\ w_z \end{pmatrix} = \begin{pmatrix} w_1 \\ w_2 \\ w_3 \end{pmatrix}}_{\text{3D vector}}, \end{equation}

其中 $\vc{u} = u_x \vc{e}_1$、$\vc{v} = v_x \vc{e}_1 + v_y \vc{e}_2$ 且 $\vc{w} = w_x \vc{e}_1 + w_y \vc{e}_2 + w_z \vc{e}_3$。注意 $\vc{e}_i$ 是基向量。
在我们的行文中，也使用简写记法 $\vc{w} = \bigl(w_1,w_2,w_3\bigr)$，其含义与上式相同（注意向量元素之间的逗号）。不过行向量的元素之间没有逗号。

弹出帮助：
交换律是指交换运算的两个操作数的顺序不改变结果。例如，向量加法满足交换律，因为 $\vc{u}+\vc{v} = \vc{v}+\vc{u}$。点积也满足交换律，因为 $\vc{u}\cdot\vc{v} =\vc{v}\cdot\vc{u}$。然而矩阵乘法一般不满足交换律，即 $\mx{A}\mx{B} \neq \mx{B}\mx{A}$，但矩阵加法满足：$\mx{A}+\mx{B} = \mx{B} + \mx{A}$。

弹出帮助：
分配律是指一个操作数与多个操作数相乘时，可以替换为每一项分别相乘再求和。
例如，向量缩放满足分配律，因为 $k(\vc{u}+\vc{v}) = k\vc{u}+k\vc{v}$ 且 $(k+l)\vc{u} = k\vc{u}+l\vc{u}$。
对于点积，有 $\vc{v}\cdot(\vc{u}+\vc{w}) = \vc{v}\cdot\vc{u} + \vc{v}\cdot\vc{w}$。
对于叉积，有 $\vc{u} \times (\vc{v} + \vc{w}) = \vc{u} \times \vc{v} + \vc{u} \times \vc{w}$ 和 $(\vc{u} + \vc{v}) \times \vc{w} = \vc{u} \times \vc{w} + \vc{v} \times \vc{w}$。
对于矩阵，有如下规则：$(k+l)\mx{A} = k\mx{A} +l\mx{A}$、$k(\mx{A}+\mx{B}) = k\mx{A} +k\mx{B}$、$\mx{A}(\mx{B}+\mx{C})=\mx{A}\mx{B}+\mx{A}\mx{C}$ 和 $(\mx{A}+\mx{B})\mx{C}=\mx{A}\mx{C}+\mx{B}\mx{C}$。

弹出帮助：
点积，也称标量积，是一个标量值，记作 $\vc{u}\cdot \vc{v}$：

\begin{equation} \vc{u}\cdot \vc{v} = \left\{ \begin{array}{ll} \ln{\vc{u}}\ \ln{\vc{v}} \cos[\vc{u},\vc{v}], & \text{if } \vc{u}\neq \vc{0} \text{ and } \vc{v}\neq \vc{0}\\ 0, & \text{if } \vc{u}=\vc{0} \text{ or } \vc{v}=\vc{0}, \end{array} \right. \end{equation}

其中 $[\vc{u},\vc{v}]$ 是 $\vc{u}$ 和 $\vc{v}$ 之间的最小角。当 $\vc{u} \cdot \vc{v} = 0$ 时向量彼此正交（垂直），反之亦然。我们还有 $\vc{u} \cdot \vc{v}>0 \Leftrightarrow 0 < [\vc{u},\vc{v}] < \pi/2$ 以及 $\vc{u} \cdot \vc{v}<0 \Leftrightarrow \pi/2 < [\vc{u},\vc{v}] \leq \pi$。
在标准正交基中，$\vc{u}\cdot\vc{v} = \sum_{i=1}^{n} u_i v_i$，其中 $n$ 是维数。例如在三维中，$\vc{u}\cdot\vc{v} = u_xv_x + u_yv_y +u_zv_z$。

弹出帮助：
高斯消元法是对线性方程组逐行减少一个自由变量的过程，直到最后一行为 $kx_n=l$，即 $x_n=l/k$。之后，其余自由变量可以通过回代求得。

弹出帮助：
在参数化形式中，直线由起点 $S$、方向 $\vc{d}$ 和标量参数 $t$ 定义，直线上的任意点可从直线方程获得，即 $P(t) = S + t\vc{d}$。该表示法适用于任意维度。
在隐式形式中，直线由起点 $S$ 和法向量 $\vc{n}$ 定义。对于直线上的任意点 $P$，满足 $\vc{n}\cdot (P-S) = 0$。该表示法仅适用于二维。

弹出帮助：
如果一个方程组只包含零次和一次多项式项，即只有常数项或一次项（如 $9x$、$-2y$ 和 $0.5z$），则称其为线性方程组。

弹出帮助：
向量组 $\vc{v}_1,\dots,\vc{v}_n$ 称为线性无关，若方程

\begin{equation} k_1\vc{v}_1 + k_2 \vc{v}_2 + \dots + k_n \vc{v}_n = \vc{0}, \end{equation}

仅有唯一解 $k_1 = k_2 = \dots = k_n =0$。 若存在至少一个其他解，则该向量组线性相关。

弹出帮助：
在二维中，正定向与逆时针顺序相同，而负定向与顺时针顺序相同。 平面上的两个向量 $\vc{u}$ 和 $\vc{v}$ 是正定向的，如果 $\vc{u}$ 可以按正定向旋转，使得最小角 $[\vc{u},\vc{v}]$ 变为零。
对于三维向量，假设 $\vc{u}$、$\vc{v}$ 和 $\vc{w}$ 都从同一原点出发。 向量 $\vc{u}$、$\vc{v}$ 和 $\vc{w}$ 称为正定向的，如果你想象坐在 $\vc{w}$ 的顶端，朝向原点看，且从该位置看 $\vc{u}$ 和 $\vc{v}$ 是正定向的。对于负定向的向量组同样如此，只是 $\vc{u}$ 和 $\vc{v}$ 从该位置看必须是负定向的。

弹出帮助：
正交性是指例如两条直线构成直角。我们说这两条直线（互相）正交。当两个向量之间的角度为 $90^\circ$ 或 $\pi/2$ 弧度时，即 $[\vc{u},\vc{v}]=\pi/2$，它们是正交的。这也记作 $\vc{u} \perp \vc{v}$，表示向量正交，即垂直。注意，如果两个向量正交，则点积为零，即 $\vc{u}\cdot\vc{v}=0$。正交矩阵 $\mx{B}$ 是一个方阵，其列向量构成一组标准正交基。

弹出帮助：
$n$ 维标准正交基由 $n$ 个基向量 $\vc{e}_i$ 组成，使得当 $i\neq j$ 时 $\vc{e}_i\cdot \vc{e}_j$ 为 0，当 $i=j$ 时为 1。标准基就是标准正交的。在二维中可以验证这一点，因为 $\vc{e}_1\cdot\vc{e}_2=$$(1,0)\cdot(0,1)=0$ 且 $\vc{e}_i\cdot\vc{e}_i=1$。

弹出帮助：
在参数化形式（也称显式形式）中，平面方程为 $P(t_1, t_2) = S + t_1 \vc{d}_1 + t_2\vc{d}_2$，其中 $S$ 是平面上的一点，$\vc{d}_1$ 和 $\vc{d}_2$ 是平面上两个不平行的非零向量。使用参数 $t_1$ 和 $t_2$ 可以到达任意点 $P(t_1,t_2)$。
在隐式形式中，平面方程为 $\vc{n}\cdot(P-S)=0$，其中 $\vc{n}$ 是平面的法向量，$S$ 是平面上的一点。只有位于平面上的点 $P$ 才使方程左端等于 $0$。

弹出帮助：
正定向的向量组也称为右手系。

弹出帮助：
行向量是经过转置的列向量，使列变成了行。在本书中，列向量是默认的向量类型，因此行向量可以由列向量 $\vc{v}$ 简单地通过转置获得，即 $\vc{v}^\T$。因此行向量为 $\vc{v}^\T = \bigl(v_1\ \ v_2 \ \ v_3\bigr)$。注意向量元素之间的空格。这与列向量 $\vc{w} = \begin{pmatrix} w_1 \\ w_2 \\ w_3 \end{pmatrix}$ 形成对比。

弹出帮助：
（线性）方程组就是若干个（线性）方程，我们希望联立求解，使得所得解对每个方程都成立。

弹出帮助：
将两个向量 $\vc{u}$ 和 $\vc{v}$ 相加得到一个新向量，记作 $\vc{u}+\vc{v}$。做法是将 $\vc{u}$ 平移使其尾点位于 $\vc{v}$ 的头点处，反过来也可以，因为向量加法满足交换律，即 $\vc{u}+\vc{v} = \vc{v}+\vc{u}$。

弹出帮助：
向量 $\vc{v}$ 的长度记作 $\ln{\vc{v}}$。在标准正交基中，长度的平方为 $\ln{\vc{v}}^2 = \vc{v}\cdot\vc{v}$，即 $\ln{\vc{v}} = \sqrt{\vc{v}\cdot\vc{v}}$。例如对于三维向量，简化为 $\ln{\vc{v}} = \sqrt{v_x^2 + v_y^2 + v_z^2}$。

第 5 章：高斯消元法（上一章）

第 7 章：行列式（下一章）