机器学习的数学基础-线性变换(二)

我们已经看到，任何线性变换都可以用基向量的像来描述。这给了我们经常使用的矩阵表示。然而，这很大程度上取决于基的选择。对于相同的变换，不同的基会产生不同的矩阵。这就涉及到基变换和变换矩阵。

本文的主要内容包括：

基变换
变换矩阵

1 基变换

在本节前面，我们已经看到，任何线性变换都可以用基向量的像来描述（参见 4.1.1 节）。这给了我们经常使用的矩阵表示。然而，这很大程度上取决于基的选择。对于相同的变换，不同的基会产生不同的矩阵。

例如，让我们看一下 $𝑓 ∶ ℝ^2 → ℝ^2$，它将 $𝐞_1 = (1, 0)$ 映射到向量 (2, 1)，将 $𝐞_2 = (0, 1)$ 映射到(1, 2)。它在标准正交基 $𝐸 = {𝐞_1, 𝐞_2}$ 中的矩阵为

图 4.3：线性变换 𝑓，由(4.5)定义

图 4.3 直观地显示了 𝑓 的效果。

如果我们选择不同的基，比如$𝑃 = {𝐩_1 = (1, 1), 𝐩_2 = (−1, 1)}$，结果会怎样？通过快速计算，我们可以得出

换句话说，$𝑓 (𝐩_1) = 3𝐩_1 + 0𝐩_2$ 且 $𝑓 (𝐩_2) = 0𝐩_1 + 𝐩_2$。图 4.4 直观地展示了这一点。

图 4.4：𝑓 对 $𝑝_1 = (1, 1) $和 $𝑝_2 = (−1, 1)$ 的影响

这意味着，如果 $𝑃 = \{𝐩_1, 𝐩_2\}$ 是我们的基（因此，如果写 (𝑎, 𝑏) 意味着 $𝑎𝐩_1 + 𝑏𝐩_2$），𝑓 矩阵就变成

在这个形式中，$𝐴_{𝑓 ,𝑃}$ 是一个对角矩阵。（也就是说，对角线以下和以上的元素均为零。）正如你所见，拥有正确的基可以显著简化线性变换。例如，在 𝑛 维中，应用对角形式的变换只需要 𝑛 次运算，如下所示

否则，需要$𝑛^2$次运算。因此，我们可以利用这一点节省很多计算。

##2 变换矩阵

我们刚刚看到，线性变换的矩阵取决于我们选择的基。然而，同一变换的矩阵之间存在着一种特殊的关系。我们接下来将对此进行探讨。设𝑓 ∶𝑈 → 𝑈为一个线性变换，$𝑃 = \{𝐩_1, … ,𝐩_𝑛\}$ 和$𝑄 =\{𝐪_1, … ,𝐪_𝑛\}$为两个基。与前面一样，$𝐴_{𝑓 ,𝑆}$ 表示𝑓在某个基𝑆上的矩阵。

假设我们知道$𝐴_{𝑓，𝑃}$，但我们的向量是用另一个基𝑄表示的。那么，我们如何计算向量在线性变换下的像呢？一个自然的想法是，先将向量表示从𝑄变换为𝑃，应用$𝐴_{𝑓,𝑃}$后，再将表示变换回来。接下来，我们将对此进行精确计算。

令 𝑡 ∶ 𝑈 → 𝑈 为一个变换，其定义为 $𝐩_𝑖 ↦ 𝐪_𝑖$，其中 𝑖 ∈ {1, … , 𝑛}。（换句话说，𝑡 将一组基向量映射到另一组。）由于 𝑃 和 𝑄 是基（因此这两个集合线性无关），𝑡 可逆。假设矩阵 $𝐴_{𝑓 ,𝑄} = (𝑎^𝑄_{𝑖,𝑗})^𝑛_{𝑖,𝑗=1}$ 为已知，即