把数学看作是一种解决问题的工具。解决问题的关键往往在于找到我们研究对象的恰当表示。将矩阵视为一种数据变换的方式,为我们提供了所需的几何视角,开辟了一条全新的方法之路。
通过前几次的对机器学习涉及到的线性知识的回顾,本次我们做一次全面的总结。并由此提出一系列相关问题留给读者思考。
本文的主要内容包括:
- 总结
- 问题
1 总结
那么,第一次用眼睛的时候,你的眼睛会不会很痛?当我第一次学习矩阵作为线性变换时,我的眼睛确实很痛。这部分内容第一次体现了这种抽象的视角,但是相信我,以后它会带来更大的回报。
让我们快速回顾一下本章。
我们已经知道,除了形式是数字表之外,矩阵还可以表示线性变换:

其中𝐴的列描述了基向量在线性变换𝐱 → 𝐴𝐱下的像。
这究竟对我们有什么用呢?把数学看作是一种解决问题的工具。解决问题的关键往往在于找到我们研究对象的恰当表示。将矩阵视为一种数据变换的方式,为我们提供了所需的几何视角,开辟了一条全新的方法之路。
以这种方式看待矩阵,我们很快就能理解为什么矩阵乘法是这样定义的。
定义

乍一看令人望而生畏,但从线性变换的角度来看,这一切都是一个简单的组合:首先,我们应用变换𝐵,然后𝐴。
不过要注意:线性变换和矩阵并不完全相同,因为矩阵表示取决于向量空间的底层基。(瞧,我告诉过你,基会很有用。)
矩阵还有一个重要的量,叫做行列式,最初由一个极其复杂的公式定义

但利用我们新发现的几何视角进行的一项研究表明,行列式仅仅描述了线性变换对域空间体积的扭曲程度,以及它如何改变基向量的方向。
对于我们机器学习从业者来说,从矩阵到线性变换的概念跳跃,才是更有趣的。(与理论相反,我们通常先学习线性变换,然后再学习矩阵。)例如,这使我们能够将神经网络中的某一层视为拉伸、旋转、剪切,并可能反映特征空间。
在下一章中,我们将从一个略有不同的视角——方程组——重新审视矩阵。当然,万物皆有联系,最终我们会回到起点,从更高的视角审视我们所知道的知识。这是因为学习是一个螺旋式的过程,而我们正在快速上升。
2 问题
问题 1. 证明,若 \(𝐴 ∈ ℝ^{𝑛×𝑛}\)为可逆矩阵,则
\((𝐴 ^{−1})^ 𝑇 = (𝐴 ^𝑇 ) ^{−1} .\)
问题 2. 令 \(𝑅_𝛼\) 为二维旋转矩阵,其定义如下

证明$ 𝑅_𝛼𝑅_𝛽 = 𝑅_{𝛼+𝛽}$。
问题 3. 设 \(𝐴 = (𝑎_{𝑖,𝑗})^𝑛_{𝑖,𝑗=1} ∈ ℝ^{𝑛×𝑛}\) 为矩阵,设 \(𝐷 ∈ ℝ^{𝑛×𝑛}\) 为对角矩阵,定义如下

其中对角线外的所有元素均为零。证明

以及

问题 4. 令 ‖ ⋅ ‖ 为 \(ℝ^𝑛\)上的范数,令 $𝐴 ∈ ℝ^{𝑛×𝑛} $为任意矩阵。证明 𝐴 可逆当且仅当函数
\(‖𝐱‖_∗ ∶= ‖𝐴𝐱‖\)
是\(ℝ^n\)上的范数。
问题 5. 设 𝑈 为赋范空间,𝑓 ∶ 𝑈 → 𝑈 为线性变换。若
$‖𝐱‖_∗ ∶= ‖𝑓 (𝐱)‖$
是范数,𝑓 必然可逆吗?
提示:考虑向量空间 ℝ[𝑥],其范数为

以及线性变换 𝑓 ∶ 𝑝(𝑥) ↦ 𝑥𝑝(𝑥)。
问题 6. 令 ⟨⋅, ⋅⟩ 为$ ℝ^𝑛$上的内积。证明存在一个矩阵 \(𝐴 ∈ ℝ^{𝑛×𝑛}\)使得
\(⟨𝐱, 𝐲⟩ = 𝐱^𝑇𝐴𝐲, 𝐱, 𝐲 ∈ ℝ^n\)
(回想一下,我们将向量 \(𝐱、𝐲 ∈ ℝ^𝑛\)视为列向量。)
问题 7. 设 \(𝐴 ∈ ℝ^{𝑛×𝑛}\) 为一个矩阵。如果对于每个非零的 \(𝐱 ∈ ℝ^𝑛\) ,\(𝐱^𝑇𝐴𝐱 > 0\),则称 𝐴 为正定矩阵。
证明 𝐴 为正定矩阵当且仅当
\(⟨𝐱, 𝐲⟩ = 𝐱^𝑇𝐴𝐲\)
是内积。
问题 8. 设 \(𝐴 ∈ ℝ^{𝑛×𝑚}\) 为一个矩阵,其列记为 \(𝐚_1, … , 𝐚_𝑛 ∈ ℝ^𝑛\)。
证明,对于所有 \(𝐱 ∈ ℝ^𝑚\),\(𝐴𝐱 ∈ span(𝐚_1, … , 𝐚_𝑛)\)。
设 \(𝐵 ∈ ℝ^{𝑚×𝑘}\),𝐴𝐵 的列记为 \(𝐯_1, … , 𝐯_𝑘 ∈ ℝ^𝑛\)。证明
\(𝐯_1, … , 𝐯_𝑘 ∈ span(𝐚_1, … , 𝐚_𝑛)\)。
问题 9. 设 \(𝐴 ∈ ℝ^{𝑛×𝑛}\) 为一个矩阵。证明
\(⟨𝐴𝐱, 𝐲⟩ = ⟨𝐱, 𝐴^𝑇𝐲⟩\)
对所有 \(𝐱, 𝐲 ∈ ℝ^𝑛\)成立,其中 ⟨⋅, ⋅⟩ 是欧氏内积。
问题 10. 计算行列式

问题 11. 设 \(𝐴 ∈ ℝ^{𝑛×𝑛}\) 为矩阵,𝑐 ∈ ℝ 为常数。
- 证明

对所有𝑖 = 1, … , 𝑛 成立。
(b)证明

对所有𝑖 = 1, … , 𝑛 成立,且
- 证明
\(det(𝑐𝐴) = 𝑐^𝑛det𝐴\)。
问题 12. 设 $𝐴 ∈ ℝ^{𝑛×𝑛} $为上三角矩阵。(即对角线以下所有元素均为零。)
证明
\(det𝐴 =∏^n_{𝑖=1}𝑎_{𝑖,𝑖}\)
证明下三角矩阵(即对角线上方元素为零的矩阵)也同样成立。
问题 13. 设 \(𝑀 ∈ ℝ^{𝑛×𝑚}\) 为具有分块结构的矩阵

其中 \(𝐴 ∈ ℝ^{𝑘×𝑘},𝐵 ∈ ℝ^{𝑘×𝑙},𝐶 ∈ ℝ^{𝑙×𝑙}\)。
证明
\(det 𝑀 = det𝐴det 𝐶\)。