写在前面: 这份讲义是笔者在学习时的一些思考和题目复盘。尤其想说的是,在2025-2026年的期末考里,讲义里不少核心思路和题目都“押中”了。
关于这份讲义: 笔记的初稿是笔者自己整理的,后来在Gemini的帮助下重新梳理了逻辑、调整了排版。
比起复杂的行列式计算,笔者总觉得几何直觉(Geometric Intuition) 更自然,也更能帮助理解本质。所以如果你在读的时候,发现里面有不少从几何角度出发的解释——嗯,那大概就是笔者个人偏好了。
🛫 第 零 章:矩阵乘法的本源 (The Origins)
可以用以下五种视角进行矩阵运算的理解。
0.1 矩阵乘向量: 的两种核心视角
设 ,其中 是列向量。
视角 A:列的线性组合 (The Column Picture) —— 最重要!
-
直觉: 是对 的列向量进行线性组合。
-
应用:
-
解方程 : 实际上是在问“能不能用 的列向量组合出 ?”(即 是否在列空间里)。
-
列空间 : 就是所有这些组合 构成的集合。
-
视角 B:行的点积 (The Row Picture)
-
直觉: 看作 在 的每一行方向上的投影。
-
应用: 在 中,意味着 必须垂直于 的每一行(所以零空间 行空间)。
0.2 向量乘矩阵:
-
直觉: 是对 的行向量进行线性组合。
-
口诀: 左乘行组合,右乘列组合。
0.3 矩阵乘矩阵: 的四种视角
设 ,
视角 A:列操作 (Column-wise) —— 作用于 的列
把 看作一堆列向量 。
-
直觉: 的第 列,是 对 的第 列做变换。
-
结论: 的列空间是 的列空间的子空间。
视角 2:行操作 (Row-wise) —— 作用于 的行
把 看作一堆行向量。
-
直觉: 的第 行,是 对 的第 行做组合。
-
结论: 的行空间是 的行空间的子空间。
视角 3:列乘行 (Outer Product Expansion) —— 高阶大招
这是谱分解和SVD的灵魂。
-
直觉: 矩阵乘法是 个秩1矩阵的和。
-
应用:
-
谱分解: 其实就是这个视角。
-
SVD: 也是这个视角。
-
如果只需近似矩阵,取前几项相加即可(主成分分析)。
-
0.4 变换的黄金法则 (The Golden Rule)
这是 Gilbert Strang 老爷子反复强调的:
Left Multiply = Row Operation (左乘做行变换)
Right Multiply = Column Operation (右乘做列变换)
-
想对 做行变换(高斯消元)?
在 的左边乘一个初等矩阵 。
-
想对 做列变换?
在 的右边乘一个初等矩阵 。
举个栗子🌰:
-
: 用 在左边不断乘,相当于做初等行变换把 变成 。
-
: 在右边,说明 是 的列的重新排列或组合(比如交换两列)。
🚀 第一章:分块矩阵与行列式 (The Block Art)
1.1 分块对角/反对角矩阵求逆
遇到分块矩阵,不要死算,看结构。
-
分块对角阵求逆: 直接对角线求逆。
-
分块反对角阵求逆: 注意! 逆矩阵的顺序是反过来的,且位置维持反对角。
1.2 舒尔补公式 (Schur Complement) —— 行列式降维神器
口诀: 提主元,扣尾款。
当 可逆时(以 为主元):
当 可逆时(以 为主元):
直觉来源: 这本质上是分块高斯消元:
1.3 降阶公式 (Sylvester’s Determinant Identity)
当矩阵维度不同时(),这是连接两个维度的桥梁。
特例():
应用: 如果 是列向量 , 是行向量 ,则 是大矩阵, 是标量!
1.4 秩1修正行列式 (Matrix Determinant Lemma)
这是上述降阶公式的推论,用于处理“单位阵+秩1矩阵”。
常见考题形式():
🛠 第二章:矩阵求逆进阶 (Inverse Pro)
2.1 秩1修正求逆 (Sherman-Morrison Formula)
特例(当 ):
记忆法:
符号相反(左边加,右边减)。
分母是标量 。
分子被 夹在中间。
2.2 二阶矩阵求逆口诀
口诀: 主对调,副变号,除以行列式。
📈 第三章:秩与不等式 (Rank & Inequalities)
3.1 秩的重要连等式
推论: 与 是同解方程组。(最小二乘法的理论基础)
3.1.0 拓展:投影矩阵与最小二乘
现实世界是不完美的。
当方程组 无解时(比如 不在 的列空间里),工程思维不是“两手一摊”,而是 “退而求其次” 。
我们找不到精确解,但我们可以找“最近的解”(误差最小的解)。
3.1.1 最小二乘法 (Least Squares)
-
问题: 飞出去了,不在 的管辖范围(列空间)里。
-
目标: 在 的列空间里找一个替身 ,让 离 最近。几何上,这意味着 (误差向量 )必须垂直于 的列空间。
-
核心方程 (Normal Equation):
3.1.2 投影矩阵 (Projection Matrix )
-
公式:
(推导:因为 ,把上面解出来的 带进去即得)
-
若 为列向量 (投影到直线):
3.1.3 灵魂性质:幂等性 ()
-
代数意义: 。
-
几何直觉:
-
把一个向量投影到桌面上(变成了影子)。
-
再对这个影子做一次投影。
-
结论: 投影两次 = 投影一次。
-
3.2 秩的不等式链条
-
和的秩:
-
积的秩:
-
分块矩阵的秩:
-
西尔维斯特不等式 (Sylvester): (其中 )
🌀 第四章:特征值与对角化 (Eigenvalues)
4.0 特征值两大结论
-
迹 (Trace):
-
行列式 (Determinant):
4.1 普通矩阵可对角化判据
阶矩阵 可对角化 有 个线性无关特征向量。
判别流程:
-
无重根: 互异 必可对角化。
-
有重根: 若 是 重根,必须检查 几何重数 == 代数重数。
即:。
(缺一个特征向量都不能对角化!)
4.2 秩1矩阵的特征值 ()
对于矩阵 (秩为1):
-
特征值 : 等于迹,即 。
-
其余特征值: 全为 。
-
特征向量:
-
对应非零特征值的特征向量是 ()。
-
对应0特征值的特征向量是所有垂直于 的向量。
-
4.3 秩1修正矩阵 () 的特征值
这类矩阵在几何上对应“反射”或“压缩”,在Householder变换中极常见。
对于矩阵 (为单位阵):
-
特征值:
-
主特征值: (对应特征向量 )。
-
重特征值: 其余 个特征值均为 (对应特征向量为所有垂直于 的向量)。
-
-
行列式: 。
-
几何直觉:
-
矩阵只在 方向上进行了缩放(缩放倍数为 )。
-
在垂直于 的平面上,它就是单位阵 (没动)。
-
一般推广 (Rank-1 Update):
对于 ,若已知 的特征值,通常无法直接求 的特征值。
但如果 (即 ),则结论同上:
一个特征值为 ,其余为 。
4.4 实对称矩阵 (Real Symmetric Matrix)
最好的矩阵:
-
特征值全为实数。
-
不同特征值对应的特征向量天然正交。
-
必可正交对角化: (为正交阵)。
4.5 谱分解的高阶处理 (Spectral Decomposition Pro)
实对称矩阵可以分解为 个投影矩阵的加权和:
其中 是向第 个特征方向的投影矩阵。
4.6 特征向量速算外挂:叉积法 (Cross Product Trick)
仅适用于 3阶矩阵 () 的手算神器。
当求 矩阵 对应特征值 的特征向量 时,我们需要解 。
传统方法: 高斯消元,容易算错。
叉积外挂:
-
写出矩阵 。
-
因为 是奇异的(秩<3),它的行向量线性相关。
-
任选 中两个不共线的行向量 (看都不用看直接选非零且不成比例的两行)。
-
直接计算叉积:。
-
得到的 即为特征向量(无需归一化)。
原理: 意味着 垂直于 的每一行。三维空间中同时垂直于两个向量的方向,就是它们的叉积方向。
注意: 如果算出是 ,说明选的两行共线了,换两行再叉即可。
📐 第五章:空间与变换 (Spaces & Geometry)
5.1 线性变换判定
映射 是线性的,必须同时满足:
-
加法性:
-
齐次性:
避坑指南:
检查 是否为 。如果 (),那是平移,不是线性变换。
出现平方、取模、行列式运算通常不是线性变换。
5.2 欧氏空间与内积判定
一个运算 要成为内积,必须满足 4 条公理:
-
对称性:
-
线性(对第一变元):
-
非负性:
-
严格正性:
5.3 空间相等的证明
要证明线性空间 ,通常只需证两点:
-
包含关系: (即 的基都能被 的基线性表示)。
-
维数相等: 。
5.4 施密特正交化 (Gram-Schmidt Orthogonalization)
1. 核心直觉 (The Intuition)
给我们一组“乱七八糟、互相歪斜”的基 ,我们想把它们变成一组“横平竖直、互相垂直”的基
-
做法: 也就是 “去投影”
-
保留第一个向量不动
-
第二个向量 = 原来的第二个 - (在第一个上的影子)
-
第三个向量 = 原来的第三个 - (在第一个上的影子) - (在第二个上的影子)
2. 计算公式 (The Algorithm)
设原向量组为
-
Step 1 (定基准):
-
Step 2 (去投影):
-
Step 3 (如法炮制):
最后一步(单位化): 如果题目要求“标准正交基”,别忘了最后除以模长:。
3. 避坑指南 (The Trap)
-
对象搞错: 公式里减去的投影,是基于已经正交化好的 ,绝对不是基于原来的 !
-
错解: (❌)
-
正解:
-
-
计算量爆炸: 如果在中间过程就急着“单位化”(带上了根号),后面的计算会算到怀疑人生。
- 策略: 先只做正交化(只搞垂直,不管长短),算出清爽的整数 ,最后再统一除以模长。
🎢 第六章:二次型与合同 (Quadratic Forms & Congruence)
如何理解?
二次型 描述的是一个 “地势图”。
我们做的所有变换(配方、正交变换),都是在不改变地形凹凸性质的前提下,换个角度看这个地势。
- 正定 = 碗(有最低点,稳定)
- 负定 = 山峰(有最高点,不稳定)
- 不定 = 马鞍面(鞍点,临界状态)
6.1 合同矩阵 (Congruent Matrices)
定义: 若存在可逆矩阵 ,使得 ,则称 与 合同。
概念比较:合同 vs 相似
| 维度 | 相似 (Similarity) | 合同 (Congruence) |
|---|---|---|
| 公式 | ||
| 核心不变量 | 特征值 (), 迹, 行列式 | 惯性指数 (), 秩 () |
| 物理意义 | 同一个线性变换在不同基下的表示 | 同一个**二次型(能量)**在不同坐标系下的表示 |
| 几何直觉 | 拉伸/旋转的倍数没变 | 抛物面的开口方向和凹凸性没变 |
| 联系 | 若 是正交矩阵 (),则相似 合同 | 实对称矩阵必可合同于对角阵 |
避坑:
两个矩阵 特征值相同,它们相似,也合同(因为特征值符号肯定一样)。
两个矩阵 特征值不同,但正负个数相同,它们合同,但不相似。
6.2 惯性定律 (Sylvester’s Law of Inertia)
定理: 无论你用什么可逆变换(配方法、初等变换、正交变换)把二次型化为标准形,其正系数的个数 () 和 负系数的个数 () 是永恒不变的。
-
正惯性指数 (): 能量增加的维度数量(向上的开口)。
-
负惯性指数 (): 能量减少的维度数量(向下的开口)。
-
秩 (): (起作用的总维度)。
6.3 正定性判据的全景图 (Positive Definiteness)
判断 是否正定(即 对任意 ),其实是在问:“这真的是一个碗吗?”
四大判据(按解题优先级排序):
-
特征值判据(最本质):
全为正实数 ()。
(物理意义:在所有主轴方向上,都是往上弯的)
-
顺序主子式判据(手算最快):
所有顺序主子式 ()。
(代数意义:高斯消元过程中,主元 pivot 永远为正)
-
惯性指数判据(配方法):
正惯性指数 (或者标准形系数全正)。
-
定义判据:
。
🌌 终章:线性代数的四个基本空间 (The Big Picture)
核心图景:
任何一个 的矩阵 ,都在做一件事:
将 维输入空间 () 里的向量,映射到 维输出空间 ()。
这个过程中,两个世界被精准地切割成了四块:

1. 输入世界的切割 ()
输入向量 被分解为两部分:。
-
行空间 (Row Space):
-
维数: (秩)
-
身份: “有效输入区”。
-
理解: 只有落在这个空间里的分量, 才会对它处理(拉伸、旋转)。这一部分的信息被保留并传递到了输出端。
-
-
零空间 (Null Space):
-
维数:
-
身份: “无效输入区” 或 “信息的黑洞”。
-
理解: 落在这里的分量, 直接把它变成了 。这是解方程 的所有解。
-
几何关系: 它与行空间正交互补 ()。
-
工程意义: 系统中无法被观测到的状态,或者被滤波器滤掉的噪声。
-
2. 输出世界的切割 ()
输出向量 (或目标向量) 也就处于两个区域之一。
-
列空间 (Column Space):
-
维数: (秩)
-
身份: “可达区域” (Reachable Set)。
-
理解: 系统 能产生的所有可能的输出。如果 在这里,方程有解。
-
-
左零空间 (Left Null Space):
-
维数:
-
身份: “不可达的禁区”。
-
理解: 这里的向量 满足 (即 ,所以叫“左”零空间)。
-
几何关系: 它与列空间正交互补 ()。
-
工程意义: “误差空间”。当我们做最小二乘法解不可解方程 时,最小误差向量 就必须死死地躺在这个左零空间里(因为它必须垂直于列空间)。
-
3. 总结:线性变换的全过程
当矩阵 作用于向量 时,实际上发生了这三步:
-
分解: 把 拆成 行空间分量 (有效) 和 零空间分量 (无效)。
-
毁灭: 零空间分量直接被消灭,变成 0。
-
映射: 行空间分量被一对一地、可逆地映射到了 列空间。
维度守恒定律 (Rank-Nullity Theorem):
输入的总维度 = 活下来的维度 () + 死掉的维度 ()。
4. 为什么叫“左”零空间?(记忆技巧)
-
Null Space: ( 在 的右边)
-
Left Null Space: ( 在 的左边)
-
这实际上就是 的零空间。
最后,感谢学科营的辅导员们,在讨论中给予的耐心指导和启发;也感谢搬运并翻译 MIT 18.06 课程视频的 B 站 up 主,让经典的课程得以被更多人看见和学习。 正是这些来自师长、同好与开源分享的帮助,让这段学习旅程更加丰满。
希望这份带着个人视角与几何偏好的梳理,能给你带来一些不一样的启发。 Enjoy the Journey of LINEAR ALGEBRA! 💐
学习资料参考:
- 致大一新生【2024新版】 - 知乎
- 麻省理工学院—线性代数课(完整版72讲)通俗易懂,绝对是线性代数课程天花板!
- 高数数分代数学科营(SJTU园区)
- 【熟肉】线性代数的本质 - 01 - 向量究竟是什么?
- Visual Kernel - YouTube
整理不易,如果发现笔误或是有更好的理解,欢迎传承! 祝学习顺利 ✨