LinearAlgebra
本文最后更新于 2024年8月31日 上午
线性代数
第1章 行列式
1.1 二阶与三阶行列式
1.1.1 二元线性方程组与二阶行列所式
线性代数是为了解决多元线性方程组而诞生的
1.1.2 三阶行列式
记住对角线法则即可
1.2 全排列和对换
1.2.1 排列及其逆序数
排列:就是每个数位上数字的排序方式
逆序数:就是一个排列 中每一个数位之前比其大的数字数量之和,即
1.2.2 对换
对换:就是排列中某两个数位之间的数字进行交换的操作
- 定理一:一个排列中两个元素对换,排列逆序数的奇偶性改变
- 推论:奇排列对换成标准排列的对换次数为奇数,偶排列对换成标准排列的对换次数为偶数
1.3 n阶行列式的定义
n阶行列式的值为 个项之和,每一项的组成方式为:每行选一个元素,每列选一个元素,这些元素之积,符号为
1.4 行列式的性质
-
性质一:行列式与它的转置行列式相等
-
性质二:对换行列式的两个行或者列,行列式变号
- 推论:若行列式有两行或两列完全相同,则行列式为零
-
性质三:行列式中若某一行(列)都乘以k,等于整个行列式的值乘以k
- 推论一:行列式的某一行(列)中的公因子可以提出到行列式之外
- 推论二:若行列式中有两行(列)成比例,则行列式的值为零
-
性质四:若行列式中某一行(列)都是两数之和,则可以拆分成两个行列式之和
-
性质五:把行列式中的某一行(列)乘以一个常数加到另一个行(列)上,行列式的值不变
技巧
- 计算技巧:在一开始对换行或者列的时候,尽可能保证左上角是数字1
- 所有的行(列)之和相等:先全部加到一行(列),再配凑上三角(下三角)
1.5 行列式按行(列)展开
余子式:
代数余子式:
关系:
1.5.1 引理
一行(列)只有一个元素不为零,则
证明:
-
对于特殊情况,即不为零的元素在左上角,则根据上述分块矩阵,可知
-
对于一般情况,即某行(列)唯一不为零的元素在任意位置,则经过 次对换后,就是上述特殊情况,可知
1.5.2 定理
某行(列)(x)有多个元素不为零,则
证明:就是将展开的那一行(列)通过加法原理进行拆分,然后利用上述引理的一般情况进行证明即可
1.5.3 推论
对于上述的定理,讨论代数余子式前面的系数数组
如果系数数组不是第x行(列)的元素,而是其他行(列),那么上述Σ之和就为0
证明很简单,就是从原行列式出发,如果两行(列)元素完全一致,那么行列式显然为0
考点:
一般就是把不同行(列)的元素乘上其他行(列)的元素,然后适当配凑即可
几种特殊的行列式(补)
分块行列式
0 在左下或右上就是左上角与右下角行列式之积(),0 在左上或右下就是左下角与右上角行列式之积加上符号判定
证明:分区域转换为上三角即可
2n 阶行列式
先行对换,再列对换,通过分块行列式和数学归纳法,可得答案为一个等比数列
范德蒙德行列式 ⭐
证明:首先从最后一行开始,依次减去前一行的 倍,凑出第一列一个元素不为零的情况,最后通过数学归纳发,即可求解。项数为
第2章 矩阵及其运算
2.1 线性方程组和矩阵
2.1.1 线性方程组
把线性方程组中的数据搬到了矩阵中而已
2.1.2 矩阵的定义
相较于行列式是一个数,矩阵就是一个数表
- n阶矩阵
- 行(列)矩阵
- 零矩阵
- 对角矩阵:
- 单位矩阵: 即主对角线全1,其余全0
- 线性变换: 叫做x到的线性变换
2.2 矩阵的运算
2.2.1 矩阵的加法
按元素一个一个加
2.2.2 数与矩阵相乘
按元素一个一个乘
2.2.3 矩阵与矩阵相乘
- 基本规则: 中 就是A的第 i 行与 B 的第 j 列元素依次相乘求和
- 没有交换律: 称为 A 左乘 B,交换成立的前提是 A 和 B 两个方阵左乘和右乘相等才可以
- 有结合律、分配率
- 单位矩阵:主对角线上元素全为1,其余全为0
- 纯量矩阵:主对角线上元素全为 ,其余全为0
- 幂运算:当A、B两个方阵可交换时,有幂运算规律(因为有结合律)
矩阵乘法算律:
2.2.4 矩阵的转置
矩阵转置算律:
证明 (4):左边的 其实应该是 的 ,对应 的第 行与 的第 列,那么反过来对于 ij 就是 B 转置的第 i 行与 A 转置的第 j 列
对称矩阵:对于一个方阵 A,如果 则称 A 为对称阵
2.2.5 方阵的行列式
行列式算律:
伴随矩阵:
2.3 逆矩阵
2.3.1 逆矩阵的定义、性质、求法
定义:
- 如果对于矩阵 A,有 ,则称 B 为 A 的逆矩阵
性质:
-
唯一性:如果矩阵 A 可逆,则 A 的逆矩阵是唯一的
-
行列式:如果矩阵A可逆,则
-
奇异矩阵: ,非奇异矩阵:
-
必要条件:若 (或 ),则 A 可逆且
求法:
- 若 ,则矩阵 A 可逆,且
逆矩阵算律:
2.3.2 逆矩阵的初步应用
(一)求逆矩阵:
(二)矩阵多项式:
定义:
计算技巧一:直接代入
计算技巧二:对角阵幂运算
计算技巧三:对角矩阵多项式转化为数的多项式计算
2.4 克拉默法则
应用:
-
求解未知数数量和方程个数相等,且系数行列式不为零的线性方程组
-
是求解一般线性方程组的一个特殊场景
结论:
如果线性方程组
的系数矩阵 A 的行列式不为零,即
则方程组有唯一解
其中 是把系数矩阵 A 中第 列的元素用方程组右端的常数项代替后所得到的 n 阶矩阵,即
证明:
第一步:方程组转化为矩阵方程
第二步:应用逆矩阵消元
第三步:应用行列式的性质计算
2.5 矩阵分块法
个人感觉就是一种向量化的更高级的思维,对于一个向量,进行全新向量的拆解,从而实现拆分计算。以下是 5 个拆分规则,重点关注第 5 点,即分块对角矩阵以及最后的按行按列分块的两个应用。
2.5.1 拆分规则
首先需要知道的是,在对矩阵进行分块计算的时候,前提有两个:一个是两个矩阵一开始的规格要相同,另一个是两个矩阵分块之后的规格也要相同。
按位加:
若
则
按位数乘:
若
则
矩阵乘法:
若
则
其中
按位转置:
若
则
对角分块矩阵:
其中 都是方阵,则称 为对角分块矩阵
2.5.2 运算性质
幂运算就是主对角线相应元素的幂运算
矩阵行列式运算性质
矩阵的逆就是主对角线的块按位取逆
按行按列分块的应用
- 的充要条件是
- 线性方程组的三种表示方式:
- 就是类似于一开始的矩阵数表的表示方式
- 将系数表示为一个矩阵,将未知数表示成一个矩阵,将常数项也表示成一个矩阵
- 同上,只是未知数保持不变,即
- 线性方程组的解的两种表示方式:
- 一一表示
- 列向量表示
2.5.3 好题举例
分块的整体运算思想 + 矩阵提取公因子
逆矩阵的按定义的求法,即配凑求出逆矩阵(常规计算法是利用了伴随矩阵的计算思想)
第3章 矩阵的初等变换与线性方程组
3.1 矩阵的初等变换
3.1.1 引入
矩阵的变换 矩阵增广矩阵的行变换 行最简形矩阵
3.1.2 矩阵的初等行变换
定义:
-
性质:
- 将行变为列,就是矩阵的初等列变换
- 初等行变换与初等列变化统称初等变换
- 三种变换都是可逆的
3.1.3 矩阵的等价关系
定义:
- 经过有限次初等行变换变成矩阵 ,就称 与 行等价,记作
- 经过有限次初等列变换变成矩阵 ,就称 与 列等价,记作
- 经过有限次初等变换变成矩阵 ,就称 与 等价,记作
性质:
- 反身性:
- 对称性:若 ,则
- 传递性:若 , ,则
3.1.3 三种形式的矩阵
行阶梯型矩阵
行最简形矩阵
标准形
3.1.4 性质1:矩阵初等变换的性质
-
对 施行一次初等行变换,相当于在 的左边乘以相应的 阶初等矩阵
-
对 施行一次初等列变换,相当于在 的右边乘以相应的 阶初等矩阵
其中:
- 表示:交换初等矩阵的第 行与第 行
- 表示:将初等矩阵的第 行乘以
- 表示:将初等矩阵的第 行加上第 行的 倍
3.1.5 性质2:可逆的充要条件
3.1.6 定理:矩阵初等变换的存在性定理
对于(1)计算 的方法:有配凑的味道 - 计算变换矩阵
3.1.7 推论:方阵可逆的等价推导
于是证明一个方阵 可逆就又多了一个策略,即将 经过有限次的初等行变换之后变成了单位阵。
对于(1)当 为可逆方阵时计算 的方法:此时计算出来的 就是 - 证明可逆 + 计算逆矩阵
3.1.8 初等变换的应用
(一)解方程
问题:已知矩阵 ,且 ,现在需要求解 矩阵
思路:首先需要证明 可逆,然后需要计算 ,那么采用本节的知识:如果 ,则 可逆,即 ,还需要求 。可以发现,此时的 ,那么答案就是 ,于是我们只需要将 同时进行 初等变换即可
答案:最终的目标就是将拼接后的矩阵转化为行最简形矩阵,左边是一个单位矩阵即可
(二)解线性方程组
问题:求解方程数量和未知数数量一致的线性方程组
思路:同上方解方程的思路 ,只不过 就是系数矩阵, 就是常数矩阵, 就是解方程
补充:解这种线性方程组的策略:
- 高中学的:消元
- 第二章第 3 目:求
- 第二章第 4 目:克拉默法则
- 上面刚学的:线性变换
3.2 矩阵的秩
定义:矩阵的非零子式的最高阶数,记作
性质:
-
转置不变性:
-
相似不变性:若 $A \sim B $,则
-
初等变换不变性:若 可逆,则
-
乘法性质:
-
加法性质:
-
压缩性:若 的秩为 ,则 一定可以转化为
3.3 线性方程组的解
求解策略:利用 矩阵的初等变换 和 矩阵的秩 求解一般的线性方程组
对于 的线性方程组:
- 无解的充要条件:
- 有唯一解的充要条件:
- 有无限多解的充要条件:
求解齐次线性方程组:
- 化简为行最简 or 行阶梯
求解非齐次线性方程组:
- 化简为行最简 or 行阶梯
第4章 向量组的线性相关性
4.1 向量组及其线性组合
4.1.1 n维向量的概念
显然的 的向量没有直观的几何形象,所谓向量组就是由同维度的列(行)向量所组成的集合。
向量组与矩阵的关系:
4.1.2 线性组合和线性表示
定义:
(一)线性组合:
(二)线性表示:
判定:转化为判定方程组有解问题,从而转化为求解矩阵的秩的问题 5
-
判定向量 能否被向量组 线性表示:
-
判定向量组 能否被向量组 线性表示:
该判定定理有以下推论:
-
判定向量组 与向量组 等价:
4.2 向量组的线性相关性
定义:
判定:
-
定理一:
证明:按照定义,只需要移项 or 同除,进行构造即可
-
定理二:
证明:按照定义,转化为齐次线性方程组解的问题
- 有非零解 无数组解(将解方程取倍数即可),
- 仅有零解 唯一解,
结论:
-
结论一:
证明:
-
结论二:
证明:
-
结论三:
证明:
-
结论四:
证明:
- 又
- 故
- 因此
4.3 向量组的秩
4.3.1 最大无关组的定义
定义一:
注意:
- 最大无关组之间等价
- 最大无关组 和原向量组 等价
定义二:
4.3.2 向量组的秩和矩阵的秩的关系
4.3.3 向量组的秩的结论
证明:全部可以使用矩阵的秩的性质进行证明
4.4 向量空间
4.4.1 向量空间的概念
可以从高中学到的平面向量以及空间向量入手进行理解,即平面向量就是一个二维向量空间,同理空间向量就是一个三维向量空间,那么次数就是拓展到 n 维向量空间,道理是一样的,只不过超过三维之后就没有直观的效果展示罢了。
4.4.2 向量空间的基与维数
同样可以从高中学到的向量入手,此处的基就是基底,维数就是有几个基底。所有的基之间都是线性无关的,这是显然的。然后整个向量空间中任意一个向量都可以被基线性表示,也就很显然了,此处有三个考点,分别为:
考点一:求解空间中的某向量 x 在基 A 下的坐标
其实就是求解向量 x 在基 A 的各个“轴”上的投影。我们定义列向量 为向量 x 在基 A 下的坐标,那么就有如下的表述:
考点二:求解过度矩阵 P
我们已知一个向量空间中的两个基分别为 A 和 B,若有矩阵 P 满足基变换公式:,我们就称 P 为从基 A 到基 B 的过渡矩阵
考点三:已知空间中的某向量 x 在基 A 下坐标为 ,以及从基 A 到基 B 的过渡矩阵为 P,求解转换基为 B 之后的坐标
4.5 线性方程组的解的结构
本目其实就是 3.3 目的一个知识补充,具体的线性方程组求解方法与 3.3 目几乎完全一致,只不过通过解的结构将解的结构进行了划分从而看似有些不同。但是殊途同归,都是一个东西。下面介绍本目与 3.3 目不同的地方:
我们从 3.3 目可以知道,无论是齐次线性方程组还是非齐次线性方程组,求解步骤都是:将系数矩阵(非齐次就是增广矩阵)进行行等价变换,然后对得到的方程组进行相对应未知变量的赋值即可。区别在于:
解释:我们将
- 齐次线性方程组记为 ,解为 ,则有
- 非齐次线性方程组记为 ,假如其中的一个特解为 ,则 ,假如此时我们又计算出了该方程组的其次线性解 ,则有 。那么显然有 ,此时 就是该非齐次线性方程组的通解
也就是说本目对 3.3 目的线性方程组的求解给出了进一步的结构上的解释,即非齐次线性方程组的解的结构是基于本身的一个特解与齐次的通解之上的,仅此而已。当然了,本目在介绍齐次线性方程组解的结构时还引入了一个新的定理:
该定理可以作为一些证明秩相等的证明题的切入点。若想要证明两个$ n$ 元矩阵 和 的秩相等,可以转化为证明两个矩阵的基础解析的维度相等,即解空间相等。证明解空间相等进一步转向证明 与 同解,证明同解就很简单了,就是类似于证明一个充要条件,即证明 以及
第5章 相似矩阵及二次型
5.1 向量的内积、长度及正交性
5.1.1 内积
即各个位置的数依次相乘。运算规律如下:
推导全部按照内积的定义来,肥肠煎蛋
5.1.2 长度
类似于模长,有以下性质:
n 维向量与 n 维向量间的夹角:
5.1.3 正交
类似于两个非零向量垂直的关系,即两向量内积为 0。
(一)正交向量组
- 定义:向量组之间的任意两两向量均正交
- 性质:正交向量组一定线性无关
(二)标准正交基
-
定义:是某空间向量的基+正交向量组+每一个向量都是单位向量
-
求解方法:施密特正交化
-
正交化:(其实就是对基础解系的一个线性组合)
-
单位化:
-
5.1.4 正交矩阵与正交变换
正交矩阵:(方阵)
- 定义:满足 的矩阵
- 定理:正交矩阵的充要条件为矩阵的行(列)向量为单位向量且两两正交
正交变换:
- 定义:对于正交矩阵 , 称为称为正交变换
- 性质:,即线段经过正交变换之后长度保持不变
5.2 方阵的特征值与特征向量
5.2.1 定义
对于一个n阶方阵 A,存在一个复数 和一组n阶非零向量 x 使得
则称 x 为特征向量, 为特征值, 为特征多项式
5.2.2 特征值的性质
性质一
n阶矩阵 A 在复数范围内含有 n 个特征值,且
性质二
若 是 A 的特征值,则 是 的特征值
5.2.3 特征向量的性质
对于同一个矩阵,不同的特征值对应的特征向量之间是线性无关的
5.3 相似矩阵
5.3.1 定义
对于两个 n 阶方阵 A, B 而言,若存在可逆矩阵 P 使得
则称 B 为 A 的相似矩阵,A 与 B 相似,也称对 A 进行相似变换,P 为相似变换矩阵
5.3.2 性质
若矩阵 A 与 B 相似,则 A 与 B 的特征多项式相同,则 A 与 B 的特征值也就相同,A 与 B 的行列式也就相同
5.3.3 矩阵多项式
一个矩阵 A 的多项式 可以通过其相似矩阵 很轻松地计算出来为 ,即对角矩阵左乘一个可逆阵,右乘可逆阵的逆矩阵即可,而对角矩阵的幂运算就是对角元素的幂运算,故而非常方便就可以计算一个矩阵的多项式。那么计算的关键在于如何找到一个矩阵的相似矩阵?下面给出判定一个矩阵是否存在相似矩阵(可对角化)的判定定理:
5.4 对称矩阵的对角化
本目讨论一个 n 阶方阵具备什么条件才能拥有 n 个线性无关的特征向量,从而可对角化。但是对于一般的方阵,情况过于复杂,此处只讨论 n 阶对称矩阵。即:一个 n 阶对角矩阵具备什么条件才能拥有 n 个线性无关的特征向量,从而可对角化。
答案是 n 阶对角矩阵一定是可对角化的。因为有一个定理是这样的:对于一个对称矩阵 A 而言,一定可以找到一个正交矩阵 P 使得 ,又由于正交矩阵一定是可逆矩阵,因此一定可以找到矩阵 A 的 n 个线性无关的特征向量,从而 A 一定可对角化。
对称矩阵的性质
- 对称矩阵的特征值均为实数
- 对称矩阵 A 的两个特征值 与 对应的两个特征向量分别为 和 ,若 ,相比于一般的矩阵 与 线性无关,此时两者关系更强,即: 与 正交
- 对称矩阵的每一个 k 重根,一定对应有 k 个线性无关的特征向量
因此本目相较于 5.3 目其实就是通过可对角化这一个概念,来告诉我们对称矩阵是一定可以求出对角矩阵的。而不用判断当前矩阵是否可对角化了。只不过在此基础之上还附加了一个小定理(也没给出证明),就是对称矩阵的相似变换矩阵一定是一个正交矩阵,那么也就复习回顾了 5.1 目中学到的正交矩阵的概念。为了求解出这个正交矩阵,我们需要在 5.3 目求解特征向量之后再加一个操作,即:对于一个 k 重根,根据上面的性质3我们知道当前的根一定有 k 个线性无关的特征向量,为了凑出最终的正交矩阵,我们需要对这 k 个线性无关的特征向量正交化。那么所有的特征值下的特征向量都正交化之后,又由性质2可知,不同的特征值下的特征向量又是正交的,于是最终的正交的相似变换矩阵也就求出来了,也就得到了对角矩阵
5.5 二次型及其标准型(部分)
本目只需要掌握到:将一个二次型转化为标准型,即可。其实就是比 5.4 目多一个将二次齐次函数的系数取出组成一个二次型的步骤。其中二次型就是一个对称矩阵。接着就是重复 5.4 目中的将对称矩阵转化为对角矩阵的过程了。
补
对称矩阵和正定性之间的关系
在最优化方法中我们需要通过目标函数海塞矩阵的正定性来判断凸性,显然的海塞矩阵是对称方阵。可以分别从特征值和行列式的角度进行判断。
特征值角度
- 一个对称矩阵 A 是正定的,当且仅当它的所有特征值
- 一个对称矩阵 A 是正半定的,当且仅当它的所有特征值
行列式角度
- 一个对称矩阵 A 是正定的,当且仅当所有主子矩阵的行列式都大于零
- 一个对称矩阵 A 是正半定的,当且仅当所有主子矩阵的行列式都大于或等于零