向量(习题)
线性相关性
引导句:「线性相关 / 无关」就是问:一堆向量里有没有冗余。把向量拼成矩阵,秩 小于向量个数就相关(有人能被别人线性表出),等于个数就无关。这正是机器学习里的特征共线性(multicollinearity)——若特征矩阵的列线性相关,回归的法方程 奇异、参数解不唯一,这也是要做 PCA / 正则化的根本原因。数值上判断「是否相关」从不用行列式是否为 0(病态),而用 SVD 看有几个奇异值显著大于 0,即数值秩。
一句话提示:判断向量组线性相关 / 无关,核心就一招:把它们拼成矩阵做初等行变换,数非零行的个数(秩)。秩 = 向量个数 → 无关;秩 < 个数 → 相关。方阵且个数等于维数时可以用行列式偷懒( 无关、 相关),但个数和维数不等时只能老老实实求秩。证明题则常用「定义法」:设 ,证明只能全取 0。
使用行列式不等于的方法最方便,但是有时候行列不同就不能这么做了。
初等运算
多用于选择题,给出维线性无关向量,判断向量组是否线性无关。如果向量组初等运算为0就代表线性相关。
例题:已知维向量,,线性无关,则判断线性相关性:,,。
解:与,共同出现了,首先要消掉,所以相减得到,然后发现跟后面的一样,所以直接一减得到0,表示线性相关。
定义法
基本是证明题,若证明、线性无关,则令,判断的值,如果只有零解则代表矩阵为满秩,从而线性无关。
代入重组
若要求线性相关的式子由其他向量构成,则将式子代入表示目标式子。
例题:设,,,,都是维向量,,且,,,证明向量组,,线性相关。
证明:若存在使得。
代入表示的式子:。
。
,且即可。
而未知数的个数大于方程个数,所以有无穷多解,从而必然有非零解,从而,,线性相关。
同乘
若要求线性相关的式子存在一定的乘积关系,则可以用同乘一步步消去系数。
例题:设是阶矩阵,若存在正整数,使得线性方程组有解向量,且,证明向量组线性无关。
证明:假设线性相关,则设存在系数使得。
的解为,,。
左乘,得到。
,,消去:。
左乘,得到。
,,消去:。
同理依次左乘,所以,所以线性无关。
行列式
对向量的线性相关性可以从其向量组组成的行列式来计算,若行列式值为0则线性相关,若行列式值不为0则线性无关。
注意这里容易失根。要仔细找出所有为0的因式,不要随便降低阶数。
例题:设是个互不相同的数,探究个维列向量()的线性相关性。
解:当时,有个方程个未知数,所以必然存在自由变量,从而必然线性相关性。
当时,。所以线性无关。
当时,对方程矩阵切割保留方形的个,上面因为范德蒙德行列式已经不等于0,即上面的方阵线性无关,原来无关延长无关,所以整个方程都线性无关。
综上当时线性相关,时线性无关。
矩阵秩
当向量的个数与维数不同时就不能使用行列式去分析,而只能用矩阵的秩来分析。当矩阵满秩则线性无关,当矩阵降秩则线性相关。
当谈到多个向量是否线性相关时可以将向量组组成矩阵,判断其秩。满秩就是线性无关,降秩就是线性相关。
当谈到一个向量是否能被其他向量线性表出时,要将这些向量全部组成一起,判断能否被其他向量表出的向量放在最右边,然后判断增广矩阵的秩。
- 若,则无法被线性表出。
- 若,则可以被无穷线性表出。表达式为基础解系。
- 若,则可以被惟一线性表出。表达式为将矩阵化为单位矩阵后所在就是的系数。
例题:已知,,,,若可以由、,线性表示,且表示法不唯一,求。
解:设,由可以由、,线性表示,且表示法不唯一可知有无穷解,即。
。
。
线性表出
极大线性无关组
引导句:极大线性无关组就是向量组里挑出的一组「基」——用最少的向量张成同一个空间,个数恰好是秩 。这等价于数据降维 / 特征选择:从一堆相关特征里选出一组互不冗余的代表,其余的都能用它们线性组合还原。最简行阶梯形里「主元列」对应的原始列向量就是一个极大无关组,这正是 QR 分解里列主元(column-pivoting)选基的思想。
一句话提示:求极大线性无关组三步走:①拼成矩阵做行变换化最简阶梯形,看秩 ;②每个台阶(主元)所在的那一列,对应回原向量就是一个极大无关组;③其余向量用这组基去表示。切记:这一步只能做行变换,不能做列变换——列变换会改变方程的解,导致表示关系错乱。
极大线性无关组一般与向量组秩在一起使用。一般解出极大线性无关组与秩,还要用极大线性无关组表示出其余的向量,基本步骤:
- 将向量组拼接为矩阵,对进行初等行变换,化为最简行阶梯形矩阵,确定矩阵秩。
- 在最简行阶梯矩阵中按列找出一个秩为的子矩阵,即在每个台阶上找一列列向量,找列构成一个新矩阵,其就是一个极大线性无关组。
- 将其余向量依次与极大线性无关组进行对比解出表示方法。
注意:求向量组的秩可以进行初等变换,包括行变换和列变换。但是求极大线性无关组时最好只使用行变换,因为列变换会改变方程的解。从而解方程组只能做行变换。
向量组线性标出
若对于多个向量组成的向量组是否能线性表出向量组(而不是单个向量),把和合并,则若合并后的向量组的秩大于的,那么向量组不能线性表示向量组。
解决方法跟单个向量表出一样,将和合并为增广矩阵,然后进出行变换。
也给出这样的结论,若自身线性相关,则无法线性表出其他矩阵。
例题:设向量组、、不能由向量组、、线性表示,求。
解:已知题目,则线性相关。
对其行变换,解得。
向量线性表示
即要求关于的线性表出表达式。
基本方法是设,然后每行代入求出,不过也可以使用矩阵变换法。
可以同时求多个的表示方式,设为长度为的列向量,一共有个,组成,设为长度为的列向量,一共有个,组成。
通过线性变换得到,则。
例题:用、、表示。
解:组成矩阵,所以。
等价向量组
,所以需要计算三个向量组构成的矩阵的秩就可以了。
例题:设向量组:,,,向量组:,,。
矩阵,。
(1)是否等价。
(2)向量组是否等价。
(1)解:化简,
若,则,且,则,此时等价。
若,则,,不等价。
若,则,,不等价。
(2)解:因为向量组拼接在一起就是,拼接在一起就是,所以,,。
将拼在一起做行变换,得到。
若,则。向量组等价。
若或,则,所以不等价。
向量空间
引导句:同一个向量在不同基下有不同坐标,过渡矩阵就是两套坐标之间的「翻译器」——这是图形学和 PCA 的日常操作:旋转相机、世界坐标↔相机坐标的切换,本质都是乘一个过渡(变换)矩阵;PCA 把数据从原始坐标变到「主成分基」下,用的也是这套基变换。记住 这条坐标变换公式,配合「基变换 」,就能在任意两套基之间自由换算。
一句话提示:分清两件事:「基」是一组打底的向量,「坐标」是某个向量用这组基表示时的系数。同一个向量换一组基,坐标就变了。两组基 、 之间用过渡矩阵 联系:基满足 ,而坐标满足 (注意基和坐标的变换方向相反)。考试遇到「求过渡矩阵」就是解 ,即 。
基坐标
对于任意向量,、为基,、为向量基、下的坐标。
过渡矩阵
对于两个基、,的为到的过渡矩阵,该式子为基变换公式。
所以得到,这个公式为坐标变换公式。