相似
特征值与特征向量
定义
设是阶矩阵,是一个数,若存在维非零列向量,使得,则是的特征值,是的对应于特征值的特征向量。
特征值/特征向量是 PCA、谱聚类、PageRank 等算法的引擎。 的含义是:在 这个方向上,矩阵 的作用退化成单纯的「拉伸 倍」,没有旋转。主成分分析(PCA)就是求协方差矩阵的特征向量,取最大特征值对应的方向作为数据方差最大的主轴;Google 的 PageRank 把网页排名建模成转移矩阵最大特征值(=1)对应的特征向量;图的谱聚类用拉普拉斯矩阵的小特征值。工程上很少手算特征方程,而是用 QR 迭代、幂迭代(power iteration)等数值方法逼近。
「特征」= 被矩阵作用后方向不变、只缩放的特殊向量。大多数向量经过矩阵 变换后会改变方向,但特征向量是「钉死方向」的那些, 只把它拉长/压短 倍( 则反向)。注意两点:特征向量必须非零(,否则任何 都成立没意义);同一个 的特征向量乘任意非零常数还是特征向量,所以答案通常带一个任意系数 。
性质
特征值性质
设,()是的特征值,则:
- 。主对角线元素和即矩阵的迹。
- 。
- 。
- 。
- 。
特征向量性质
- 重特征值至多只有个线性无关的特征向量。一共有个特征向量。
- 若和是的属于不同特征值和的特征向量,则和线性无关。
- 若和是的属于同特征值的特征向量,则(不同时为0)仍是的属于特征值的特征向量。
- 若可逆,则、、的特征向量相同。
证明性质二:利用定义法,首先,。
要证明两个特征向量线性无关,则证明时。
。又,
两式相减:,且,,。
代入,即,又,。
特征值与特征向量
- 若特征值不相等,则特征向量线性无关。
- 若特征值相等,则特征向量可能线性相关也可能线性无关。
性质一是因为特征向量的性质而来。从几何来理解,特征向量表示的是矩阵变换中只有伸缩变换没有旋转变换的方向向量,特征值是这个方向的伸缩系数,一个方向当然只有一个伸缩系数。
运算性质
,,又,有非零解。
从而所表示的方阵线性相关,为降秩,从而。
其中的值就是特征向量中自由变量的个数。
也称为特征方程或是特征多项式,解出的就是特征值。
将代回原方程求解。即有非零解,齐次方程只有唯一零解和无穷非零解两种结果,所以这里求出来的就是无穷非零解,所以只用求出解的基础解系即可。
根据极大线性无关组解出通解就是,非线性无关组的变量设为自由变量(不能被约束的)用来表示其他变量。
如果没有行阶梯型,则对于一列全是0的变量就是自由变量。
「特征方程 」在数值计算里基本不直接求根。对 ,多项式没有求根公式,且直接展开特征多项式数值上极不稳定(系数对扰动敏感)。真实的数值库(LAPACK 等)求特征值用的是 QR 算法:反复做 QR 分解迭代让矩阵收敛到(拟)上三角,对角线即特征值。理解「 = 该特征值的几何重数 = 线性无关特征向量个数」很关键,它决定了能否对角化。
求特征值就是解一个关于 的方程。从定义 移项得 ,因为 (有非零解),所以系数行列式必须为零,即 。解这个方程得到各 ;再把每个 代回 解齐次方程组,求出的基础解系就是特征向量。多重根要全部写出,别漏。
运算
具体型
定理:若矩阵为对角线矩阵,则特征值为对角线上元素。
定理:若阶矩阵行或列对应成比例,即,则,。
注意:特征向量因为要求不为0,所以需要。
注意:得到多重特征值时要全部写出,。
例题:求的特征值与特征向量。
。
,,。
当计算时往往难点就是从多项式中解出,对于,可以使用试根法:
- 若,就是其根。
- 若,就是其根。
- 若,就是其根。
- 若,且系数都是整数,则有理根是整数,且均为的因子。
对于第四个,如,2的因子为和,分别代入得到一根为2。
抽象型
- 利用定义,寻找,,是的特征值,是属于的特征向量。
- 根据计算出对应的值,再计算的值。
| 矩阵 | ||||||||
|---|---|---|---|---|---|---|---|---|
| 特征值 | ||||||||
| 特征向量 | 无关 |
例题:设为阶矩阵,且(此时就是幂等矩阵)。
(1)求的特征值可能的取值。
(2)证明是可逆矩阵。
(1)解:,,,,。
值得注意的是这里求的是可能的取值,因为不同的矩阵特征值不同,只有通过的值才是真实的特征值。
相似理论
特征值和特征向量应用于矩阵的相似。
矩阵相似
定义
定义:设是两个阶方阵,若存在阶可逆矩阵,使得,则称相似于,记为。
其实就是对矩阵进行初等变换。
相似 = 同一个线性变换在不同基(坐标系)下的两个矩阵。 里的 是基变换矩阵, 和 描述的是同一个变换,只是「看的角度」不同。所以相似矩阵共享一切与坐标无关的内在量:特征值、行列式、迹、秩、特征多项式都相同(但反过来这些都相同不一定相似)。在计算机图形学、机器人学里,换参考系做坐标变换、把矩阵化到便于计算的形式(如对角形)本质都是相似变换。
相似的判定别只看表面,要抓「不变量」。两个矩阵相似,则迹(对角线之和)、行列式、秩、特征值都必须对应相等——这是快速排除「不相似」的常用手段:只要有一个不等就肯定不相似。但要记住这些只是必要条件,全相等也未必相似。最特殊也最有用的相似目标就是对角矩阵 ,因为它最好算。
性质
相似的性质:
- 反身性:。
- 对称性:若,则。
- 传递性:若,,则。
相似与其他部分的关系。
- 若,,,,,具有相同的特征值。但是反之不能推出。
- 若,,。
- 若,,。
- 若,且可逆,则,。
- 若,,。
可逆矩阵相似对角化
定义
定义:设阶矩阵,若存在阶可逆矩阵,使得,其中为对角矩阵(纯量阵,即对角线元素不全为0,其他元素全为0),则称可相似对角化,记为,称是的相似标准形。
为什么要选择?,因为对角矩阵计算非常简单,只需要对对角线元素进行运算就可以了。
对角化 让「矩阵的幂/函数」瞬间可算。,而 只是把对角元各自 次方——这正是马尔可夫链算稳态、线性递推(如斐波那契)求通项、求解线性微分方程组 (解为 )的核心技巧。机器学习里反复出现的矩阵幂、矩阵指数、谱范数都依赖它。不能对角化时则退而用 Jordan 标准形或更稳的 SVD。
相似对角化 = 找一组「好基」让矩阵变成对角阵。能不能对角化的判据: 阶矩阵要有 个线性无关的特征向量,等价于「每个 重特征值都恰好有 个线性无关特征向量」。充分条件好记: 个互不相同的特征值,或 是实对称矩阵,必能对角化。步骤就是求出全部特征值与特征向量,把特征向量拼成 ,则 。
对角化条件
,,将拆解为列向量组合:
,,。
由于可逆,从而线性无关,,为特征向量,是特征值。
的充要条件是:①有个线性无关的特征向量;②对应每个重特征值都有个线性无关的特征向量。
的充分条件是:①阶矩阵有个不同的特征值;②为实对称方阵。(可相似对角化不能反推这两个结论)
例题:判断是否可以相似对角化。
解:因为,对应行成比例,所以,。
有两个不同的特征值,无法判断有多少个不同的特征向量,将特征值代回到。首先代入0:
,,,,所以有两个基础解系向量。
所以一共有三个线性无关的特征向量,从而可以相似对角化。
步骤
- 求出的所有特征值。
- 求出的所有的特征向量。
- 令,则。(线性无关,,可逆)
例题:设,求可逆矩阵,使得。
解:,。
,。
当时,,,,。同理代入,,。
令,使得。
实对称矩阵相似对角化
由相似对角化的充分条件可知,实对称矩阵必然可以相似对角化。
正交
定义:若,,则内积。
所以内积是一个数值。
单位化是保持向量方向不变,将其长度化为1。
正交化是指将线性无关向量系转化为正交系的过程。
施密特正交化
将一个线性无关向量组变为一个标准正交向量组。
对于线性无关向量组,令,,,,。其中代表的内积。
最后单位化:。
施密特正交化就是 QR 分解的数学原型。把矩阵 的列做 Gram-Schmidt 得到标准正交基,正好给出 ( 列正交、 上三角)。QR 分解是最小二乘、求特征值(QR 迭代)的基础工具。不过经典 Gram-Schmidt 数值上不稳定(正交性会因舍入误差丢失),实践中用「改进版 MGS」或 Householder 变换来做,这是数值线性代数的经典话题。
正交化把「线性无关但歪斜」的向量组掰成互相垂直的。核心操作是「减投影」:,即从 里扣掉它在 方向上的分量,剩下的就垂直于 。逐个这样减掉前面所有已得方向上的投影,最后再除以自身长度(单位化)即可。内积 算出来是一个数,别和向量搞混。
定义
定义:则就是对称矩阵,若的元素都是实数,则是实对称矩阵。
- 是实对称矩阵,则的特征值是实数,特征向量是实向量。
- 是实对称矩阵,则其属于不同特征值的特征向量相互正交(线性无关)。
- 是实对称矩阵,必然相似于对角矩阵,必与个线性无关的特征向量,即必有可逆矩阵使得,且存在正交矩阵,使得,所以与正交相似。(正交:)
实对称矩阵必可正交对角化,这就是「谱定理」(spectral theorem)。它保证 ,特征值全为实数、不同特征值的特征向量自动正交。机器学习里的协方差矩阵、核矩阵、图拉普拉斯矩阵都是实对称(半正定)的,PCA 之所以能拿到一组正交主成分方向,根子就在这里。它也是 SVD 的特例基础(、 实对称)。数值上对称矩阵有专门更快更稳的特征分解算法(如对称 QR、分治法)。
实对称矩阵( 且元素为实数)有三条「免费福利」。一是特征值一定是实数(不会冒出虚数);二是属于不同特征值的特征向量天生互相正交;三是一定能对角化。所以求正交矩阵 的流程多一步:同一重特征值内的特征向量要先做施密特正交化,再把所有特征向量单位化,最后拼成 ,此时 ,计算更省事。
证明性质二:已知实对称矩阵。
令,,。对于第一个式子左乘:
,,,代入:
,,,。
即,从而与正交。
步骤
对于实对称矩阵,一定存在,所以一般而言还会考求正交单位化的,步骤如下:
- 求出的所有特征值。
- 求出的所有的特征向量。
- 将正交化、单位化为。
- 令,则。
例题:设,求正交矩阵,使得。
解:这个题基本上跟上面的例题一致,只是将可逆矩阵改成了正交矩阵。
所以得到三个特征向量:,,。
实对称矩阵不同特征值的特征向量必然相互正交,从而,。
而与特征值相同从而不一定正交,,所以并不正交。
令,。
,取,,。
单位化,,。
令,使得。