二次型

二次型

即最基本的将二次型式子变为矩阵形式。

配方法

矩阵乘法

由于二次型是$X^{T}AX$的形式，所以最后的左右两边都存在所有的$x_i$，所以可以依次把$x_i$缺的项进行补齐$x_n$与其他所有$x_i$乘积的和的形式。

例题：将二次型$f(x_1,x_2,x_3)=2x_1^2+2x_2^2+2x_3^2-2x_1{x}_2-2x_2{x}_3+2x_1{x}_3$化为矩阵。

解：$f(x_1,x_2,x_3)=2x_1^2+2x_2^2+2x_3^2-2x_1{x}_2-2x_2{x}_3+2x_1{x}_3=2x_1^2-2x_1{x}_2+2x_1{x}_3+2x_2^2-2x_2{x}_3+2x_3^2=2x_1^2-x_1{x}_2+x_1{x}_3+2x_2^2-x_1{x}_2-x_2{x}_3+2x_3^2+x_1{x}_3-x_2{x}_3=x_1(2x_1-x_2+x_3)+x_2(-x_1+2x_2-x_3)+x_3(x_1-x_2+2x_3)$

$=\left[x_1,x_2,x_3\right]\left[\begin{array}{c}2x_1-x_2+x_3\\ -x_1+2x_2-x_3\\ x_1-x_2+2x_3\end{array}\right]=[x_1,x_2,x_3]\left[\begin{array}{ccc}2& -1& 1\\ -1& 2& -1\\ 1& -1& 2\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$。

即$A=\left[\begin{array}{ccc}2& -1& 1\\ -1& 2& -1\\ 1& -1& 2\end{array}\right]$。

🌱 大一新生提示

一句话提示：二次型就是「每一项都是二次」的多项式（如 $x_1^2$、$x_1{x}_2$），可以打包写成 $f=X^{T}AX$，其中 $A$ 取对称矩阵。配矩阵的口诀：平方项 $x_i^2$ 的系数放在对角线 $a_{ii}$，交叉项 $x_i{x}_j$ 的系数对半分放到 $a_{ij}$ 和 $a_{ji}$。

💻 计算机专业视角

引导句：二次型 $X^{T}AX$ 是机器学习里随处可见的「能量/代价」结构：最小二乘的误差、岭回归的 ${\ell }_2$ 正则项 $\lambda \Vert w{\Vert }^2$、高斯分布指数上的马氏距离 $x^T{\Sigma }^{-1}x$、神经网络损失在极值点的二阶近似（Hessian），本质都是二次型。对称矩阵 $A$ 就是它的「DNA」。

标准形

即将二次型式子变为平方形式，再变量更换，变成矩阵形式。

初等变换法

$f(x)=X^{T}AX$，线性变换$X=CY$，$C^{T}AC=\Lambda$，又$C$可逆，$\therefore C=P_1{P}_2\cdots P_s$，$E{P}_1{P}_2\cdots P_s=C$，$\therefore (P_1{P}_2\cdots P_s{)}^{T}A{P}_1{P}_2\cdots P_3=\Lambda$，

1. 对$A,E$做同样的初等列变换。
2. 对$A$做相应的初等行变换。（交换$i,j$列就要交换$i,j$行）。一套行列变换后$\Lambda$为对称矩阵。
3. $A$化成对角矩阵时，$E$化成的就是$C$。

$\left(\begin{array}{c}A\\ E\end{array}\right)\to \left(\begin{array}{c}\Lambda \\ C\end{array}\right)$，对整个列变换，只对$A$行变换。

$\left(\begin{array}{c}A\\ E\end{array}\right)=\left(\begin{array}{ccc}1& 1& 1\\ 1& 2& 2\\ 1& 2& 1\\ 1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)=\left(\begin{array}{ccc}1& 0& 1\\ 1& 1& 2\\ 1& 1& 1\\ 1& -1& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right)=\left(\begin{array}{ccc}1& 0& 1\\ 0& 1& 1\\ 1& 1& 1\\ 1& -1& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 1\\ 1& 1& 0\\ 1& -1& -1\\ 0& 0& 0\\ 0& 0& 1\end{array}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 1\\ 0& 1& 0\\ 1& -1& -1\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 1& -1\\ 1& -1& 0\\ 0& 1& -1\\ 0& 0& 1\end{array}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& -1\\ 1& -1& 0\\ 0& 1& -1\\ 0& 0& 1\end{array}\right)$

$\therefore \Lambda =\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& -1\end{array}\right)$，$C=\left(\begin{array}{ccc}1& -1& 0\\ 0& 1& -1\\ 0& 0& 1\end{array}\right)$

可逆线性变换法

即配方法，求可逆线性变换。

1. 如果二次型有平方项，则首先从$x_1$开始往后不断配方，让最后的式子全部以平方加和的形式，从而不会有混合项。
2. 如果二次型没有平方项，则首先令$x_1=y_1+y_2$，$x_2=y_1-y_2$，$x_i=y_i$等然后带入$f(x)$强行出现平方项，然后配方，成功后再用$z_i$替换。
3. 如果总的完全平方项数小于变量个数，则令多余的$x_i$为$y_i$，系数为0。

平方项

即依次对存在$x_i$的式子进行整合配方。从$x_1$开始，后面含$x_1$的都提到一起配方，然后依次按这个方法进行配方。

例题：将$f(x_1,x_2,x_3)=x_1^2+2x_1{x}_2+2x_1{x}_3-x_2^2-2x_2{x}_3-x_3^2$化为标准形并求出作的可逆线性变换。

解：首先对$x_1$进行配方，因为有$x_1$因子的式子有$x_1^2+2x_1{x}_2+2x_1{x}_3$。

所以将$x_1,x_2,x_3$全部配在一起：$(x_1+x_2+x_3{)}^2=x_1^2+x_2^2+x_3^2+2x_1{x}_2+2x_1{x}_3+2x_2{x}_3$。

所以$f(x)=(x_1+x_2+x_3{)}^2-2x_2^2-4x_2{x}_3-2x_3^2$，然后继续配$x_2$。

因为还有$-2x_2^2-4x_2{x}_3$，所以配成$-2(x_2+x_3{)}^2$，正好全部配完了。

$\therefore f(x)=(x_1+x_2+x_3{)}^2-2(x_2+x_3{)}^2$。

令$y_1=x_1+x_2+x_3$，$y_2=x_2+x_3$，补$y_3=x_3$，$\therefore f=y_1^2-2y_2^2$。

$(y_1,y_2,y_3{)}^T=\left(\begin{array}{ccc}1& 1& 1\\ 0& 1& 1\\ 0& 0& 1\end{array}\right)(x_1,x_2,x_3{)}^T$，此时是$y=Dx$，但是我们要求的是$x=Cy$，所以$C=D^{-1}$，所以$D^{-1}$才是作出的可逆线性变换。

所以得到的线性变换为$\left(\begin{array}{ccc}1& -1& 0\\ 0& 1& -1\\ 0& 0& 1\end{array}\right)$。

这样方法还要重新求逆，比较麻烦。实际上我们要求的是$x=Cy$，即用$y$来表示$x$，从而直接将$y$来表示$x$就可以了。

首先$y_3=x_3$，所以$x_2=y_2-x_3=y_2-y_3$，$x_1=y_1-x_2-x_3=y_1-y_2+y_3-y_3=y_1-y_2$，综上$x_1=y_1-y_2$，$x_2=y_2-y_3$，$x_3=y_3$，也得到同样结果。

无平方项

例题：将二次型$f(x_1,x_2,x_3)=x_1{x}_2+x_1{x}_3-x_2{x}_3$化为规范形，并求所用的可逆线性变换。

解：因为二次型中没有平方项式子，而如果进行配方一定会出现平方，就会产生冲突，所以希望把$x$代换称有平方的式子。

令$x_1=y_1+y_2$，$x_2=y_1-y_2$，$x_3=y_3$，代入二次型中。

$f=y_1^2-y_2^2+y_1{y}_3+y_2{y}_3-y_1{y}_3-+y_2{y}_3=y_1^2-y_2^2+2y_2{y}_3=y_1^2-y_2^2+2y_2{y}_3$。

此时由没有平方项就变成了有平方项，所以就能进行配方。

$=y_1^2-(y_2-y_3{)}^2+y_3^2$，继续之前的步骤，进行换元：

令$z_1=y_1$，$z_2=y_2-y_3$，$z_3=y_3$，$f=z_1^2-z_2^2+z_3^2$得到标准形。

对于$x$与$y$：$(x_1,x_2,x_3{)}^T=\left(\begin{array}{ccc}1& 1& 0\\ 1& -1& 0\\ 0& 0& 1\end{array}\right)(y_1,y_2,y_3{)}^T$。$y$作为过渡变量。

将$y$转换为$z$：$(z_1,z_2,z_3{)}^T=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& -1\\ 0& 0& 1\end{array}\right)(y_1,y_2,y_3{)}^T$，我们需要$x=Cz$。

$(x_1,x_2,x_3{)}^T=\left(\begin{array}{ccc}1& 1& 0\\ 1& -1& 0\\ 0& 0& 1\end{array}\right){\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& -1\\ 0& 0& 1\end{array}\right)}^{-1}(z_1,z_2,z_3{)}^T$，从而得到$C=\left(\begin{array}{ccc}1& 1& 1\\ 1& -1& -1\\ 0& 0& 1\end{array}\right)$。

正交变换法

即求正交变换。

例题：将二次型$f(x_1,x_2,x_3)=2x_1^2+5x_2^2+5x_3^2+4x_1{x}_2-4x_1{x}_3-8x_2{x}_3$使用正交变换法化为标准形，并求所作的正交变换。

已知将二次型通过矩阵表示：$=(x_1,x_2,x_3)\left(\begin{array}{ccc}2& 2& -2\\ 2& 5& -4\\ -2& -4& 5\end{array}\right)(x_1,x_2,x_3{)}^T$。

这个矩阵跟第五章相似的实对称矩阵相似对角化的例题的矩阵一样。

所以直接结果：${\lambda }_1={\lambda }_2=1$，${\lambda }_3=10$，${\eta }_1^{\prime }=\frac{\sqrt{5}}{5}(-2,1,0{)}^T$，${\eta }_2^{\prime }=\frac{\sqrt{5}}{15}(2,4,5{)}^T$，${\eta }_3^{\prime }=\frac{1}{3}(1,2,-2{)}^T$。

第五步：$f(x)=g(y)=y^T\Lambda y=(y_1,y_2,y_3)\left(\begin{array}{ccc}1& & \\ & 1& \\ & & 10\end{array}\right)(y_1,y_2,y_3{)}^T=y_1^2+y_2^2+10y_3^2$

🌱 大一新生提示

一句话提示：「化标准形」就是想办法消掉所有交叉项 $x_i{x}_j$，只留下平方项。三条路：配方法（凑完全平方）、初等变换法、正交变换法。其中正交变换 $X=QY$ 最特殊：$Q$ 是正交矩阵，标准形的系数恰好就是 $A$ 的特征值，且不改变图形的形状大小（保长保角）。

💻 计算机专业视角

引导句：正交变换化标准形 = 主轴变换，正是 PCA 的几何内核：把协方差矩阵对角化，新坐标轴（主成分）指向数据方差最大的正交方向，对应特征值就是各方向上的方差。配方法/初等变换则对应数值线代里的 $LD{L}^T$ 分解——同样把二次型化简成无交叉项的对角形式。

规范形

由于只有少部分二次型能转换为规范形，所以基本上都是选择题考察。

而且因为规范形的系数必然是0或1或-1，所以不需要求，直接使用惯性定理即可求出。

惯性定理

多用于规范形的判断。

例题：二次型$f(x_1,x_2,x_3)=x_1^2+4x_2^2+4x_3^2-4x_1{x}_2+4x_1{x}_3-8x_2{x}_3$的规范形为()。

$A.f=z_1^{2}B.f=z_1^2-z_2^{2}C.f=z_1^2+z_2^2+z_3^{2}D.f=z_1^2+z_2^2-z_3^2$

解：

已知$f$的二次型矩阵表示$A=\left[\begin{array}{ccc}1& -1& 2\\ -2& 4& -4\\ 2& -4& 4\end{array}\right]$，根据特征方程$|\lambda E-A|={\lambda }^2(\lambda -9)=0$，${\lambda }_1=9$，${\lambda }_2={\lambda }_3=0$，所以根据特征值符号，正惯性系数$p=1$，负惯性系数$q=0$，所以选择$A$。

🌱 大一新生提示

一句话提示：规范形比标准形更「干净」，系数只能是 $1$、$-1$、$0$。惯性定理说：不管你用哪种可逆变换去化简，正系数个数 $p$（正惯性指数）、负系数个数 $q$ 都不会变。所以数一数特征值里有几个正、几个负、几个零，规范形就定了，根本不用真去配方。

💻 计算机专业视角

引导句：$(p,q)$ 这对不变量就是矩阵的符号差（signature），由 Sylvester 惯性定律保证。它在优化里至关重要：Hessian 全正（$p=n$）是极小点、全负是极大点、有正有负则是鞍点。深度学习高维损失面上绝大多数临界点都是鞍点，判据正是 Hessian 的惯性指数。

合同

合同判断

合同基于二次型，所以只有对称矩阵才能讨论是否合同。

二次型的合同只有两种判断方式：

1. 秩相同，正（负）惯性系数相同。
2. 正负惯性系数都相同。

例题：设$A=\left[\begin{array}{ccc}1& 2& 0\\ 2& 1& 0\\ 0& 0& 1\end{array}\right]$，与$A$合同的是()。

$A.\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$ $B.\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& -1\end{array}\right]$ $C.\left[\begin{array}{ccc}1& 0& 0\\ 0& -1& 0\\ 0& 0& -1\end{array}\right]$ $D.\left[\begin{array}{ccc}-1& 0& 0\\ 0& -1& 0\\ 0& 0& -1\end{array}\right]$

解：从四个选项，由于是常量矩阵，所以由对角线元素的正负号可以得出这四个的惯性系数分别为$(3,0)$、$(2,1)$、$(1,2)$、$(0,3)$（前面为正惯性系数，后面为负惯性系数）。

且每个选项的秩都是3。

配方法

即将二次型配方为标准型，然后求该矩阵的秩和惯性系数。

解：经过配方$f=(x_1+2x_2{)}^2-3x_2^2+x_3^2$，由于有三个平方项，所以矩阵秩为3，正惯性系数为2，与$B$相同。

特征值法

即根据特征方程进行正交变换得到正负惯性系数。

解：求$A$的特征值，得到${\lambda }_1=1$、${\lambda }_2=3$、${\lambda }_3=-1$，所以正交变换后标准形为$y_1^2+3y_2^2-y_3^2$，惯性系数与$B$相同。

可逆矩阵

已知$A\simeq \Lambda$，则$C^{T}AC=\Lambda$。即$f=x^{T}Ax=y^T\Lambda y$，得到$x=Cy$。

例题：已知$A=\left[\begin{array}{ccc}1& 0& 0\\ 0& -4& 0\\ 0& 0& \frac{1}{9}\end{array}\right]$合同于$\Lambda =\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& -1\end{array}\right]$，求$C^{T}AC=\Lambda$中的$C$。

解：已知$A$，则可得二次型$f=x^{T}Ax=[x_1,x_2,x_3]A[x_1,x_2,x_3{]}^T=x_1^2-4x_2^2+\frac{1}{9}{x}_3^2$，规范化让这个二次型与$\Lambda$转换的二次型相等，由于正负惯性系数相同，平方必然是正数，所以符号对齐，令$x_1^2=y_1^2$、$4x_2^2=y_3^2$、$\frac{1}{9}{x}_3^2=y_2^2$。

解得$x_1=y_1$，$x_2=\frac{1}{2}{y}_3$，$x_3=3y_2$，即$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{ccc}1& & \\ & & \frac{1}{2}\\ & 3& \end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\\ y_3\end{array}\right]$。

所以$x=Cy$，解得$C=\left[\begin{array}{ccc}1& & \\ & & \frac{1}{2}\\ & 3& \end{array}\right]$，此时$f=x^{T}Ax=y^T{C}^{T}ACy=y^T\Lambda y$。

正定二次型

具体型

1. 顺序主子式全部大于0。
2. 特征值全部大于0。
3. 配方化为全平方和的标准型，正惯性指数$p=n$（未知数个数）。
4. 矩阵乘法配方为完全平方和，内积$D^{T}D$不等于0。

🌱 大一新生提示

一句话提示：正定二次型就是「除原点外永远 $>0$」的二次型（$X\ne 0\Rightarrow X^{T}AX>0$）。三把判定钥匙任选其一：① 各阶顺序主子式全 $>0$；② 特征值全 $>0$；③ 正惯性指数 $p=n$（化成标准形后全是正系数）。

💻 计算机专业视角

引导句：正定矩阵是工程世界的「好矩阵」：协方差矩阵正定才合法，凸优化里目标函数 Hessian 正定才保证唯一全局极小，正定才能做又快又稳的 Cholesky 分解 $A=L{L}^T$（解线性方程组、采样多元高斯的标准手段）。半正定（$⩾0$）则对应核矩阵、Gram 矩阵的合法性条件。

抽象型

二次型最值

若$A$的特征值大小排序${\lambda }_1⩽{\lambda }_2⩽\cdots ⩽{\lambda }_n$，则：

• ${\lambda }_1{x}^{T}x⩽x^{T}Ax⩽{\lambda }_n{x}^{T}x$。
• 若$x^{T}x=1$，则$f_{\min }={\lambda }_1$，$f_{\max }={\lambda }_n$。

🌱 大一新生提示

一句话提示：在单位球面 $x^{T}x=1$ 上看二次型 $x^{T}Ax$，它的值被夹在最小特征值 ${\lambda }_1$ 和最大特征值 ${\lambda }_n$ 之间：最小值就是 ${\lambda }_1$（取对应特征向量时达到），最大值就是 ${\lambda }_n$。所以这类「约束下求最值」题，算出特征值就直接出答案。

💻 计算机专业视角

引导句：$\frac{x^{T}Ax}{x^{T}x}$ 叫瑞利商（Rayleigh quotient），它的极值就是特征值——这正是 PCA「找方差最大方向」的优化形式，也是谱范数 $\Vert A{\Vert }_2$、谱聚类、PageRank 幂迭代收敛性的理论根基。把约束放进去用拉格朗日乘子法，最优性条件 $Ax=\lambda x$ 正好又回到了特征值问题。