随机变量数字特征

一维随机变量数字特征

数学期望

概念

设$X$是随机变量，$Y$是$X$的函数，$Y=g(X)$。

定义：若$X$是离散型随机变量，其分布列为$p_i=P\{X=x_i\}$（$i=1,2,\cdots$），若级数$\sum _{i=1}^{\infty }{x}_i{p}_i$绝对收敛，则称随机变量$X$的数学期望存在，并将级数和$\sum _{i=1}^{\infty }{x}_i{p}_i$称为随机变量$X$的数学期望，记为$E(X)$或$EX$，即$EX=\sum _{i=1}^{\infty }{x}_i{p}_i$，否则$X$数学期望不存在。（数学期望实际上是一种加权的合理平均值）

若级数$\sum _{i=1}^{\infty }g(x_i)p_i$也绝对收敛，则称$Y=g(X)$的数学期望$E[g(X)]$存在，且$E[g(X)]=\sum _{i=1}^{\infty }g(x_i)p_i$，否则$g(X)$的数学期望不存在。

定义：若$X$是连续型随机变量，其概率密度为$f(x)$。若积分${\int }_{-\infty }^{+\infty }xf(x)\text{d}x$绝对收敛，则称$X$的数学期望存在，且$EX={\int }_{-\infty }^{+\infty }xf(x)\text{d}x$，否则$X$的数学期望不存在。

若积分${\int }_{-\infty }^{+\infty }g(x)f(x)\text{d}x$绝对收敛，则称$g(X)$的数学期望存在，$E[g(X)]={\int }_{-\infty }^{+\infty }g(x)f(x)\text{d}x$，否则$g(X)$的数学期望不存在。

性质

• 对任意常数$a_i$和随机变量$X_i$（$i=1,2,\cdots ,n$）有$E\left(\sum _{i=1}^n{a}_i{X}_i\right)=\sum _{i=1}^n{a}_{i}E{X}_i$，其中$Ec=c$，$E(aX+c)=aEX+c$，$E(X\pm Y)=EX\pm EY$。
• 若$XY$相互独立，则$E(XY)=EX\cdot EY$，$E[g_1(X),g_2(Y)]=E[g_1(X)]\cdot E[g_2(Y)]$，一般若$X_1,X_2,\cdots ,X_n$相互独立，则$E\left(\prod _{i=1}^n{X}_i\right)=\prod _{i=1}^{n}E{X}_i$，$E\left[\prod _{i=1}^n{g}_i(X_i)\right]=\prod _{i=1}^{n}E[g_i(X_i)]$。

💻 计算机专业视角

数学期望 = 「按概率加权的平均」，正是机器学习里「期望损失（expected loss）」的那个期望。 训练目标 ${\min }_{\theta }\mathbb{E}[L(\theta )]$、策略梯度里的回报期望、蒙特卡洛估计「采样求平均逼近期望」全靠它。期望的线性性 $E(\sum a_i{X}_i)=\sum a_{i}E{X}_i$ 不要求独立，是推导中最常用的性质；而 $E(XY)=EX\cdot EY$ 只在独立时成立。注意「绝对收敛」这个前提——像柯西分布期望不存在，对应实践中「均值不稳定、采样越多越发散」的重尾数据。

🌱 大一新生提示

一句话：期望就是「长期平均下来会是多少」。 把每个可能取值乘上它的概率再全加起来，就是期望 $EX$。掷骰子的期望是 $1\cdot \frac{1}{6}+\cdots +6\cdot \frac{1}{6}=3.5$——它不一定是某次的实际结果，而是大量重复后的平均值。最好用的规律是「线性」：$E(aX+bY)=aEX+bEY$，无论 $X,Y$ 是否独立都成立。

方差标准差

概念

定义：设$X$是随机变量，若$E[(X-EX{)}^2]$存在，则称$E[(X-EX{)}^2]$为$X$的方差，记为$D(X)$或$DX$，即$DX=E[(X-EX{)}^2]=E(X^2)-(EX{)}^2=E{X}^2-E^{2}X$。称$\sqrt{DX}$为$X$的标准差或均方差，记为$\sigma (X)$，称随机变量$X^{\ast }=\frac{X-EX}{\sqrt{DX}}$为$X$的标准化随机变量，此时$E{X}^{\ast }=0$，$D{X}^{\ast }=1$。

当$X$为离散型随机变量时$D(X)=\sum _{i=1}^{\infty }[x_i-E(X){]}^2{p}_i$，当$X$为连续型随机变量时$D(X)={\int }_{-\infty }^{+\infty }[x-E(X){]}^{2}f(x)\text{d}x$。

💻 计算机专业视角

方差 = 数据「波动有多大」，是机器学习里方差-偏差权衡、$L_2$ 正则、标准化的核心量。 模型方差大 = 过拟合（对训练集抖动太敏感），偏差大 = 欠拟合。$DX=E(X^2)-(EX{)}^2$ 这条公式是工程上「一遍扫描算方差」的依据（同时累加 $\sum x$ 和 $\sum x^2$），但数值上易因相减抵消丢精度，故 NumPy 等用 Welford 在线算法。标准化随机变量 $X^{\ast }=\frac{X-EX}{\sqrt{DX}}$ 把数据拉成均值 0、方差 1，正是特征标准化 / BatchNorm 的数学原型。独立时方差才可加：$D(\sum X_i)=\sum D{X}_i$。

🌱 大一新生提示

一句话：方差衡量「数据偏离平均值的平均程度」，越大越分散。 定义是「与期望之差的平方」的期望 $E[(X-EX{)}^2]$；开根号得到标准差 $\sigma$，单位和原数据一致，更直观。常数没有波动所以 $Dc=0$；$D(aX+b)=a^{2}DX$——平移 $b$ 不改变波动，缩放 $a$ 会把波动放大 $a^2$ 倍（注意是平方）。

性质

• $DX⩾0$，$E(X^2)=DX+(EX{)}^2⩾(EX{)}^2$。
• $Dc=0$。
• $D(aX+b)=a^{2}DX$。
• $D(X\pm Y)=DX+DY\pm 2Cov(X,Y)=DX+DY\pm 2E[(X-EX)(Y-EY)]$。
• 若$XY$相互独立，则$D(aX\pm bY)=a^{2}DX+b^{2}DY$，一般若$X_1,X_2,\cdots ,X_n$相互独立，$g_i(x)$为关于$x$的连续函数，则$D\left(\sum _{i=1}^n{a}_i{X}_i\right)=\sum _{i=1}^n{a}_i^{2}D{X}_i$，$D\left[\sum _{i=1}^n{g}_i(X_i)\right]=\sum _{i=1}^{n}D[g_i(X_i)]$。

切比雪夫不等式

定义：若随机变量$X$的方差$DX$存在，则对任意$ϵ>0$，有$P\{|X-EX|⩾ϵ\}⩽\frac{DX}{{ϵ}^2}$或$P\{|X-EX|<ϵ\}⩾1-\frac{DX}{{ϵ}^2}$。

$P\{|X-EX|⩾ϵ\}$即代表变量与期望的差距大于某个值的概率，$DX$就是方差，$DX$越小证明波动越小，波动在$ϵ$外的概率就越小，反之同理，而$ϵ$越小，则$\frac{DX}{{ϵ}^2}$越大，则代表$X$靠近期望$EX$的概率越大，反之同理。

💻 计算机专业视角

切比雪夫不等式 = 算法分析里的「集中不等式（concentration bound）」的入门款。 它给出「随机变量偏离均值超过 $ϵ$」的概率上界，不需要知道具体分布，只要有方差就行——这正是随机化算法、PAC 学习理论里估「样本要采多少才够准」的工具。它也是大数定律的证明引擎（下一章）。实践中切比雪夫界比较松，知道更多信息时会换更紧的 Hoeffding / Chernoff 界，但思路一脉相承：用矩（均值、方差）去控制尾部概率。

🌱 大一新生提示

一句话：切比雪夫不等式说「离平均越远的概率，被方差死死压住」。 不管什么分布，只要方差 $DX$ 有限，「偏离期望超过 $ϵ$」的概率就不超过 $\frac{DX}{{ϵ}^2}$。方差越小、容忍范围 $ϵ$ 越大，跑偏的概率就越小。它的价值在于「啥分布都能用」，代价是给的范围比较宽松，常用来做粗略估计或证明收敛。

证明：若$X$是连续型随机变量，令$|X-EX|⩾ϵ=D$，则$P\{|X-EX|⩾ϵ\}=\underset{D}{\int }f(x)\text{d}x$，又该区间上$|X-EX|⩾ϵ$，$\therefore \frac{(X-EX{)}^2}{{ϵ}^2}⩾1$。

$\underset{D}{\int }f(x)\text{d}x⩽\underset{D}{\int }\frac{(X-EX{)}^2}{{ϵ}^2}f(x)\text{d}x⩽{\int }_{-\infty }^{+\infty }\frac{(X-EX{)}^2}{{ϵ}^2}f(x)\text{d}x$

$=\frac{1}{{ϵ}^2}{\int }_{-\infty }^{+\infty }(X-EX{)}^{2}f(x)\text{d}x=\frac{DX}{{ϵ}^2}$。

可以用于估算随机变量在某范围中取值的概率，也可以证明某些收敛性问题（如数学统计章节中的一致性）。

例题：设$XY$为随机变量，数学期望都是2，方差分别为1和4，相关系数为0.5，尝试估计估计概率$P\{|X-Y|⩾6\}$。

解：令$Z=X-Y$，$\therefore EZ=E(X-Y)=EX-EY=2-2=0$，所以$P\{|X-Y|⩾6\}=P\{|X-Y-0|⩾6\}=P\{|Z-EZ|⩾6\}⩽\frac{DZ}{6^2}=\frac{3}{36}=\frac{1}{2}$。

常用分布数字特征

分布	分布列$p_i$或概率密度$f(x)$	期望	方差
0-1分布$B(1,p)$	$P\{X=k\}=p^k(1-p{)}^{1-k}$，$k=0,1$	$p$	$p(1-p)$
二项分布$B(n,p)$	$P\{X=k\}=C_n^k{p}^k(1-p{)}^{n-k}$，$k=0,\cdots ,n$	$np$	$np(1-p)$
泊松分布$P(\lambda )$	$P\{X=k\}=\frac{{\lambda }^k}{k!}{e}^{-\lambda }$，$k=0,\cdots$	$\lambda$	$\lambda$
几何分布$G(p)$	$P\{X=k\}=(1-p{)}^{k-1}$，$p,k=1,\cdots$	$\frac{1}{p}$	$\frac{1-p}{p^2}$
正态分布$N(\mu ,{\sigma }^2)$	$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$，$x\in R$	$\mu$	${\sigma }^2$
均匀分布$U(a,b)$	$f(x)=\frac{1}{b-a}$，$a<x<b$	$\frac{a+b}{2}$	$\frac{(b-a{)}^2}{12}$
指数分布$E(\lambda )$	$f(x)=\lambda e^{-\lambda x}$，$x>0$	$\frac{1}{\lambda }$	$\frac{1}{{\lambda }^2}$

💻 计算机专业视角

这张「期望-方差速查表」是建模和面试的高频考点，值得当作 API 文档背下来。 选分布建模时，先看数据的均值和方差关系就能初判：泊松分布「均值 = 方差」，若实测方差远大于均值就是「过离散」，该换负二项分布；指数分布均值和标准差都等于 $1/\lambda$（变异系数恒为 1）。蒙特卡洛、随机数生成、贝叶斯先验设定都要先知道这些矩。记忆技巧：二项 $np(1-p)$、泊松 $\lambda$、均匀 $\frac{(b-a{)}^2}{12}$、指数 $\frac{1}{{\lambda }^2}$。

🌱 大一新生提示

一句话：常见分布的期望和方差都是固定公式，直接记结论即可，不用每次现推。 用法：题目说「$X\sim B(n,p)$」，就能立刻写出 $EX=np$、$DX=np(1-p)$。注意区分参数含义——正态 $N(\mu ,{\sigma }^2)$ 里第二个参数本身就是方差 ${\sigma }^2$（不是标准差）；指数 $E(\lambda )$ 的期望是 $\frac{1}{\lambda }$（$\lambda$ 越大平均值越小）。这些是后面做题代数的「零件」。

二维随机变量数字特征

数学期望

定义：若$XY$为随机变量，$g(X,Y)$为$XY$的函数，如果$(X,Y)$为离散型随机变量，其联合分布为$p_{ij}=P\{X=x_i,Y=y_i\}$（$i,j=1,2,\cdots$），若级数$\sum _i\sum _{j}g(x_i,y_j)p_{ij}$绝对收敛，则$E[g(X,Y)]=\sum _i\sum _{j}g(x_i,y_j)p_{ij}$；如果$(X,Y)$为连续型随机变量，其概率密度为$f(x,y)$，若积分${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)\text{d}x\text{d}y$绝对收敛，则定义$E[g(X,Y)]={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)\text{d}x\text{d}y$。

协方差相关系数

概念

定义：若随机变量$XY$的方差存在且$DX>0$，$DY>0$，则称$E[(X-EX)(Y-EY)]$为随机变量$X$与$Y$的协方差，记为$Cov(X,Y)$，即$Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY-XEY-YEX+EXEY)=E(XY)-EX\cdot EY$。

其中$E(XY)=\{\begin{array}{l}\sum _i\sum _j{x}_i{y}_{j}P\{X=x_i,Y=y_j\}\\ {\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xyf(x,y)\text{d}x\text{d}y\end{array}$。

从定义来看，方差$DX$就是自己的协方差$Cov(X,X)$。

协方差也可以标准化，已知$X^{\ast }=\frac{X-EX}{\sqrt{DX}}$，$Y^{\ast }=\frac{Y-EY}{\sqrt{DY}}$，则$Cov(X^{\ast },Y^{\ast })=Cov(\frac{X-EX}{\sqrt{DX}},\frac{Y-EY}{\sqrt{DY}})=\frac{Cov(X-EX,Y-EY)}{\sqrt{DX}\sqrt{DY}}=\frac{Cov(X,Y)-Cov(X,EY)-Cov(EX,Y)+Cov(EX,EY)}{\sqrt{DX}\sqrt{DY}}=\frac{Cov(X,Y)}{\sqrt{DXDY}}$。

定义：${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}$为随机变量$XY$的相关系数。若${\rho }_{XY}=0$，则$XY$不相干，否则相关。

相关系数是描述随机变量$XY$之间的线性关系，绝对值越靠近1则越线性相关。相关系数为0不代表没有其之间没有关系，也可能存在非线性关系。

💻 计算机专业视角

协方差/相关系数 = 协方差矩阵、PCA、特征选择的基石。 多维数据的协方差矩阵 $\Sigma$ 每个元素就是一对特征的协方差；PCA 就是对 $\Sigma$ 做特征分解，找方差最大的方向降维。相关系数 $\rho$ 把协方差归一化到 $[-1,1]$，消除量纲，正是皮尔逊相关系数——推荐系统、特征工程里筛「高度相关的冗余特征」靠的就是它。务必记住：$\rho =0$ 只说明「没有线性关系」，可能仍有强非线性关系（如 $Y=X^2$），这也是为什么深度学习要用神经网络去捕捉相关系数看不见的非线性。

🌱 大一新生提示

一句话：协方差看「两个变量是否同涨同跌」，相关系数是它的「标准化打分」。 协方差为正 = 一个变大另一个也倾向变大；为负 = 反向；为 0 = 没有线性联动。但协方差大小受单位影响，不好比较，于是除以两者标准差得到相关系数 $\rho \in [-1,1]$：越接近 $\pm 1$ 越像一条直线，越接近 0 越不线性相关。切记「不相关 ≠ 没关系」，可能是弯曲的关系。

性质

• 对称性：$Cov(X,Y)=Cov(Y,X)$，${\rho }_{XY}={\rho }_{YX}$，$Cov(X,X)=DX$，${\rho }_{XX}=1$。
• 线性性：$Cov(X,c)=0$，$Cov(aX+b,Y)=aCov(X,Y)$，$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$。一般$Cov\left(\sum _{i=1}^n{a}_i{X}_i,Y\right)=\sum _{i=1}^{n}Cov(X_i,Y)$。
• 若$XY$相互独立，则$Cov(X,Y)=0$。$D(\sum X)=\sum DX$。
• $D(X\pm Y)=DX+DY\pm 2Cov(X,Y)$。
• 相关系数有界性：$|{\rho }_{XY}|⩽1$。
• 线性关系下的相关系数：若$Y=aX+b$，则${\rho }_{XY}=\{\begin{array}{ll}1,& a>0\\ -1,& a<0\end{array}$。

例题：设随机变量$XY$的概率分布分别为：

$X$	0	1
$P$	1/3	2/3

$Y$	-1	0	1
$P$	1/3	1/3	1/3

且$P\{X^2=Y^2\}=1$。

(1)求随机变量$(X,Y)$的概率分布。

(2)求$Z=XY$的概率分布。

(3)求$XY$的相关系数${\rho }_{XY}$。

(1)解：根据已知的题目条件可以知道对应的边缘概率分布：

$X$＼$Y$	-1	0	1	$X$边缘
0				1/3
1				2/3
$Y$边缘	1/3	1/3	1/3	1

又$P\{X^2=Y^2\}=1$，所以$P\{X^2\ne Y^2\}=0$，所以$X=\pm Y$，解得：

$X$＼$Y$	-1	0	1	$X$边缘
0	0	1/3	0	1/3
1	1/3	0	1/3	2/3
$Y$边缘	1/3	1/3	1/3	1

(2)解：$Z=XY$的可能取值为-1，0，1。所以根据表格：

$P\{Z=-1\}=P\{X=1,Y=-1\}=\frac{1}{3}$。

$P\{Z=1\}=P\{X=1,Y=1\}=\frac{1}{3}$。

$P\{Z=0\}=1-P\{Z=1\}-P\{Z=-1\}=\frac{1}{3}$。

(3)解：$\rho =\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}=\frac{EXY-EXEY}{\sqrt{DX}\sqrt{DY}}=0$。

独立性与相关性

相关性是线性相关性。

• 独立则一定不相关，但是不相关不一定独立。
• 如果相关则一定不独立。
• 如果$(X,Y)$服从二维正态分布，则$XY$独立与$XY$不相关是充要条件。

💻 计算机专业视角

「独立」与「不相关」的区别，是机器学习里常踩的坑。 不相关只排除「线性」关联，独立排除「一切」关联——所以独立一定不相关，反之不成立。唯一的特例是高斯分布：联合正态时「不相关」就等价于「独立」，这正是为什么高斯假设下的模型（如高斯朴素贝叶斯、白化/whitening）能用「去相关」来达到「独立」。深度学习里 PCA 白化只能去掉线性相关，要做到真正独立得用 ICA（独立成分分析）——根源就是这条「不相关 ≠ 独立」。

🌱 大一新生提示

一句话：独立比不相关「更强」。 独立 = 互不影响（任何关系都没有）；不相关 = 仅仅没有「直线型」关系。所以：独立 ⟹ 不相关，但不相关推不出独立（可能藏着曲线关系）。唯一的例外是「二维正态分布」——这种情况下两者完全等价，是考试爱考的结论。判断时先算相关系数看是否相关，再用分布是否能拆成乘积来判独立。

分布判断独立性

都是通过分布情况判断独立性：

• $F(x,y)=F_X(x)\cdot F_Y(y)$。
• $f(x,y)=f_X(x)\cdot f_Y(y)$。
• $P\{X=x_i,Y=y_j\}=P\{X=x_i\}\cdot P\{Y=y_j\}$。

数字特征判断相关性

通过相关系数${\rho }_{XY}$来判断是否存在线性相关性。

${\rho }_{XY}=0\iff Cov(X,Y)=0\iff E(XY)=EX\cdot EY\iff D(X\pm Y)=DX+DY$。

基本判别流程

当讨论随机变量$XY$的相关性独立性时：

1. 计算$Cov(X,Y)=E(XY)-EXEY$判断是否为0。
2. 当$Cov(X,Y)\ne 0$时则$XY$相关不独立。
3. 当$Cov(X,Y)=0$时则$XY$不相关。
4. 若$P(XY)=P(X)P(Y)$则$XY$不相关但独立，否则不相关不独立。

例题：设随机变量$X$的概率密度为$f(x)=\frac{1}{2}{e}^{-|x|}$，$x\in (-\infty ,+\infty )$。证明$X$与$|X|$不相关且不独立。

解：$Cov(X,Y)=EXY-EXEY=EX|X|-EXE|X|$。

其中$EX={\int }_{-\infty }^{+\infty }x\cdot \frac{1}{2}{e}^{-|x|}\text{d}x=0$，$EXY={\int }_{-\infty }^{+\infty }x\cdot \frac{1}{2}{e}^{-|x|}|x|\text{d}x=0$。

$\therefore {\rho }_{XY}=0$，从而$XY$不相关。

令$X⩽a$，则$P\{X⩽a\}$。而$P\{|X|⩽a\}=P\{-a⩽X⩽a\}<P\{X⩽a\}$。

$\therefore P\{X⩽a,|X|⩽a\}=P\{|X|⩽a\}$，又$P\{X⩽a\}<1$。

$\therefore P\{X⩽a,|X|⩽a\}\ne P\{|X|⩽a\}\cdot P\{|X|⩽a\}$，所以不独立。