数字特征

一维随机变量数字特征

数学期望

离散型随机变量

分布律变换

可以根据随机变量分布律的形式拟合出已知的离散型随机变量分布，从而得到已知的期望。

例题：设随机变量$X$的分布律为$P\{X=k\}=\frac{1}{2^{k}k!(\sqrt{e}-1)}$，$k=1,2,\cdots$，求$EX$。

解：查看分布律中含有$k!$的形式，所以可以考虑转换为泊松分布。泊松分布的标准形式是$\frac{{\lambda }^k}{k!}{e}^{-\lambda }$。

$P\{X=k\}=\frac{1}{2^{k}k!(\sqrt{e}-1)}=\frac{\sqrt{e}}{\sqrt{e}-1}\frac{{\left(\frac{1}{2}\right)}^k}{k!}{e}^{-\frac{1}{2}}$，$X\sim \frac{\sqrt{e}}{\sqrt{e}-1}P\left(\frac{1}{2}\right)$。

$\therefore EX=\frac{\sqrt{e}}{2\sqrt{e}-2}$。

定义

对于已知$E(X)$和$X$的分布，要求$E(f(x))$的值，此时很难拟合到已知分布律，所以就需要按照离散随机变量的期望定义来计算。注意虽然$f(x)$对于$x$是变化了，但是对应的概率是不变的。

例题：已知$X\sim P(\lambda )$，求$E(X)E\left(\frac{1}{1+X}\right)$。

解：已知$X\sim P(\lambda )$，则$E(X)=\lambda$。而$E\left(\frac{1}{1+X}\right)$无法通过拟合求出，所以就要用到期望的定义。

$E(X)E\left(\frac{1}{1+X}\right)=\lambda \cdot \sum _{k=0}^{\infty }\frac{1}{1+k}\frac{{\lambda }^k}{k!}{e}^{-\lambda }=\lambda \cdot \sum _{k=0}^{\infty }\frac{{\lambda }^k}{(k+1)!}{e}^{-\lambda }=\sum _{k=0}^{\infty }\frac{{\lambda }^{k+1}}{(k+1)!}{e}^{-\lambda }=\sum _{i=1}^{\infty }\frac{{\lambda }^i}{i!}{e}^{-\lambda }=\sum _{i=0}^{\infty }\frac{{\lambda }^i}{i!}{e}^{-\lambda }-\frac{{\lambda }^0}{0!}{e}^{-\lambda }=1-e^{-\lambda }$。（$\sum _{i=0}^{\infty }\frac{{\lambda }^i}{i!}{e}^{-\lambda }$为概率和等于1）

🌱 大一新生提示

一句话提示：求期望有两条路：能「凑分布」就凑——把分布律变形成某个已知分布（如泊松 $\frac{{\lambda }^k}{k!}{e}^{-\lambda }$）的样子，直接套现成的期望公式；凑不出来（比如这里的 $E(\frac{1}{1+X})$）就老老实实用定义 $E(g(X))={\sum }_{k}g(k)P\{X=k\}$ 把和式写出来，再用「概率之和等于 1」这类恒等式化简。关键是认出级数里熟悉的结构。

💻 计算机专业视角

引导句：$E[g(X)]={\sum }_{k}g(k)p_k$ 就是「按概率加权求平均」，在机器学习里就是损失函数的期望（风险）、策略的期望回报。这里「换元让求和指标平移」的技巧，对应强化学习里对回报级数 $\sum {\gamma }^k{r}_k$ 的重排，以及生成函数 / 矩母函数推导期望时的标准操作——能用闭式恒等式（如 $\sum p_k=1$）收尾，往往比逐项数值求和高效得多。

连续型随机变量

基本上都是以${\int }_{-\infty }^{+\infty }f(x)x\text{d}x$的变式进行计算。

概率密度

给出$X$概率密度。

例题：连续型随机变量$X$的概率密度为$f(x)=\frac{1}{\pi (1+x^2)}$（$-\infty <x<+\infty$），求$EX$。

解：$EX={\int }_{-\infty }^{+\infty }xf(x)\text{d}x={\int }_{-\infty }^{+\infty }x\frac{1}{\pi (1+x^2)}\text{d}x=\frac{1}{2\pi }{\int }_{-\infty }^{+\infty }\frac{\text{d}(1+x^2)}{1+x^2}=\frac{1}{2\pi }\ln (1+x^2){|}_{-\infty }^{+\infty }$。发散，所以不存在。

概率密度函数

给出$X$概率密度与$X$的相关函数。

例题：连续型随机变量$X$的概率密度为$f(x)=\frac{1}{\pi (1+x^2)}$（$-\infty <x<+\infty$），求$E(\min \{|X|,1\})$。

解：$E(\min \{|X|,1\})={\int }_{-\infty }^{+\infty }\min \{|x|,1\}\frac{1}{\pi (1+x^2)}\text{d}x=\frac{2}{\pi }{\int }_0^{+\infty }\min \{x,1\}\frac{1}{1+x^2}\text{d}x=\frac{2}{\pi }{\int }_0^{1}x\frac{1}{1+x^2}\text{d}x+\frac{2}{\pi }{\int }_1^{+\infty }1\cdot \frac{1}{1+x^2}\text{d}x=\frac{1}{\pi }\ln (1+x^2){|}_0^1+\frac{2}{\pi }\arctan x{|}_1^{+\infty }=\frac{1}{\pi }\ln 2+\frac{1}{2}$。

分布函数

给出$X$分布与$X$的相关函数。

例题：随机变量$X\sim N(0,1)$，求$E[(X-2{)}^2{e}^{2X}]$。

解：$E[(X-2{)}^2{e}^{2X}]={\int }_{-\infty }^{+\infty }(x-2{)}^2{e}^{2x}\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}\text{d}x=e^2{\int }_{-\infty }^{+\infty }(x-2{)}^2\frac{1}{\sqrt{2\pi }}{e}^{-\frac{(x-2{)}^2}{2}}\text{d}x=e^2{\int }_{-\infty }^{+\infty }{t}^2\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}\text{d}t=e^{2}E(t^2)=e^2[DX+(EX{)}^2]=e^2(1+0^2)=e^2$。

抽象概率密度

主要是判断概率密度函数和期望之间的关系。期望的积分形式中的上下限与期望值无关，即如果改变期望的积分上下限那么其期望值是不确定的，只有概率密度变化才能算出具体的值。

例题：设随机变量$X$的概率密度函数为$f(x)$，$E(X)=a$，判断${\int }_{-\infty }^{+\infty }xf(x+a)\text{d}x=0$，${\int }_{-\infty }^{a}xf(x)\text{d}x=\frac{1}{2}$。

解：由于$E(X)=a$，则${\int }_{-\infty }^{+\infty }xf(x)\text{d}x=a$。

对于${\int }_{-\infty }^{+\infty }xf(x+a)\text{d}x=0$，令$x+a=t$，$x=t-a$，所以代入${\int }_{-\infty }^{+\infty }(t-a)f(t)\text{d}(t-a)={\int }_{-\infty }^{+\infty }tf(t)\text{d}t-a{\int }_{-\infty }^{+\infty }f(t)\text{d}t=a-a=0$，所以成立。

对于${\int }_{-\infty }^{a}xf(x)\text{d}x=\frac{1}{2}$，其上下限变化，相当于积分值面积的底长是不确定的，$a$表示的是平均面积，这根底长的一半无关，所以不成立。

方差

方差关系

例题：相互独立的随机变量$X_1,X_2,\cdots ,X_n$具有相同的方差${\sigma }^2>0$，设$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$，求$D(X_1-\overline{X})$。

解：由题已知$D{X}_i={\sigma }_2$。

$D(X_1-\overline{X})=D\left(X_1-\frac{1}{n}\sum _{i=1}^n{X}_i\right)=D\left(\frac{n-1}{n}{X}_1-\frac{1}{n}\sum _{i=2}^n{X}_i\right)={\left(\frac{n-1}{n}\right)}^{2}D{X}_1+\frac{1}{n^2}\sum _{i=2}^{n}D{X}_i=\frac{n^2-2n+1}{n^2}{\sigma }^2+\frac{n-1}{n^2}{\sigma }^2=\frac{n-1}{n}{\sigma }^2$。

期望关系

例题：已知随机变量$X_1$，$X_2$相互独立，且都服从正态分布$N(\mu ,{\sigma }^2)$（$\sigma >0$），求$D(X_1{X}_2)$。

解：$X_1$，$X_2$服从$N(\mu ,{\sigma }^2)$，则$E{X}_1=E{X}_2=\mu$。

$D(X_1{X}_2)=E[(X_1{X}_2{)}^2]-[E(X_1{X}_2){]}^2=E(X_1^2{X}_2^2)-(E{X}_{1}E{X}_2{)}^2$。

若$X_1$，$X_2$相互独立则$X_1^2$，$X_2^2$相互独立，则$=E{X}_1^{2}E{X}_2^2-{\mu }^4$。

又$E{X}_1^2=E{X}_2^2=D{X}_1+(E{X}_1{)}^2=D{X}_2+(E{X}_2{)}^2={\sigma }^2+{\mu }^2$。

$({\sigma }^2+{\mu }^2{)}^2-{\mu }^4={\sigma }^4+2{\sigma }^2{\mu }^2$。

切比雪夫不等式

$P\{|X-EX|⩽ϵ\}⩽\frac{DX}{{ϵ}^2}$或$P\{|X-EX|<ϵ\}⩾1-\frac{DX}{{ϵ}^2}$。

二维随机变量数字特征

协方差

$Cov(X,Y)=E(XY)-E(X)E(Y)$。

性质

例题：已知$XY$的相关系数${\rho }_{XY}\ne 0$，设$Z=aX+b$，$ab$为常数，则求出${\rho }_{XY}={\rho }_{YZ}$成立的充要条件。

解：由于$Cov(Y,Z)=Cov(Y,aX+b)=aCov(Y,X)=aCov(X,Y)$，$DZ=D(aX+b)=a^{2}Dx$。

${\rho }_{YZ}=\frac{Cov(Y,Z)}{\sqrt{DY}\sqrt{DZ}}=\frac{aCov(X,Y)}{\sqrt{DY}\sqrt{a^{2}DX}}=\frac{a}{|a|}{\rho }_{XY}$，所以相等的条件是$\frac{a}{|a|}=1$，即$a>0$。

例题：设随机变量$X_1,X_2,\cdots ,X_n$独立同分布，且方差${\sigma }^2>0$，$Y_1=\sum _{i=2}^n{X}_i$和$Y_2=\sum _{j=1}^{n-1}{X}_j$，求$Y_1$和$Y_n$的协方差$Cov(Y_1,Y_n)$。

解：$\because Y_1=\sum _{i=2}^n{X}_i$，$Y_2=\sum _{j=1}^{n-1}{X}_j$，$D{X}_i={\sigma }^2$。

独立性与相关性

独立范围小于不相关范围。所以我们一般先用数字特征判断相关性再用分布判断独立性。

$Cov(X,Y)=E(XY)-EXEY\{\begin{array}{l}\ne 0\iff XY\text{相关}\Rightarrow X\text{与}Y\text{不独立}\\ =0\iff XY\text{不相关，分布}\{\begin{array}{l}XY\text{独立}\\ XY\text{不独立}\end{array}\end{array}$

且如果服从二维正态分布，则$XY$独立与不相关等价。

🌱 大一新生提示

一句话提示：记住一句话：独立一定不相关，不相关不一定独立。相关性只看协方差（$Cov(X,Y)=0$ 即不相关），它只能反映「线性关系」；独立要求联合分布等于边缘分布之积 $f(x,y)=f_X(x)f_Y(y)$，是更强的条件。唯一的例外是二维正态分布，此时不相关就等于独立。做题顺序：先用数字特征判不相关，再用分布判独立。

💻 计算机专业视角

引导句：「不相关 ≠ 独立」是数据科学里极易踩的坑：皮尔逊相关系数（这里的 ${\rho }_{XY}$）只捕捉线性关系，两个变量可以 $\rho =0$ 却高度依赖（如 $Y=X^2$）。这正是特征选择、因果推断要用互信息、距离相关等度量补充线性相关的原因。而「高斯下不相关即独立」是高斯图模型、PCA、白化（whitening）等方法之所以好用的理论支柱。

独立性

通过分布来确定独立性。如独立条件是$f(x,y)=f_X(x)f_Y(y)$，$P\{X=x_i,Y=y_j\}=P\{X=x_i\}P\{Y=y_j\}$。

相关性

通过数字特征来判断相关性。如不相关性条件是${\rho }_{XY}=0$、$Cov(X,Y)=0$、$E(XY)=EXEY$、$D(X\pm Y)=DX+DY$。

切比雪夫不等式

切比雪夫不等式用于估算随机变量在区间的概率，证明收敛性问题。

区间概率

常用变式$P\{|Z-EZ|⩾ϵ\}⩽\frac{DZ}{{ϵ}^2}$或$P\{|Z-EZ|<ϵ\}⩾1-\frac{DZ}{{ϵ}^2}$，$Z=f(X)$。

例题：已知随机变量$XY$，$EX=EY=2$、$DX=1$、$DY=4$，${\rho }_{XY}=0.5$，估计概率$P\{|X-Y|⩾6\}$。

解：已知${\rho }_{XY}=0.5=\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}=\frac{Cov(X,Y)}{2}$，$Cov(X,Y)=1=E(XY)-EXEY$，$E(XY)=5$。

令$X-Y=Z$，$EZ=EX-EY=0$，$DZ=DX+DY-2Cov(X,Y)=1+4-2=3$。

取$ϵ=6$，由切比雪夫不等式得$P\{|X-Y|⩾6\}=P\{|Z-0|⩾6\}⩽\frac{DZ}{{ϵ}^2}=\frac{3}{6^2}=\frac{1}{12}$。

🌱 大一新生提示

一句话提示：切比雪夫不等式 $P\{|Z-EZ|⩾ϵ\}⩽\frac{DZ}{{ϵ}^2}$ 的用途是：在只知道期望和方差、不知道具体分布时，给出「偏离均值很远」这件事概率的上界。做题套路固定——先令目标量为 $Z$（这里 $Z=X-Y$），算出 $EZ$ 和 $DZ$（注意 $D(X-Y)=DX+DY-2Cov(X,Y)$），再代公式。它给的是估计的「天花板」，不是精确值。

💻 计算机专业视角

引导句：切比雪夫不等式是「集中不等式」（concentration inequality）家族里最朴素的一个，它只用方差就给出尾部概率上界，是大数定律的证明工具，也是机器学习泛化误差分析的起点。实践中常被更紧的 Hoeffding、Bernstein、Chernoff 界取代，但思路一致：用矩信息约束随机量偏离均值的概率——这正是 A/B 实验样本量估计、随机算法失败概率控制背后的数学。