数理统计

统计量

利用期望和方差等数学特征之间的关系进行计算统计量，往往以$\sum _{i=1}^n{X}_i$或类似的形式。

例题：已知总体$X$的期望为$EX=0$，方差$DX={\sigma }^2$。从总体抽取容量为$n$的简单随机样本，其均值和方差分别为$\overline{X}$，$S^2$。记$S_k^2=\frac{n}{k}{\overline{X}}^2+\frac{1}{k}{S}^2$（$k=1,2,3,4$），则()。

$A.E(S_1^2)={\sigma }^2$ $B.E(S_2^2)={\sigma }^2$

$C.E(S_3^2)={\sigma }^2$ $D.E(S_4^2)={\sigma }^2$

解：$E(S_k^2)=E\left(\frac{n}{k}{\overline{X}}^2+\frac{1}{k}{S}^2\right)=\frac{n}{k}E{\overline{X}}^2+\frac{1}{k}E(S^2)=\frac{n}{k}((E\overline{X}{)}^2+D\overline{X})+\frac{1}{k}E(S^2)=\frac{n}{k}\left(0+\frac{{\sigma }^2}{n}\right)+\frac{1}{k}{\sigma }^2=\frac{2{\sigma }^2}{k}$，$\therefore k=2$。

例题：设$X_i$为来自总体$E(\lambda )$（$\lambda >0$）的简单随机样本，记统计量$T=\frac{1}{n}\sum _{i=1}^n{X}_i^2$，求$ET$。

解：$ET=E\frac{1}{n}\sum _{i=1}^n{X}_i^2=\frac{1}{n}\sum _{i=1}^{n}E{X}_i^2=\frac{1}{n}\sum _{i=1}^n(D{X}_i+E^2{X}_i)=\frac{1}{n}\sum _{i=1}^n\left(\frac{1}{{\lambda }^2}+\frac{1}{{\lambda }^2}\right)=\frac{1}{n}\cdot \frac{2n}{{\lambda }^2}=\frac{2}{{\lambda }^2}$。

例题：设$X_i$为来自总体$X$的简单随机样本，而$X\sim B\left(1,\frac{1}{2}\right)$。记$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$，求$P\left\{\overline{X}=\frac{k}{n}\right\}$。（$0⩽k⩽n$）

解：$\because X\sim B\left(1,\frac{1}{2}\right)$，$\therefore \sum _{i=1}^n{X}_i\sim B\left(n,\frac{1}{2}\right)$。

$P\left\{\overline{X}=\frac{k}{n}\right\}=P\left\{\frac{1}{n}\sum _{i=1}^n{X}_i=\frac{k}{n}\right\}=P\left\{\sum _{i=1}^n{X}_i=k\right\}=C_n^k{\left(\frac{1}{2}\right)}^k{\left(\frac{1}{2}\right)}^{n-k}=C_n^k\cdot {\left(\frac{1}{2}\right)}^n$。

🌱 大一新生提示

一句话提示：统计量就是「只由样本算出、不含未知参数的量」，比如样本均值 $\overline{X}$、样本方差 $S^2$。求它的期望/方差时，反复用 $E{X}^2=DX+(EX{)}^2$ 把高阶矩拆开即可。

💻 计算机专业视角

引导句：统计量正是数据分析里的「特征/汇总指标」——均值、方差、各阶矩都是对原始样本的压缩表示，机器学习的特征工程与数据标准化本质上都在构造和使用这类统计量。

三大分布

${\chi }^2$分布

例题：设$X_1,X_2,X_3,X_4$是来自正态总体$N(0,4)$的简单随机样本，记$X=a(X_1-2X_2{)}^2+b(3X_3-4X_4{)}^2$。求$X$服从${\chi }^2$分布下的参数与自由度。

解：若$X_1,X_2,X_3,X_4$同一个正态分布，所以$E{X}_1=E{X}_2=E{X}_3=E{X}_4=0$，$D{X}_1=D{X}_2=D{X}_3=D{X}_4=4$。

$E(X_1-2X_2)=E{X}_1-2E{X}_2=0$，$D(X_1-2X_2)=D{X}_1-4D{X}_2=20$。

$\therefore X_1-2X_2\sim N(0,20)$，同理$3X_3-4X_4\sim N(0,100)$。

对其标准化：$\frac{X_1-2X_2-0}{\sqrt{20}}\sim N(0,1)$，$\frac{3X_3-4X_4-0}{\sqrt{100}}\sim N(0,1)$。

若要让$X$满足${\chi }^2$分布，则要将$a(X_1-2X_2{)}^2+b(3X_3-4X_4{)}^2$两项标准化。

$\therefore \frac{(X_1-2X_2{)}^2}{20}+\frac{(3X_3-4X_4{)}^2}{100}\sim {\chi }^2(2)$，所以$a=\frac{1}{20}$，$b=\frac{1}{100}$。

$t$分布

例题：设$X_1,X_2,\cdots ,X_8$是来自正态总体$N(0,3^2)$的简单随机样本，则统计量$Y=\frac{X_1+X_2+X_3+X_4}{\sqrt{X_5^2+X_6^2+X_7^2+X_8^2}}$服从什么分布？

解：$\because X_1,\cdots ,X_8\sim N(0,9)$，$\therefore X_1+X_2+X_3+X_4\sim N(0,36)$。

$\therefore \frac{X_1+X_2+X_3+X_4-0}{6}\sim N(0,1)$。

$\frac{X_5^2+X_6^2+X_7^2+X_8^2}{9}={\left(\frac{X_5-0}{3}\right)}^2+{\left(\frac{X_6-0}{3}\right)}^2+{\left(\frac{X_7-0}{3}\right)}^2+{\left(\frac{X_8-0}{3}\right)}^2\sim {\chi }^2(4)$

$\therefore \frac{\frac{X_1+X_2+X_3+X_4-0}{6}}{\sqrt{\frac{X_5^2+X_6^2+X_7^2+X_8^2}{9}/4}}=\frac{X_1+X_2+X_3+X_4}{\sqrt{X_5^2+X_6^2+X_7^2+X_8^2}}\sim t(4)$。

$F$分布

例题：设$X_1,X_2,\cdots ,X_{15}$是来自正态总体$N(0,3^2)$的简单随机样本，则统计量$Y=\frac{X_1^2+X_2^2+\cdots +X_{10}^2}{2X_{11}^2+X_{12}^2+\cdots +X_{15}^2}$服从什么分布？

解：$\because \frac{X_i-0}{3}\sim N(0,1)$，${\left(\frac{X_i-0}{3}\right)}^2=\frac{x_i^2}{9}\sim {\chi }^2(1)$。

$\therefore \frac{X_1^2+X_2^2+\cdots +X_{10}^2}{9}\sim {\chi }^2(10)$，$\frac{X_{11}^2+X_{12}^2+\cdots +X_{15}^2}{9}\sim {\chi }^2(5)$。

$\therefore \frac{\frac{X_1^2+X_2^2+\cdots +X_{10}^2}{9}/10}{\frac{X_{11}^2+X_{12}^2+\cdots +X_{15}^2}{9}/5}=\frac{X_1^2+X_2^2+\cdots +X_{10}^2}{2X_{11}^2+X_{12}^2+\cdots +X_{15}^2}=Y\sim F(10,5)$。

例题：已知$(X,Y)$的概率分布函数为$f(x,y)=\frac{1}{2\pi }{e}^{-\frac{1}{2}(x^2+y^2-2y+1)}$，$x,y\in R$，求$\frac{X^2}{(Y-1{)}^2}$的分布。

解：$f(x,y)=\frac{1}{2\pi }{e}^{-\frac{1}{2}(x^2+y^2-2y+1)}=\frac{1}{2\pi }{e}^{-\frac{1}{2}(x^2+(y-1{)}^2)}$，所以根据二维正态分布的形式，得到$(X,Y)\sim (0,1;1,1;0)$。

即$X\sim \Phi (x)$，$Y-1\sim \Phi (x)$，$\therefore X^2\sim {\chi }^2(1)$，$(Y-1{)}^2\sim {\chi }^2(1)$，$\therefore \frac{X^2}{(Y-1{)}^2}\sim F(1,1)$。

函数分布

例题：设随机变量$X\sim t(n)$，$Y\sim F(1,n)$，常数$C$使得$P\{X>C\}=0.6$，求$P\{Y>C^2\}$。

解：$X\sim t(n)$，则$X=\frac{X_1}{\sqrt{Y_1/n}}\sim t(n)$，其中$X_1\sim N(0,1)$，$Y_1\sim {\chi }^2(n)$。

$\therefore X^2=\frac{X_1^2}{Y_1/n}=\frac{X_1^2/1}{Y_1/n}\sim \frac{{\chi }^2(1)/1}{{\chi }^2(n)/n}=F(1,n)$。

又$P\{Y>C^2\}=1-P\{Y⩽C^2\}$。$P\{X^2>C^2\}=1-P\{X^2⩽C^2\}$。

又$P\{X^2⩽C^2\}=P\{-C⩽X⩽C\}$，根据偶函数性质$=0.2$。

$\therefore P\{X^2>C^2\}=0.8$。

🌱 大一新生提示

一句话提示：${\chi }^2$、$t$、$F$ 三大分布都是由标准正态样本「组装」出来的：平方和给 ${\chi }^2$，正态除以 $\sqrt{{\chi }^2/n}$ 给 $t$，两个 ${\chi }^2$ 各除自由度再相比给 $F$。做题先把每一项标准化成 $N(0,1)$，再对照定义拼出对应分布与自由度。

💻 计算机专业视角

引导句：这三大分布是假设检验与方差分析的核心工具：$t$ 检验比较均值、${\chi }^2$ 检验做拟合优度与独立性、$F$ 检验比较方差与回归显著性，在 A/B 实验和模型评估中天天用到。

参数估计

矩估计

基本方法就是$EX=\frac{1}{n}\sum _{i=1}^n{X}_i$。

如果只有一个参数就使用一阶矩，如果有两个参数就使用二阶矩，一般不会超过两个未知数。

即$EX=\frac{1}{n}\sum _{i=1}^n{X}_i=\overline{X}=\hat{\mu }$，$E{X}^2=\frac{1}{n}\sum _{i=1}^n{X}_i^2={\hat{\sigma }}^2+{\hat{\mu }}^2$。

${\hat{\sigma }}^2=E{X}^2-(EX{)}^2=\frac{1}{n}\sum _{i=1}^n{X}_i^2-{\overline{X}}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^2$。

一阶矩

二阶矩

例题：设$X_i$为来自区间$[-a,a]$上均匀分布的总体$X$的简单随机样本，求$a$的矩估计量。

解：首先矩估计就是$E(X^k)=\frac{1}{n}\sum _{i=1}^n{X}_i^k$。

又对于均匀分布$X_i\sim U(-a,a)$，$EX=\frac{a+b}{2}=0$，$DX=\frac{(b-a{)}^2}{12}=\frac{a^2}{3}$。

所以$EX$不含有$a$，使用二阶矩$E{X}^2=DX+E^{2}X=\frac{a^2}{3}=\frac{1}{n}\sum _{i=1}^n{X}_i^2$。

解得$a=\sqrt{\frac{3}{n}\sum _{i=1}^n{X}_i^2}$。

最大似然估计

步骤：写出概率函数或密度函数；写出似然函数（代入观测值$x_i$并连乘）；两边取对数；求导数并令为0求出表达式。

离散型

例题：设总体$X$的概率分布为：

$X$	0	1	2	3
$P$	${\theta }^2$	$2\theta (1-\theta )$	${\theta }^2$	$1-2\theta$

其中$\theta \int \left(0,\frac{1}{2}\right)$为未知参数，从总体$X$中抽取容量为8的一组样本，其样本值为3，1，3，0，3，1，2，3。求$\theta$的最大似然估计值。

解：

根据样本值，可以得出：

$X$	0	1	2	3
次数	1	2	1	4

将所有的概率相乘：$L(\theta )l=(1-2\theta {)}^4[2\theta (1-\theta ){]}^2\cdot {\theta }^2\cdot {\theta }^2=4{\theta }^6(1-\theta {)}^2(1-2\theta {)}^4$。

对其求对数：$\ln L(\theta )=\ln 4+6\ln \theta +2\ln (1-\theta )+4\ln (1-2\theta )$。

对其求导：$\frac{\text{d}\ln L(\theta )}{\text{d}\theta }=\frac{6}{\theta }-\frac{2}{1-\theta }-\frac{8}{1-2\theta }=0$。解得$\theta =\frac{7\pm \sqrt{13}}{12}$。

$0<\theta <\frac{1}{2}$，舍去正值，得到$\hat{\theta }=\frac{7-\sqrt{13}}{12}$。

连续型

例题：设随机变量$X$在区间$[0,\theta ]$上服从均匀分布，$X_1,X_2,\cdots ,X_n$是来自$X$的简单随机样本，求$\theta$的最大似然估计量$\hat{\theta }$

解：$X\sim U(0,\theta )$，$f(x)=\{\begin{array}{ll}\frac{1}{\theta },& 0<x<\theta \\ 0,& \text{其他}\end{array}$，$L(\theta )=\{\begin{array}{ll}\frac{1}{{\theta }^n},& 0<x_i<\theta \\ 0,& \text{其他}\end{array}$。

求$\hat{\theta }$即求$L(\theta )$的最大值，$\theta$的最小值。又必然$0<x_i<\theta$。

所以$\hat{\theta }=\max x_i$，即$\theta$的最大似然估计为$\underset{1⩽i⩽n}{\max }{X}_i$。

（取最大值而不是最小值是因为为保证所有$x_i$都在定义域上，$0<x_i<\theta$，所以要求$\theta >\max x_i$）

例题：设$X_1,X_2,\cdots X_n$是来自总体$X$的简单随机样本，$X$的概率密度函数$f(x)=\frac{1}{2\lambda }{e}^{-\frac{|x|}{\lambda }}$，$x\in R$，$\lambda >0$，求$\lambda$的最大似然估计量$\hat{\lambda }$。

解：$\because f(x)=\frac{1}{2\lambda }{e}^{-\frac{|x|}{\lambda }}$，$\therefore L(\lambda )=\prod _{i=1}^n\frac{1}{2\lambda }{e}^{-\frac{|x|}{\lambda }}={\left(\frac{1}{2\lambda }\right)}^n{e}^{-\frac{1}{\lambda }\sum _{i=1}^n|x_i|}$。

$\ln L(\lambda )=-n\ln 2-n\ln \lambda -\frac{1}{\lambda }\sum _{i=1}^n|x_i|$，$\frac{\text{d}\ln L(\lambda )}{\text{d}\lambda }=-\frac{n}{\lambda }+\frac{1}{{\lambda }^2}\sum _{i=1}^n|x_i|$。

令$\frac{\text{d}\ln L(\lambda )}{\text{d}\lambda }=0$，则$\frac{n}{\lambda }=\frac{1}{{\lambda }^2}\sum _{i=1}^n|x_i|$，解得$\lambda =\frac{1}{n}\sum _{i=1}^n|x_i|$。

即$\hat{\lambda }=\frac{1}{n}\sum _{i=1}^n|X_i|$。

🌱 大一新生提示

一句话提示：矩估计是「让样本矩等于总体矩」解出参数；最大似然估计是「写出似然函数 $L$、取对数、求导令零」找让样本出现概率最大的参数。连续型若导数恒不为零（如均匀分布），就直接取端点 $\max x_i$。

💻 计算机专业视角

引导句：最大似然估计就是机器学习里训练模型的标准做法：最小化交叉熵/负对数似然损失，本质就是在做 MLE；而矩估计的思想也常用于初始化参数或快速估计。

估计量评价标准

无偏性

$E\hat{\theta }=\theta$。

有效性

$D\widehat{{\theta }_1}<D\widehat{{\theta }_2}$。

一致性

置信区间

方差已知

例题：一批零件的长度服从正态分布$N(\mu ,{\sigma }^2)$，其中$\mu ,{\sigma }^2$均未知。现从中随机抽取16个零件，测得样本均值$\overline{x}=20cm$，样本标准差为$s=1cm$，求$\mu$的置信水平为0.90的置信区间。

解：$\sigma$未知，所以使用$s$来求置信空间。

置信空间为$(\overline{X}-t_{\frac{\alpha }{2}}(n-1)\frac{S}{\sqrt{n}},\overline{X}+t_{\frac{\alpha }{2}}(n-1)\frac{S}{\sqrt{n}})$。

已知$\overline{x}=20$，$s=1$，$n=16$，$\alpha =1-0.90=0.1$。

所以置信空间为$\left(20-\frac{1}{4}{t}_{0.05}(15),20+\frac{1}{4}{t}_{0.05}(15)\right)$。

方差未知

例题：设某群人的年龄$X\sim N(\mu ,{\sigma }^2)$，随机了解到五个人的年龄：39，54，61，72，59，求均值$\mu$的置信度为$0.95$的置信区间。

解：由于$\sigma$未知，所以使用样本方差，$\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$。

其中置信区间为$\left(\overline{X}-\frac{S}{\sqrt{n}}{t}_{0.025}(n-1),\overline{X}+\frac{S}{\sqrt{n}}{t}_{0.025}(n-1)\right)$。

又$\overline{x}=\frac{1}{5}(39+54+61+72+59)=57$，$S=\sqrt{\frac{1}{n-1}\sum _{i=1}^5(x_i-\overline{x})}=12$。

其中$t_{0.025}(n-1)=t_{0.025}(4)=2.7764$，所以代入得到$(42.13,71,87)$。

假设检验

例题：设考试成绩服从正态分布，随机抽取36位考生成绩，平均分为66.5分，标准差为15分。在显著性水平0.05下是否可以认为这次考试的平均水平为70分。

解：首先提出假设$H_0:\mu =70$，$H_1:\mu \ne 70$。

将$X$使用样本标准差进行标准化：$T=\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$。

给定显著性水平$0.05$，写出拒绝域$T<-t_{\frac{\alpha }{2}}(n-1)$或$T>t_{\frac{\alpha }{2}}(n-1)$。

代入计算统计量，$|T|=\left|\frac{\overline{X}-\mu }{S/\sqrt{n}}\right|=\left|\frac{66.5-70}{15/6}\right|=1.4$。

又$t_{\frac{\alpha }{2}}(n-1)=t_{0.05}(35)=2.0301>1.4$不在拒绝域内，所以接受原假设。

即可以认为平均水平为70分。

例题：设$X_1,X_2,\cdots ,X_{36}$是取自正态总体$N(\mu ,0.04)$的简单随机样本，其中$\mu$为未知参数，即$\overline{X}=\frac{1}{36}\sum _{i=1}^{36}{X}_i$，若对于检验问题$H_0:\mu ⩽0.5$，$H_1:\mu >0.5$在显著性水平$\alpha =0.05$，取得检验拒绝域$D=\{(x_1,x_2,\cdots ,x_{36}):\overline{x}>C\}$，求$C$。

解：当$H_0$成立，则$X\sim N(0.5,0.04)$，$\overline{X}\sim N(0.5,0.04÷36)=N\left(\frac{1}{2},\frac{1}{900}\right)$。

$\alpha =0.05=P\{$拒绝$H_0|H_0$成立$\}=P\{\overline{X}>C\}=1-P\{\overline{X}⩽C\}=1-\Phi ((C-0.5)\times 30)=1-\Phi (30C-15)$。

$\therefore \Phi (30C-15)=0.95=\Phi (1.645)$，即$30C-15=1.645$，$C=0.5548$。

例题：已知某机器生产出来的零件长度$X$（单位：$cm$）服从正态分布$N(\mu ,{\delta }^2)$，现从中随意抽取容量为16的一个样本，测得样本均值$\overline{x}=10$，样本方差$s^2=0.16$，$t_{0.025}(15)=2.132$。

(1)求总体均值$\mu$置信水平为0.95的置信区间。

(2)在显著性水平$0.05$下检验假设$H_0:\mu =9.7$，$H_1:\mu \ne 9.7$。

(1)解：根据公式直接解出置信空间$(10-0.1t_{0.025}(15),10+0.1t_{0.025}(15))=(9.7868,10.2132)$。

(2)解：根据假设$H_0$，得到拒绝域$(-\infty ,9.4868]\cup [9.9132,+\infty )$。

又$\overline{X}=10$在拒绝域$[9.9132,+\infty )$上，所以假设$H_0$拒绝。

两类错误

例题：假定$X$是连续型随机变量，$U$是对$X$的一次观测值，关于其概率密度$f(x)$有如下假设：

$H_0:f(x)=\{\begin{array}{ll}\frac{1}{2},& 0⩽x⩽2\\ 0,& \text{其他}\end{array}$，$H_1:f(x)=\{\begin{array}{ll}\frac{x}{2},& 0⩽x⩽2\\ 0,& \text{其他}\end{array}$。

检验规则：当事件$V=\left\{U>\frac{3}{2}\right\}$出现时，否定假设$H_0$，接受$H_1$，求犯第一类错误概率和第二类错误概率$\alpha \beta$。

解：$\alpha =P\left\{U>\frac{3}{2}|H_0\right\}={\int }_{\frac{3}{2}}^2\frac{1}{2}\text{d}x=\frac{1}{4}$。

$\beta =P\left\{U⩽\frac{3}{2}|H_1\right\}={\int }_0^{\frac{3}{2}}\frac{x}{2}\text{d}x=\frac{9}{16}$。

🌱 大一新生提示

一句话提示：假设检验先立原假设 $H_0$ 与备择 $H_1$，构造检验统计量并算出拒绝域，统计量落入拒绝域就拒绝 $H_0$。第一类错误 $\alpha$ 是「$H_0$ 真却被拒」，第二类错误 $\beta$ 是「$H_0$ 假却被接受」，两者按对应分布积分求出。

💻 计算机专业视角

引导句：假设检验是 A/B 测试与实验评估的数学内核：$\alpha$ 对应误报率（false positive），$\beta$ 对应漏报率（false negative），$1-\beta$ 就是统计功效（power）——这正是产品实验里设定显著性水平和样本量时反复权衡的两类错误。