数理统计

总体与样本

总体定义

定义：研究对象的全体称为总体，组成总体的每一个元素称为个体。

样本

定义

定义：$n$个相互独立且域总体$X$有相同概率分布的随机变量$X_1,X_2,\cdots ,X_n$所组成的整体$(X_1,X_2,\cdots ,X_n)$称为来自总体$X$，容量为$n$个一个简单随机样本，简称样本。一次抽样结果的$n$个具体值$(x_1,x_2,\cdots ,x_n)$称为来自样本$X_1,X_2,\cdots ,X_n$的一个观测值或样本值。

在概率论中称为独立同分布，而在数理统计就称为简单随机样本。

💻 计算机专业视角

简单随机样本 ≈ 机器学习里「独立同分布（i.i.d.）的训练集」假设。 几乎所有监督学习的理论保证都建立在「训练样本独立同分布地采自某个数据分布」之上——这正是「简单随机样本」的定义。现实中数据常违反它（时间序列自相关、用户行为有依赖、分布漂移 distribution shift），这也是模型上线后掉点的常见根因。bootstrap（自助法）则是反过来：从已有样本里「有放回」地重抽，构造大量伪样本来估计统计量的波动。

🌱 大一新生提示

分清「总体」和「样本」：总体是你想研究的全部，样本是你实际抓到的一小撮。 比如想知道全校学生平均身高（总体未知），你随机量了 $n$ 个人（样本）。「简单随机样本」要求这 $n$ 个观测相互独立、且都来自同一个总体分布——记号上用大写 $X_1,\dots ,X_n$ 表示「抽样前的随机变量」，小写 $x_1,\dots ,x_n$ 表示「抽完得到的具体数」。整本数理统计就是在研究「怎么用样本反推总体」。

分布

对于容量为$n$的样本$X_1,X_2,\cdots ,X_n$有如下定理：假设总体$X$的分布函数为$F(x)$（概率密度为$f(x)$，或概率分布为$p_i=P\{X=x_i\}$），则$(X_1,X_2,\cdots ,X_n)$的分布函数为$F(x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}F(x_i)$。

对于离散型随机变量联合分布：$F(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n)=\prod _{i=1}^{n}P\{X_i=x_i\}$。

对于连续型随机变量联合概率密度：$f(x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}f(x_i)$。

统计量与分布

统计量

设$X_1,X_2,\cdots ,X_n$来自总体$X$的一个样本，$g(x_1,x_2,\cdots ,x_n)$为$n$元函数，若$g$中不含有任何未知参数，则称$g(X_1,X_2,\cdots ,X_n)$为样本$X_1,X_2,\cdots ,X_n$的一个统计量。若$(x_1,x_2,\cdots ,x_n)$为样本值，则称$g(x_1,x_2,\cdots ,x_n)$为$g(X_1,X_2,\cdots ,X_n)$的观测值。

常用统计量

• 样本均值：$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$。
• 样本方差：$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2$。
• 样本标准差：$S=\sqrt{\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2}$。
• 样本$k$阶（原点）矩：$A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k$（$k=1,2,\cdots$）。
• 样本$k$中心矩：$B_k=\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^k$（$k=1,2,\cdots$）。

💻 计算机专业视角

样本方差为何除以 $n-1$ 而不是 $n$？——「自由度」与无偏估计。 用样本均值 $\overline{X}$ 代替真实均值后，$n$ 个偏差 $X_i-\overline{X}$ 之间多了一条约束（它们之和恒为 $0$），独立信息只剩 $n-1$ 份，所以除以 $n-1$ 才能让 $E(S^2)={\sigma }^2$（无偏）。这就是统计软件、NumPy 里 np.var(ddof=1)、pandas.std() 默认用 $n-1$ 的原因（深度学习的 BatchNorm 反而用有偏的 $n$）。统计量本质就是「样本的函数」——和神经网络里对一个 batch 求 mean/var 做归一化是同一回事。

🌱 大一新生提示

统计量 = 只用样本算、不含未知参数的量。 样本均值 $\overline{X}$、样本方差 $S^2$ 都是统计量（你拿到数据就能算出来）；而总体均值 $\mu$、方差 ${\sigma }^2$ 不是——它们是未知的「真值」。特别注意样本方差 $S^2$ 分母是 $n-1$ 不是 $n$，这是个高频易错点，先记住「样本方差除以 $n-1$」，后面无偏性那节会证明为什么。

顺序统计量

概念

将样本$X_1,X_2,\cdots ,X_n$的$n$个观测量按其值从小到大的顺序排列，得到$X_{(1)}⩽X_{(2)}⩽\cdots ⩽X_{(n)}$。

随机变量$X_{(k)}$（$k=1,2,\cdots ,n$）称为第$k$顺序统计量，其中$X_{(1)}$是最小顺序统计量，而$X_{(n)}$是最大顺序统计量。

$X_{(n)}$的分布函数为$F_{(n)}(x)=[F(x){]}^n$，概率密度为$f_{(n)}(x)=n[F(x){]}^{n-1}f(x)$。

证明：$F_{(n)}(x)=P\{X_{(n)}⩽x\}=P\{\max \{x_1,\cdots ,x_n\}⩽x\}=P\{x_1⩽x,\cdots ,x_n⩽x\}=P\{x_1⩽x\}\cdots P\{x_n⩽x\}=F_{(1)}(x)\cdots F_{(n)}(x)=[F(x){]}^n$。

$X_{(1)}$的分布函数为$F_{(1)}(x)=1-[1-F(x){]}^n$，概率密度为$f_{(1)}(x)=n[1-F(x){]}^{n-1}f(x)$。

证明：$F_{(1)}(x)=P\{X_{(1)}⩽x\}=P\{\min \{x_1,\cdots ,x_n\}⩽x\}=1-P\{\min \{x_1,\cdots ,x_n\}>x\}=1-P\{x_1>x,\cdots ,x_n>x\}=1-P\{x_1>x\}\cdots P\{x_n>x\}=1-[1-P\{x_1⩽x\}]\cdots [1-P\{x_n⩽x\}]=1-[1-F_{(1)}(x)]\cdots [1-F_{(n)}(x)]=1-[1-F(x){]}^n$。

性质

设总体$X$的期望$EX=\mu$，方差$DX={\sigma }^2$，样本$X_1,X_2,\cdots ,X_n$取自$X$，$\overline{X}$和$S^2$分别为样本的均值和方差，则：

• $E{X}_i=\mu$。
• $D{X}_i={\sigma }^2$。
• $E\overline{X}=EX=\mu$。
• $D\overline{X}=D\left(\frac{1}{n}\sum _{i=1}^n{x}_i\right)=\frac{1}{n^2}n{\sigma }^2=\frac{1}{n}DX=\frac{{\sigma }^2}{n}$。
• $E(S^2)=E\left(\frac{1}{n-1}\sum _{i=1}^n(x_i-\overline{x}{)}^2\right)=E\left(\frac{1}{n-1}\sum _{i=1}^n(x_i^2-2x_i\overline{x}+{\overline{x}}^2)\right)=E\left(\frac{1}{n-1}\left(\sum _{i=1}^n{x}_i^2-2\overline{x}\cdot \sum _{i=1}^n{x}_i+n{\overline{x}}^2\right)\right)=E\left(\frac{1}{n-1}\left(\sum _{i=1}^n{x}_i^2-n{\overline{x}}^2\right)\right)=\frac{1}{n-1}E\left(\sum _{i=1}^n{x}_i^2-n{\overline{x}}^2\right)=\frac{1}{n-1}\left(\sum _{i=1}^{n}E{x}_i^2-nE{\overline{x}}^2\right)=\frac{n}{n-1}[(E{x}_i{)}^2+D{x}_i-(E\overline{x}{)}^2-D\overline{x}]=\frac{n}{n-1}\left({\mu }^2+{\sigma }^2-{\mu }^2-\frac{{\sigma }^2}{n}\right)=DX={\sigma }^2$。

三大分布

${\chi }^2$分布

概念

定义：若随机变量$X_1,X_2,\cdots ,X_n$相互独立，且都服从标准正态分布，则随机变量$X=\sum _{i=1}^n{X}_i^2$服从自由度为$n$的${\chi }^2$分布，记为$X\sim {\chi }^2(n)$，特别地$X_i^2\sim {\chi }^2(1)$。

对给定的$\alpha$（$0<\alpha <1$）称满足$P\{{\chi }^2>{\chi }_{\alpha }^2(n)\}={\int }_{{\chi }_{\alpha }^2(n)}^{+\infty }f(x)\text{d}x=\alpha$的${\chi }_{\alpha }^2(n)$为${\chi }^2(n)$分布的上$\alpha$分位点。

性质

• 若$X_1\sim {\chi }^2(n_1)$，$X_2\sim {\chi }^2(n_2)$，$X_1{X}_2$相互独立，则$X_1+X_2\sim {\chi }^2(n_1+n_2)$。一般，若$X_i\sim {\chi }^2(n_i)$（$i=1,2,\cdots ,m$），$X_1,X_2,\cdots ,X_m$相互独立，则$\sum _{i=1}^m{X}_i\sim {\chi }^2\left(\sum _{i=1}^m{n}_i\right)$。
• 若$X\sim {\chi }^2(n)$，则$EX=n$，$DX=2n$。

$t$分布

概念

也称为学生分布。

若随机变量$X\sim N(0,1)$，$Y\sim {\chi }^2(n)$，$XY$相互独立，则随机变量$t=\frac{X}{\sqrt{Y/n}}$服从自由度为$n$的$t$分布，记为$t\sim t(n)$。

当$t\to \infty$时，$t$分布就是标准正态分布。其是偶函数，所以$Et=0$。

t分布用于根据小样本来估计呈正态分布且方差未知的总体的均值。

性质

由$t$分布的概率密度$f(x)$图形的对称性可知$P\{t>-t_{\alpha }(n)\}=P\{t>t_{1-\alpha }(n)\}$，所以$t_{1-\alpha }(n)=-t_{\alpha }(n)$。

$F$分布

概念

若随机变量$X\sim {\chi }^2(n_1)$，$Y\sim {\chi }^2(n_2)$，且$X$与$Y$相互独立，则$F=\frac{X/n_1}{Y/n_2}$服从自由度为$(n_1,n_2)$的$F$分布，记为$F\sim F(n_1,n_2)$，其中$n_1$为第一自由度，$n_2$为第二自由度。

性质

• 若$F\sim F(n_1,n_2)$，则$\frac{1}{F}\sim F(n_2,n_1)$。
• $F_{1-\alpha }(n_1,n_2)=\frac{1}{F_{\alpha }}(n_2,n_1)$。

证明性质二：记$F\sim F(n_2,n_1)$。

$\therefore P\{F>F_{\alpha }(n_2,n_1)\}=\alpha$，$P\{F⩽F_{\alpha }(n_2,n_1)\}=1-\alpha$。

取倒数：$P\left\{\frac{1}{F}⩾\frac{1}{F_{\alpha }(n_2,n_1)}\right\}=1-\alpha$。

又根据性质1：$\frac{1}{F}\sim F(n_1,n_2)$，$P\{\frac{1}{F}⩾F_{1-\alpha }(n_1,n_2)\}=1-\alpha$。

即$F_{1-\alpha }(n_1,n_2)=\frac{1}{F_{\alpha }}(n_2,n_1)$。

💻 计算机专业视角

三大分布 = 三类检验的「引擎」。 它们不是孤立的：${\chi }^2$ 由正态平方和而来，刻画「方差」类统计量（方差检验、拟合优度、独立性检验都用它）；$t$ 分布 = 标准正态 $÷$ 归一化的 ${\chi }^2$，专门处理「方差未知、小样本」下的均值推断，机器学习里比较两个模型在 $k$ 折交叉验证上的得分差异、判断 A/B 实验在小样本时是否显著，用的就是 $t$ 检验；$F$ 分布 = 两个 ${\chi }^2$ 之比，用于「比较两组方差」和方差分析（ANOVA）、回归显著性检验。记住它们之间的构造关系，比死记概率密度有用得多。

🌱 大一新生提示

先抓住每个分布「由什么拼出来」，自由度就是「独立正态的个数」。 ${\chi }^2(n)$：$n$ 个独立标准正态的平方和；$t(n)$：一个标准正态除以 $\sqrt{{\chi }^2(n)/n}$，长得像正态但尾巴更厚，$n\to \infty$ 时就退化成标准正态；$F(n_1,n_2)$：两个 ${\chi }^2$ 各自除以自由度后相除。这三个分布的「上 $\alpha$ 分位点」（如 ${\chi }_{\alpha }^2(n)$）都要查表，含义是「右侧尾部面积恰为 $\alpha$ 的那个临界值」。

正态总体下结论

设$X_1,X_2,\cdots ,X_n$是来自正态总体$N(\mu ,{\sigma }^2)$的一个样本，$\overline{X}=\sum _{i=1}^n{X}_i$，$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2$分别是样本的均值和方差，则：

1. $\overline{X}\sim N\left(\mu ,\frac{{\sigma }^2}{n}\right)$，即$\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}=\frac{\sqrt{n}(\overline{X}-\mu )}{\sigma }\sim N(0,1)$。
2. $\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2\sim {\chi }^2(n)$。
3. $\frac{(n-1)S^2}{{\sigma }^2}=\sum _{i=1}^n{\left(\frac{X_i-\overline{X}}{\sigma }\right)}^2\sim {\chi }^2(n-1)$（$\mu$未知时，在2中用$\overline{X}$代替$\mu$）。
4. $\overline{X}$与$S^2$相互独立，$\frac{\sqrt{n}(\overline{X}-\mu )}{S}\sim t(n-1)$（$\sigma$未知时在1中用$S$代替$\sigma$）。进一步有$\frac{n(\overline{X}-\mu {)}^2}{S^2}\sim F(1,n-1)$。

设$X_1,X_2,\cdots ,X_m$是来自正态总体$N({\mu }_1,{\sigma }_1^2)$的一个样本，设$Y_1,Y_2,\cdots ,Y_n$是来自正态总体$N({\mu }_2,{\sigma }_2^2)$的一个样本，$X_i$和$Y_i$相互独立，$\overline{X}=\frac{1}{m}\sum _{i=1}^m{X}_i$、$\overline{Y}=\frac{1}{n}\sum _{i=1}^n{Y}_i$、$S_1^2=\frac{1}{m-1}\sum _{i=1}^m(X_i-\overline{X}{)}^2$、$S_2^2=\frac{1}{n-1}\sum _{i=1}^n(Y_i-\overline{Y}{)}^2$分别是样本$X_i$、$Y_i$的均值和方差，$S_w=\frac{1}{m+n-2}[(m-1)S_1^2+(n-1)S_2^2]=\frac{1}{m+n-2}[\sum _{i=1}^m(X_i-\overline{X}{)}^2+\sum _{i=1}^n(Y_i-\overline{Y}{)}^2]$，则：

1. $\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}}}\sim N(0,1)$。（根据期望和方差性质）
2. $\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}=\frac{S_1^2}{S_2^2}\cdot \frac{{\sigma }_2^2}{{\sigma }_1^2}\sim F(m-1,n-1)$。
3. 当${\sigma }_1^2={\sigma }_2^2$时，$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{m}+\frac{1}{n}}}\sim t(m+n-2)$。

参数点估计

概念

定义：设总体$X$的分布函数为$F(x;\theta )$，其中$\theta$为一个未知参数，$X_1,X_2,\cdots ,X_n$是取自总体$X$的一个样本。由样本构造一个适当的统计量$\hat{\theta }(X_1,X_2,\cdots ,X_n)$作为参数$\theta$的估计，称统计量$\hat{\theta }(X_1,X_2,\cdots ,X_n)$为$\theta$的估计量，一般记为$\hat{\theta }=\hat{\theta }(X_1,X_2,\cdots ,X_n)$。

如果$x_1,x_2,\cdots ,x_n$是样本的一个观察值，将其代入估计量$\hat{\theta }$中得到值$\hat{\theta }(x_1,x_2,\cdots ,x_n)$，并且此值作为未知参数$\theta$的参数值，统计值称这个值为未知参数$\theta$的估计值。

建立一个适当的统计量作为未知参数$\theta$的估计量并以相应的观察值作为未知参数估计值的问题，就是参数$\theta$的点估计问题。

方法

矩估计法

使用替换思想，用样本距来估计总体距。

1. 写出总体$k$阶矩${\mu }_k=E(X^k)$，其中$\mu$含有参数$\theta$。
2. 写出样本$k$阶矩$A_k=\frac{1}{n}\sum _{i=1}^n{X}^k$，$A_k$只与样本有关。
3. 令总体$k$阶矩=样本$k$阶矩，即$E(X^k)=\frac{1}{n}\sum _{i=1}^n{X}^k$，就得到了$\theta$的方程。

例题：来自总体的$X$的简单随机样本$X_1,X_2,\cdots ,X_n$，总体$X$的概率分布为$X\sim \left(\begin{array}{ccc}-1& 0& 2\\ 2\theta & \theta & 1-3\theta \end{array}\right)$，其中$0<\theta <\frac{1}{3}$，求参数$\theta$的矩估计量。

解：令$\overline{X}=EX$，即$\frac{1}{n}\sum _{i=1}^n{X}_i=(-1)2\theta +0\theta +2(1-3\theta )=2-8\theta$。

所以$\hat{\theta }=\frac{2-\overline{X}}{8}$。

例题：来自总体的$X$的概率密度为$f(x)=\{\begin{array}{ll}(1+\theta )x^{\theta },& 0<x<1\\ 0,& \text{其他}\end{array}$，其中$\theta >-1$为未知参数，设$X_1,X_2,\cdots ,X_n$为来自总体$X$的样本容量为$n$的简单随机样本，求$\theta$的矩估计量。

解：令$\overline{X}=EX$，$EX={\int }_{-\infty }^{+\infty }xf(x)\text{d}x={\int }_0^{1}x(1+\theta )x^{\theta }\text{d}x=(1+\theta )\frac{x^{\theta +2}}{\theta +2}{|}_0^1=\frac{1+\theta }{2+\theta }$。

解得$\hat{\theta }=\frac{2\overline{X}-1}{1-\overline{X}}$。

最大似然估计

定义

对未知参数$\theta$进行估计时，在该参数可能取值的范围$I$内选取，使得样本获得次观测值$x_1,x_2,\cdots ,x_n$的概率最大的参数值$\hat{\theta }$作为$\theta$的估计，这样的$\hat{\theta }$最有利于$x_1,x_2,\cdots ,x_n$的出现。

设总体$X$是离散型，其概率分布为$P\{X=x\}=p(x;\theta )$，$\theta \in I$，$\theta$为未知参数，$X_1,X_2\cdots ,X_n$为$X$的一个样本，则$X_1,X_2,\cdots ,X_n$取值为$x_1,x_2,\cdots ,x_n$的概率为$P\{X_1=x_1,X_2=x_2,\cdots ,X_n=x_n\}=\prod _{i=1}^{n}P\{X_i=x_i\}=\prod _{i=1}^{n}p(x_i;\theta )$。显然这个概率值为$\theta$的函数，记为$L(\theta )=L(x_1,x_2,\cdots ,x_n;\theta )=\prod _{i=1}^{n}p(x_i;\theta )$。称$L(\theta )$为样本的似然函数。

定义：若存在$\hat{\theta }\in I$，使得$L(x_1,x_2,\cdots ,x_n;\hat{\theta })=\underset{\theta \in I}{\max }L(x_1,x_2,\cdots ,x_n;\theta )$，则称$\hat{\theta }=\hat{\theta }(x_1,x_2,\cdots ,x_n)$为参数$\theta$的最大似然估计，对应的统计量$\hat{\theta }(X_1,X_2,\cdots ,X_n)$称为参数$\theta$的最大似然估计量。

同理若总体$X$为连续型随机变量，其概率密度为$f(x;\theta )$，$\theta \in I$，则样本的似然函数为$L(\theta )=L(x_1,x_2,\cdots ,x_n;\theta )=\prod _{i=1}^{n}f(x_i;\theta )$。

定义：若存在$\hat{\theta }\in I$，使得$L(x_1,x_2,\cdots ,x_n)=\underset{\theta \in I}{\max }\prod _{i=1}^{n}f(x_i;\theta )$，则称$\hat{\theta }=\hat{\theta }(x_1,x_2,\cdots ,x_n)$为参数$\theta$的最大似然估计，对应的统计量$\hat{\theta }(X_1,X_2,\cdots ,X_n)$称为参数$\theta$的最大似然估计量。

步骤

1. 写出样本的似然函数。$L(\theta )=L(x_1,x_2,\cdots ,x_n;{\theta }_1,{\theta }_2,\cdots ,{\theta }_k)=\prod _{i=1}^{n}p(x_i;{\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$或$\prod _{i=1}^{n}f(x_i;{\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$。
2. 如果$p(x;{\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$或$f(x;{\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$关于${\theta }_i$可微，则令$\frac{\partial L(\theta )}{\partial {\theta }_i}=0$或$\frac{\partial \ln L(\theta )}{\partial {\theta }_i}=0$。由于$L(\theta )$是乘积形式，且$\ln x$单调增，所以$L(\theta )$域$\ln L(\theta )$在同一$\theta$处取极值，所以更多采用后面一种对数似然方程组来解。求得${\theta }_i$的最大似然估计量为$\hat{\theta }=\hat{\theta }(X_1,X_2,\cdots ,X_n)$（$i=1,2,\cdots ,k$）。
3. 如果$p(x;{\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$或$f(x;{\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$不可微，或似然方程组无解，则应由定义用其他方法求$\hat{\theta }$，如当$L(\theta )$为$\theta$的单调函数时，$\hat{\theta }$为$\theta$的取值上限或下限。

即将概率密度或概率分布连乘，然后取对数，再求导令其为0解出$\hat{\theta }$。

例题：来自总体的$X$的概率密度为$f(x)=\{\begin{array}{ll}(1+\theta )x^{\theta },& 0<x<1\\ 0,& \text{其他}\end{array}$，其中$\theta >-1$为未知参数，设$X_1,X_2,\cdots ,X_n$为来自总体$X$的样本容量为$n$的简单随机样本，求$\theta$的最大似然估计量。

解：这是上面的矩估计的题目的延申。

首先$L(\theta )=(1+\theta )x_1^{\theta }\cdot (1+\theta )x_2^{\theta }\cdots =(1+\theta )\cdot \prod _{i=1}^n{x}_i^{\theta }$。

取对数$\ln L(\theta )=n\ln (1+\theta )+\theta \sum _{i=1}^n\ln x_i$

对其求导：$\frac{\text{d}\ln L(\theta )}{\text{d}\theta }=\frac{n}{1+\theta }+\sum _{i=1}^n\ln x_i=0$，解得$\hat{\theta }=-\frac{n}{\sum _{i=1}^n\ln x_i}-1$。

最大似然估计量为$-\frac{n}{\sum _{i=1}^n\ln X_i}-1$。

注意：估计值用小写$x$，估计量用大写$X$。

💻 计算机专业视角

最大似然估计（MLE）= 机器学习里大多数「损失函数」的来源。 「让观测数据出现的概率最大」这一思想，正是训练模型的标准范式：对似然取负对数（因为乘积连乘易下溢、对数把连乘变连加且单调性不变），最小化负对数似然就得到常见损失——高斯噪声下的 MLE 等价于最小二乘，分类问题伯努利/类别分布下的 MLE 等价于交叉熵损失。而矩估计法（用样本矩匹配总体矩）则对应「矩匹配」「广义矩估计 GMM」一类更轻量的做法。求 MLE 的「取对数→求导→令导数为 0」三步，就是梯度下降找极值的解析版本。

🌱 大一新生提示

两种求估计量的方法，套路都很固定。 ① 矩估计：令「总体的期望（含未知参数 $\theta$）」等于「样本均值 $\overline{X}$」，解方程得 $\hat{\theta }$——简单粗暴。② 最大似然：把每个样本点的概率密度连乘得似然函数 $L(\theta )$，取对数变成连加（更好求导），再对 $\theta$ 求导令其为 $0$ 解出 $\hat{\theta }$。记住一个约定：求解过程用小写 $x$（具体数值），最后写「估计量」时换成大写 $X$（随机变量）。

估计量平均标准

不同的估计法所产生的估计量有所差异，需要有一套标准来评判估计量。

无偏性

定义：若参数$\theta$的估计量$\hat{\theta }=\hat{\theta }(X_1,X_2,\cdots ,X_n)$对一切$n$及$\theta \in I$，有$E\hat{\theta }=\theta$，则称$\hat{\theta }$为$\theta$的无偏估计量。

例题：设$X_1,X_2,\cdots ,X_n$是正态总体$X\sim N(\mu ,{\sigma }^2)$的简单随机样本，为使$D=k\sum _{i=1}^{n-1}(X_{i+1}-X_i{)}^2$称为总体方差${\sigma }^2$的无偏估计量，求$k$。

解：已知总体方差为${\sigma }^2$，所以代入：

$ED={\sigma }^2=kE(\sum _{i=1}^{n-1}(X_{i+1}-X_i{)}^2)=kE(\sum _{i=1}^{n-1}(X_{i+1}^2-2X_i{X}_{i+1}+X_i^2))$。

已知样本方差$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2=\frac{1}{n-1}\left(\sum _{i=1}^n{X}_i^2-n{\overline{X}}^2\right)$。所以为什么样本方差要除以$n-1$而不是$n$？可以利用无偏性来证明。

证明：根据方差$D{X}_i=E{X}_i^2-E^2{X}_i$，从而$E{X}_i^2=D{X}_i+E^2{X}_i={\sigma }^2+{\mu }^2$，类似$D\overline{X}=E({\overline{X}}^2)-(E\overline{X}{)}^2$，$D\overline{X}=D\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)=\frac{1}{n^2}\sum _{i=1}^{n}D{X}_i=\frac{1}{n^2}n{\sigma }^2=\frac{{\sigma }^2}{n}$。

$\therefore E({\overline{X}}^2)=D\overline{X}+(E\overline{X}{)}^2=\frac{{\sigma }^2}{n}+{\mu }^2$。

所以对样本方差求期望：$E{S}^2=E\left(\frac{1}{n-1}\left(\sum _{i=1}^n{X}_i^2-n{\overline{X}}^2\right)\right)=\frac{1}{n-1}\left(\sum _{i=1}^{n}E(X_i^2)-nE({\overline{X}}^2)\right)=\frac{1}{n-1}\left(n({\sigma }^2+{\mu }^2)-n\left(\frac{{\sigma }^2}{n}+{\mu }^2\right)\right)={\sigma }^2$。

有效性

也称为最小方差性。只有同样的无偏性才能比较有效性。

定义：设$\widehat{{\theta }_1}=\widehat{{\theta }_1}(X_1,X_2,\cdots ,X_n)$与$\widehat{{\theta }_2}=\widehat{{\theta }_2}(X_1,X_2,\cdots ,X_n)$都是$\theta$的无偏估计量，若$D(\widehat{{\theta }_1})<D(\widehat{{\theta }_2})$，则$\widehat{{\theta }_1}$比$\widehat{{\theta }_2}$有效。

$E{X}_i^2=E{X}_{i+1}^2=(E{X}_{i+1}{)}^2+D{X}_{i+1}={\mu }^2+{\sigma }^2$，$2E{X}_{i}E{X}_{i+1}=2(E{X}_i{)}^2=2{\mu }^2$。

代入：$=k\sum _{i=1}^{n-1}(2{\mu }^2+2{\sigma }^2-2{\mu }^2)=2k{\sigma }^2(n-1)=\sigma$。解得$k=\frac{1}{2(n-1)}$。

一致性

也称为相合性。

定义：设$\hat{\theta }=\hat{\theta }(X_1,X_2,\cdots ,X_n)$为未知参数$\theta$的估计量，若对任意$ϵ>0$，有$\underset{n\to \infty }{\lim }P\{|\hat{\theta }-\theta |<ϵ\}=1$，即$\hat{\theta }\stackrel{P}{⟶}\theta (n\to \infty )$，则称$\hat{\theta }$为$\theta$的一致估计量（相合估计量）。

💻 计算机专业视角

无偏 / 有效 / 一致 ≈ 评估一个估计器（estimator）好坏的三把尺子。 「无偏」对应偏差 bias 为零（$E\hat{\theta }=\theta$）；「有效」对应方差 variance 更小——这两者正是机器学习里 偏差-方差权衡（bias-variance tradeoff） 的源头，实践中常允许一点偏差去换更小的方差（如岭回归的正则化、有偏的 BatchNorm 方差）。「一致性」则对应「样本量趋于无穷时估计依概率收敛到真值」——它和大数定律是同一件事，是「数据越多越准」这一直觉的严格表述，也是 SGD、经验风险最小化能逼近真实最优的理论依据。

🌱 大一新生提示

三个标准记成三句话。 ① 无偏性：估计量的期望正好等于真值，$E\hat{\theta }=\theta$，没有系统性偏高或偏低。② 有效性：在都无偏的前提下，谁的方差小谁更「有效」（更稳）——所以比较有效性必须先都是无偏的。③ 一致性：样本越多，估计越贴近真值（依概率收敛）。这三条互不蕴含：无偏不一定方差小，无偏也不一定一致。

参数区间估计与假设检验

区间估计和假设检验都是基于小概率事件基本上不可能发生的情况。

区间估计

区间估计是根据样本估计总体期望$\mu$所在的区间。有两个参数，一个是区间长度，一个是落入概率。

💻 计算机专业视角

置信区间 ≈ 工程报告里的「误差棒」和 A/B 实验的「区间估计」。 点估计只给一个数（如 CTR = 3.2%），置信区间则给出「真值大概率落在 $[3.0\%,3.4\%]$」这样的范围，区间越窄说明估计越精确。它的宽度正比于 $\frac{\sigma }{\sqrt{n}}$（标准误 standard error），所以样本量翻 $4$ 倍、区间才缩一半——这解释了为什么 A/B 测试要跑够样本量。注意常见误解：「$95\%$ 置信」不是「真值有 $95\%$ 概率在此区间」，而是「这套方法重复很多次，约 $95\%$ 的区间会盖住真值」。

🌱 大一新生提示

区间估计 = 给真值画一个「大概在这个范围」的区间，并附上把握程度。 比 $\mu \approx 5$ 这种点估计更有用，因为它告诉你误差有多大。两个关键词：置信度 $1-\alpha$（你有多大把握，常取 $95\%$）和显著性水平 $\alpha$（允许犯错的小概率，常取 $0.05$）。求区间的通用套路叫「枢轴变量法」：找一个含 $\mu$ 但分布已知（正态/$t$/${\chi }^2$）的量，用分位点把它夹在中间，再反解出 $\mu$ 的范围。

概念

定义：已知从总体$X$中取出一部分样本$X_n$，则这些样本的平均值$\overline{X}$不一定等于$X$的期望即应该的平均值$\mu$，但是其之间的差距应该不大，即差距较小的概率较大，从而表示为$P(|\overline{X}-\mu |<\Delta )=1-\alpha$，$\alpha$为显著性水平，其一般是一个较小的正数。而$1-\alpha$称为置信度或置信水平。

求置信区间的枢轴变量法：

1. 找到与待估计参数$\theta$有关的统计量$T$。（$T$一般是$\theta$的点估计）
2. 找到一个函数$I=I(T,\theta )$，$T$为已知常量，$\theta$为未知参数，其分布$F$已知（正态、${\chi }^2$、$t$、$F$）且与$\theta$无关，则$I$为枢轴变量。
3. 给定$1-\alpha$，确定$F$上的上$\frac{\alpha }{2}$分位数$Z_{\frac{\alpha }{2}}$，上$1-\frac{\alpha }{2}$分位数$Z_{1-\frac{\alpha }{2}}$，则$P\{Z_{1-\frac{\alpha }{2}}⩽I(T,\theta )⩽Z_{\frac{\alpha }{2}}\}=1-\alpha$。
4. 求出$(\underline{\theta },\overline{\theta })$是参数$\theta$的置信度为$1-\alpha$的区间估计，则区间$(\underline{\theta },\overline{\theta })$包含参数$\theta$的概率为$1-\alpha$。

正态总体均值的置信空间

估计$\mu$而$\sigma$已知

假设$X\sim N(\mu ,{\sigma }^2)$（若不服从正态分布就用中心极限定理来解决）。

即$\overline{X}\sim N\left(\mu ,\frac{{\sigma }^2}{n}\right)$，规范化后记枢轴变量$\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}=U$，则$U\sim N(0,1)$。

又中间面积为$1-\alpha$，得到两端面积$\frac{\alpha }{2}$。

得到上$\alpha$分位数$U_{\frac{\alpha }{2}}$，所以$P\left(\left|\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\right|⩽U_{\frac{\alpha }{2}}\right)=1-\alpha$。

左边解得$P\left(\overline{X}-\frac{\sigma }{\sqrt{n}}{U}_{\frac{\alpha }{2}}⩽\mu ⩽\overline{X}+\frac{\sigma }{\sqrt{n}}{U}_{\frac{\alpha }{2}}\right)=1-\alpha$。

解得$\mu \in [\overline{X}-U_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}},\overline{X}+U_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}}]$。

这个$\mu$所处的区间就是置信区间，区间上限就是置信上限，区间下限就是置信下限。

估计$\mu$而$\sigma$未知

当$\sigma$未知的时候就无法根据$\sigma$求出置信区间了，所以根据正态总体下的结论，用样本方差$S$代替方差$\sigma$，且$\frac{(\overline{X}-\mu )}{S/\sqrt{n}}\sim t(n-1)$。

令枢轴变量$\frac{\overline{X}-\mu }{S/\sqrt{n}}=t$，所以$t\sim t(n-1)$。同样$t$分布图形的中间面积$1-\alpha$，则两边面积为$\frac{\alpha }{2}$。

可得上$\alpha$分位点$t_{\frac{\alpha }{2}}(n-1)$，所以$P\left(\left|\frac{\overline{X}-\mu }{S/\sqrt{n}}\right|⩽t_{\frac{\alpha }{2}}(n-1)\right)=1-\alpha$，

左边解得$P\left(\overline{X}-\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n-1)⩽\mu ⩽\overline{X}+\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n-1)\right)=1-\alpha$。

解得$\mu \in [\overline{X}-t_{\frac{\alpha }{2}}(n-1)\frac{S}{\sqrt{n}},\overline{X}+t_{\frac{\alpha }{2}}(n-1)\frac{S}{\sqrt{n}}]$。

估计${\sigma }^2$而$\mu$已知

由于需要利用$\mu$来估计${\sigma }^2$，所以令枢轴变量$\chi =\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2\sim {\chi }^2(n)$。

所以$P\left({\chi }_{1-\frac{\alpha }{2}}^2(n)⩽\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2⩽{\chi }_{\frac{\alpha }{2}}^2(n)\right)=1-\alpha$，由于${\chi }^2$分布的图形是不对称的，所以上下限都需要单独查出。

解得${\sigma }^2\in \left[\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\chi }_{\frac{\alpha }{2}}^2(n)},\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n)}\right]$。

估计${\sigma }^2$而$\mu$未知

由于$\mu$未知，所以不可用了，使用$\overline{X}$替换$\mu$。令枢轴变量$\chi =\frac{(n-1)S^2}{{\sigma }^2}=\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\overline{X}{)}^2\sim {\chi }^2(n-1)$。

同理解得$\left[\frac{(n-1)S^2}{{\chi }_{\frac{\alpha }{2}}^2(n-1)},\frac{(n-1)S^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n-1)}\right]$。

从而得到基本置信空间公式：

参数	条件	置信区间
$\mu$	$\sigma$已知	$\left[\overline{X}-\frac{\sigma }{\sqrt{n}}{U}_{\frac{\alpha }{2}},\overline{X}+\frac{\sigma }{\sqrt{n}}{U}_{\frac{\alpha }{2}}\right]$
$\mu$	$\sigma$未知	$\left[\overline{X}-\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n-1),\overline{X}+\frac{S}{\sqrt{n}}{t}_{\frac{\alpha }{2}}(n-1)\right]$
$\sigma$	$\mu$已知	${\sigma }^2\in \left[\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\chi }_{\frac{\alpha }{2}}^2(n)},\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n)}\right]$
$\sigma$	$\mu$未知	$\left[\frac{(n-1)S^2}{{\chi }_{\frac{\alpha }{2}}^2(n-1)},\frac{(n-1)S^2}{{\chi }_{1-\frac{\alpha }{2}}^2(n-1)}\right]$

假设检验

已经有了对期望$\mu$的假设，对这个假设进行检验。若所处的区间在拒绝域中，就拒绝原假设。

💻 计算机专业视角

假设检验 ≈ A/B 测试判断「新版本是否真的更好」的统计框架。 原假设 $H_0$ 通常是「没有差异 / 没有效果」，备择假设 $H_1$ 是「有差异」。计算检验统计量、若落入拒绝域就「拒绝 $H_0$」——这等价于「$p$ 值 $<\alpha$ 则认为结果显著」。$p$ 值就是「在 $H_0$ 为真的前提下，观测到当前或更极端结果的概率」，小到一定程度就说明 $H_0$ 难以解释数据。工业界的实验平台、特征显著性筛选、模型对比，本质都在跑这套流程；也要警惕「$p$ 值操纵 / 多重比较」带来的假阳性。

🌱 大一新生提示

核心逻辑：「小概率事件在一次试验中几乎不发生」的反证法。 先假设 $H_0$ 成立（如「均值就是 ${\mu }_0$」），算出在这个假设下样本应有的分布；如果实际观测落在了「本不该出现」的拒绝域（小概率区域），就说明假设站不住，于是拒绝 $H_0$。三种检验形式：双边（$\theta \ne {\theta }_0$，拒绝域在两端）、右边、左边（单边，拒绝域在一侧）。$\sigma$ 已知用 $U$（正态）检验，$\sigma$ 未知用 $t$ 检验——和置信区间用的统计量一一对应。

思想

已经有了假设样本期望为$\mu ={\mu }_0$。则$P(|\overline{X}-{\mu }_0|<\Delta )=1-\alpha$，所以取对立事件$P(|\overline{X}-{\mu }_0|⩾\Delta )=\alpha$，这是一个小概率事件。若对这个小概率事件发生了，则否定原假设。

若$\sigma$已知，则$\Delta =Z_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}}$，则区间$(-\infty ,{\mu }_0-\Delta ]\cup [{\mu }_0+\Delta ,+\infty )$称为拒绝域，即小概率发生的区间。

若$\sigma$未知，则$\Delta =t_{\frac{\alpha }{2}}(n-1)\frac{S}{\sqrt{n}}$，拒绝域一样。

设$\theta$为总体位置参数，${\theta }_0$为已知常数，则假设检验类型：

类型	$H_0$	$H_1$
双边检验	$\theta ={\theta }_0$	$\theta \ne {\theta }_0$
单边检验（右边）	$\theta ⩽{\theta }_0$	$\theta >{\theta }_0$
单边检验（左边）	$\theta ⩾{\theta }_0$	$\theta <{\theta }_0$

假设检验步骤：

1. 根据问题要求提出原假设$H_0$和备择假设$H_1$。
2. 根据假设和条件确定检验统计量，在$H_0$成立的条件下确定其分布。
3. 给定显著性水平$\alpha$，在$H_0$成立的条件下根据$P\{H_0\text{为真，拒绝}{H}_0\}⩽\alpha$确定拒绝域和临界点。
4. 由样本值计算出检验统计量值，若该值落入拒绝域，则拒绝$H_0$，否则接受$H_0$。

正态总体下的六大检验与拒绝域

检验参数	条件	原假设$H_0$	备择假设$H_1$	检验法与统计量	拒绝域
$\mu$	$\sigma ={\sigma }_0$	$\mu ={\mu }_0$	$\mu \ne {\mu }_0$	$U$检验，$U=\frac{\overline{X}-{\mu }_0}{{\sigma }_0/\sqrt{n}}\sim N(0,1)$	$|u|⩾u_{\frac{\alpha }{2}}$
$\mu$	$\sigma ={\sigma }_0$	$\mu ⩽{\mu }_0$	$\mu >{\mu }_0$	$U$检验，$U=\frac{\overline{X}-{\mu }_0}{{\sigma }_0/\sqrt{n}}\sim N(0,1)$	$u⩾u_{\alpha }$
$\mu$	$\sigma ={\sigma }_0$	$\mu ⩾{\mu }_0$	$\mu <{\mu }_0$	$U$检验，$U=\frac{\overline{X}-{\mu }_0}{{\sigma }_0/\sqrt{n}}\sim N(0,1)$	$u⩽u_{\alpha }$
$\mu$	$\sigma$未知	$\mu ={\mu }_0$	$\mu \ne {\mu }_0$	$T$检验，$T=\frac{\overline{X}-{\mu }_0}{S/\sqrt{n}}\sim t(n-1)$	$|t|⩾t_{\frac{\alpha }{2}}(n-1)$
$\mu$	$\sigma$未知	$\mu ⩽{\mu }_0$	$\mu >{\mu }_0$	$T$检验，$T=\frac{\overline{X}-{\mu }_0}{S/\sqrt{n}}\sim t(n-1)$	$t⩾t_{\alpha }(n-1)$
$\mu$	$\sigma$未知	$\mu ⩾{\mu }_0$	$\mu <{\mu }_0$	$T$检验，$T=\frac{\overline{X}-{\mu }_0}{S/\sqrt{n}}\sim t(n-1)$	$t⩽t_{\alpha }(n-1)$
${\sigma }^2$	$\mu$已知	${\sigma }^2={\sigma }_0^2$	${\sigma }^2\ne {\sigma }_0^2$	${\chi }^2$检验，${\chi }^2=\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\sigma }_0^2}\sim {\chi }^2(n)$	${\chi }^2⩽{\chi }_{1-\frac{\alpha }{2}}^2(n)$ 或 ${\chi }^2⩾{\chi }_{\frac{\alpha }{2}}^2(n)$
${\sigma }^2$	$\mu$已知	${\sigma }^2⩽{\sigma }_0^2$	${\sigma }^2>{\sigma }_0^2$	${\chi }^2$检验，${\chi }^2=\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\sigma }_0^2}\sim {\chi }^2(n)$	${\chi }^2⩾{\chi }_{\alpha }^2(n)$
${\sigma }^2$	$\mu$已知	${\sigma }^2⩾{\sigma }_0^2$	${\sigma }^2<{\sigma }_0^2$	${\chi }^2$检验，${\chi }^2=\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\sigma }_0^2}\sim {\chi }^2(n)$	${\chi }^2⩽{\chi }_{1-\alpha }^2(n)$
${\sigma }^2$	$\mu$未知	${\sigma }^2={\sigma }_0^2$	${\sigma }^2\ne {\sigma }_0^2$	${\chi }^2$检验，${\chi }^2=\frac{(n-1)S^2}{{\sigma }_0^2}\sim {\chi }^2(n-1)$	${\chi }^2⩽{\chi }_{1-\frac{\alpha }{2}}^2(n-1)$ 或 ${\chi }^2⩾{\chi }_{\frac{\alpha }{2}}^2(n-1)$
${\sigma }^2$	$\mu$未知	${\sigma }^2⩽{\sigma }_0^2$	${\sigma }^2>{\sigma }_0^2$	${\chi }^2$检验，${\chi }^2=\frac{(n-1)S^2}{{\sigma }_0^2}\sim {\chi }^2(n-1)$	${\chi }^2⩾{\chi }_{\alpha }^2(n-1)$
${\sigma }^2$	$\mu$未知	${\sigma }^2⩾{\sigma }_0^2$	${\sigma }^2<{\sigma }_0^2$	${\chi }^2$检验，${\chi }^2=\frac{(n-1)S^2}{{\sigma }_0^2}\sim {\chi }^2(n-1)$	${\chi }^2⩽{\chi }_{1-\alpha }^2(n-1)$

两类错误

显著性水平$\alpha$实际上是犯第一类错误的概率的上界。

类型	第一类错误	第二类错误
含义	若$H_0$为真，否定$H_0$（弃真）	若$H_0$为假，接受$H_0$（存伪）
发生概率	$\alpha =P\{\text{拒绝}{H}_0\mid H_0\text{为真}\}$	$\beta =P\{\text{接受}{H}_0\mid H_0\text{为假}\}=P\{\text{接受}{H}_0\mid H_1\text{为真}\}$
说明	仅控制犯第一类错误的概率的检验称为显著性检验，概率为显著性水平	当样本容量固定，则$\alpha$和$\beta$中任意一个减少，则另一个必然增大，若要同时增大，则只能增大样本容量

💻 计算机专业视角

第一类 / 第二类错误 ≈ 分类器的「假阳性 / 假阴性」，对应精确率与召回率的权衡。 第一类错误（弃真，$H_0$ 真却拒绝）就是假阳性 FP，其概率 $\alpha$ 即假阳率；第二类错误（存伪，$H_0$ 假却接受）就是假阴性 FN，其概率 $\beta$，而 $1-\beta$ 称为检验的功效（power），对应召回率/真阳率。样本量固定时 $\alpha$ 与 $\beta$ 此消彼长——这正是分类阈值在 ROC 曲线上滑动、精确率与召回率不可兼得的同一现象。想同时压低两类错误，唯一办法是加大样本量（机器学习里就是「加数据」）。

🌱 大一新生提示

两类错误记成「冤枉好人 vs 放走坏人」。 设 $H_0$ 是「无罪推定」：第一类错误（弃真）= $H_0$ 本来对，却被你拒绝了，像「冤枉好人」，概率记 $\alpha$；第二类错误（存伪）= $H_0$ 本来错，你却接受了，像「放走坏人」，概率记 $\beta$。关键结论：样本量不变时，想少冤枉人（减小 $\alpha$）就会多放走坏人（增大 $\beta$），两者按下葫芦浮起瓢；要两个都变小，只能去收集更多样本。我们平时控制的显著性水平 $\alpha$，就是给第一类错误概率设的上限。