大数定律与中心极限定理

依概率收敛

定义：设随机变量$X$与随机变量序列$\{X_n\}$（$n=1,2,3\cdots$），如果对任意的$ϵ>0$，有$\underset{n\to \infty }{\lim }P\{|X_n-X|⩾ϵ\}=0$或$\underset{n\to \infty }{\lim }P\{|X_n-X|<ϵ\}=1$，则称随机变量序列$\{X_n\}$依概率收敛于随机变量$X$，记为$\underset{n\to \infty }{\lim }{X}_n=X(P)$或$X_n\stackrel{P}{\to }X(n\to \infty )$。

即在某项后面的全部项全部落在区域内的概率为1。（不是严格的极限，可能存在超过范围的点，但是不影响后面的点在区域内）

通常使用伯努利试验类似的频率来估计概率，从而来极限逼近真实概率，但是进行试验时很可能不凑巧出现了概率很小的情况从而破坏了试验的概率随着频率变大而逼近真实概率，所以这种就是依概率收敛。比如抛硬币试验概率：$\frac{6}{10}$，$\frac{16}{20}$，$\frac{21}{40}$，其中$\frac{15}{20}$就是一个特殊的情况，但是不影响后面的收敛。

💻 计算机专业视角

依概率收敛 ≈ 随机算法「以高概率正确」。 工程里大量算法不保证每次都对，只保证「出错概率随规模趋于 0」：蒙特卡洛积分的估计值依概率收敛到真值，随机化算法（如 Miller-Rabin 素性测试）重复 $n$ 轮后误判概率 $\to 0$，随机梯度下降的迭代点依概率收敛到驻点。注意它和「几乎处处收敛」「均方收敛」是不同的收敛模式——依概率收敛最弱、最常用，只要求「偏差超过 $ϵ$ 的概率」消失，并不排除偶尔出现的离群点。

🌱 大一新生提示

一句话：样本越多，结果「几乎肯定」越来越准，但不排除偶尔翻车。 「依概率收敛」不是高数里那种「从某项之后永远落在范围内」的严格极限——它允许后面零星出现几个超出 $ϵ$ 的点，只要这些点出现的概率越来越小就行。就像抛硬币，频率会逐渐贴近 $0.5$，但偶尔来一段连续正面也正常，不影响整体趋势。把 $ϵ$ 想成「允许的误差」，$n\to \infty$ 时「误差超标」这件事的概率被压到 $0$。

大数定律

在满足一定的条件下，大数定律均为$\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{\to }E\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)$。

所以大数定律一般是考定律成立条件与结论正确性。

切比雪夫大数定律

定义：假设随机变量序列$\{X_n\}$（$n=1,2,3\cdots$）是相互独立的（不一定同分布），若期望$EX$存在，且方差$D{X}_i$（$i⩾1$）存在且一致有上界，即存在常数$C$，使得$D{X}_i⩽C$对一切$i⩾1$均成立，则$\forall ϵ>0$，$\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E{X}_i\right|<ϵ\right\}=1$，$\{X_n\}$服从大数定律：$\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{⟶}\frac{1}{n}\sum _{i=1}^{n}E{X}_i$。即$\overline{X}\stackrel{P}{\to }E\overline{X}$。

即均值收敛于期望的均值。

证明：$E\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)=\frac{1}{n}\sum _{i=1}^{n}E{X}_i$，又$X_i$不相关，则$Cov(X_i,X_j)=0$。

则$D\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)=\frac{1}{n^2}\sum _{i=1}^{n}D{X}_i⩽\frac{nC}{n^2}=\frac{C}{n}$。

又根据切比雪夫不等式$1⩾\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E{X}_i\right|<ϵ\right\}⩾1-\frac{D\left(\frac{1}{n}{\sum }_{i=1}^n{X}_i\right)}{{ϵ}^2}⩾1-\frac{C}{n{ϵ}^2}\stackrel{n\to +\infty }{\to }1$。

根据夹逼定理$\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E{X}_i\right|<ϵ\right\}=1$。

例题：设$X_1,X_2,\cdots ,X_n,\cdots$为相互独立的随机变量序列，$X_n$服从参数为$n$的指数分布（$n⩽1$），则下列随机变量序列中不服从切比雪夫大数定律的是()。

$A.X_1,\frac{1}{2}{X}_2,\cdots ,\frac{1}{n}{X}_n,\cdots$ $B.X_1,X_2,\cdots ,X_n,\cdots$

$C.X_1,2X_2,\cdots ,n{X}_n,\cdots$ $D.X_1,2^2{X}_2,\cdots ,n^2{X}_n,\cdots$

解：切比雪夫大数定律要求有两点，一个是随机变量序列有解，一个是方差存在上界，即$D{X}_i⩽C$。因为题目说明相互独立，所以只用考虑方差上界。

$\because X_n\sim E(n)$，$\therefore E{X}_n=\frac{1}{n}$，$D{X}_n=\frac{1}{n^2}$。

对于$A$，$D\left(\frac{1}{n}{X}_n\right)=\frac{1}{n^2}D{X}_n=\frac{1}{n^4}⩽1$。对于$B$，$D{X}_n=\frac{1}{n^2}⩽1$。

对于$C$，$D(n{X}_n)=n^2\frac{1}{n^2}=1$，对于$D$，$D(n^2{X}_n)=n^4\frac{1}{n^2}=n^2\stackrel{n\to \infty }{⟶}\infty$。

所以选择$D$。

💻 计算机专业视角

方差一致有上界 ≈ 模型「数值稳定」的前提。 切比雪夫大数定律不要求同分布，只要各项相互独立、期望存在、方差被同一个常数 $C$ 压住，均值就收敛。这正对应工程里对「输入尺度受控」的要求：如果某些特征的方差随维度爆炸（像例题中的 $n^2{X}_n$），求平均也无法稳定，类似深度网络里不做归一化（BatchNorm／LayerNorm）时激活值方差逐层放大导致训练发散。一致有界的方差是「平均能降噪」的数学保证。

🌱 大一新生提示

记住两个条件：相互独立 + 方差有共同的上限。 切比雪夫大数定律是用「切比雪夫不等式」推出来的，所以必须管得住方差——存在一个常数 $C$ 让所有 $D{X}_i⩽C$。它不要求各变量同分布。做例题时套路很固定：先算每项的方差，再看乘上系数后会不会随 $n$ 跑到无穷；像 $D(n^2{X}_n)=n^2\to \infty$ 就「方差没有上界」，不满足定律。

伯努利大数定律

定义：假设${\mu }_n$是$n$重伯努利试验中事件$A$发生的次数，在每次试验中事件$A$发生的概率为$p$（$0<p<1$），则$\frac{{\mu }_n}{n}\stackrel{P}{⟶}p$，即对任意的$ϵ>0$，有$\underset{n\to \infty }{\lim }P\left\{\left|\frac{{\mu }_n}{n}-p\right|<ϵ\right\}=\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E{X}_i\right|<ϵ\right\}=\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E{X}_i\right|<ϵ\right\}=1$。

可以看作通过$n$重伯努利试验，一个事件的试验概率$\frac{{\mu }_n}{n}$会逼近一个固定的事件概率$p$。

证明：$n$重伯努利试验，则${\mu }_n\sim B(n,p)$，$E_{{\mu }_n}=np$，$D_{{\mu }_n}=np(1-p)$。

则$E\left(\frac{{\mu }_n}{n}\right)=p$，$D\left(\frac{{\mu }_n}{n}\right)=\frac{p(1-p)}{n}$。

切比雪夫不等式：$\forall ϵ>0$，$1⩾P\{|\frac{{\mu }_n}{n}-p|<ϵ\}⩾1-\frac{p(1-p)}{n{ϵ}^2}\stackrel{n\to +\infty }{\to }1$。

根据夹逼定理$\underset{n\to \infty }{\lim }P\left\{\left|\frac{{\mu }_n}{n}-p\right|<ϵ\right\}=1$。

💻 计算机专业视角

伯努利大数定律 ≈ 「用频率估计概率」的理论靠山。 几乎所有数据驱动的估计都建立在它之上：点击率 CTR、转化率、A/B 测试里某个版本的胜率，本质都是「事件发生次数 $÷$ 试验次数」。这条定律保证样本量足够大时，观测频率 $\frac{{\mu }_n}{n}$ 依概率收敛到真实概率 $p$。它也解释了为什么蒙特卡洛方法能用「命中比例」估计面积或积分——把「落入区域」当作伯努利事件，频率即为概率的估计。

🌱 大一新生提示

它就是辛钦大数定律在「0-1 变量」上的特例。 把第 $i$ 次试验「事件 $A$ 发生记 $1$、不发生记 $0$」，那么 $\frac{{\mu }_n}{n}$ 就是这些 $0/1$ 的平均值，期望恰好是 $p$。所以「频率收敛到概率」其实是「平均收敛到期望」的具体版本。证明用的还是切比雪夫不等式：先算 $E\left(\frac{{\mu }_n}{n}\right)=p$、$D\left(\frac{{\mu }_n}{n}\right)=\frac{p(1-p)}{n}\to 0$，再夹逼。

辛钦大数定律

辛钦大数定律类似切比雪夫大数定律的特殊化，将序列约束为同分布。（但是对方差没有要求，所以不能按切比雪夫定律的证明来做）

定义：假设随机变量序列$\{X_n\}$（$n=1,2,3\cdots$）是相互独立的同分布的，如果$E{X}_i=\mu$（$i=1,2,\cdots$）存在，则$\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{⟶}\mu$，即对任意的$ϵ>0$有$\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\mu \right|<ϵ\right\}=1$。也可以转换为即$\overline{X}\stackrel{P}{\to }E\overline{X}$。

即能用平均数可以来逼近期望。

例题：假设随机变量序列$X_1,X_2,\cdots ,X_n,\cdots$相互独立，根据辛钦大数定律，当$n\to \infty$时，$\frac{1}{n}\sum _{i=1}^n{X}_i$依概率收敛于数学期望，只要$\{X_n\}$()。

$A.$有相同的数学期望 $B.$服从同一离散型分布

$C.$服从同一泊松分布 $D.$服从同一连续型分布

解：辛钦大数定律要求三点：随机变量序列独立、拥有同样分布、期望存在。

已知题目表示变量相互独立，所以只用证明有同样分布、有期望就可以。

对于$BD$而言满足是有分布的，但是此时不一定有期望，所以$BD$不行。

对于$A$有相同期望，只要求有期望就可以了，相同期望不一定同一分布。

对于$D$服从同一分布，且泊松分布期望存在。

例题：将一枚骰子重复投掷$n$次，当$n\to \infty$时，$n$次掷出的点数的算术平均值$\overline{X}$依概率收敛于何值？

解：根据题目，投掷是独立事件，发生概率是离散的同一分布，且期望存在$=\frac{1}{6}\sum _{i=1}^{6}i=3.5$，所以使用辛钦大数定律。

所以根据辛钦大数定律$\overline{X_n}\stackrel{P}{\to }E\overline{X_n}=E{X}_i=3.5$。

💻 计算机专业视角

辛钦大数定律 ≈ 经验风险最小化（ERM）和蒙特卡洛估计的基石。 机器学习里我们用「训练集上的平均损失」$\frac{1}{n}\sum L(f(x_i),y_i)$ 去近似「真实期望损失」$E[L]$——这一步合法，正是因为样本独立同分布、损失期望存在时，经验均值依概率收敛到期望（辛钦大数定律）。同理，蒙特卡洛估计 $\frac{1}{n}\sum g(X_i)\to E[g(X)]$ 也是它的直接应用。关键它不要求方差存在，只要期望存在即可；但这也意味着收敛速度它不保证——速度要靠后面的中心极限定理来刻画。

🌱 大一新生提示

三个条件：独立、同分布、期望存在，缺一不可。 这是最常用的大数定律，结论就一句话——「样本均值 $\overline{X}$ 依概率收敛到期望 $\mu$」。做选择题时按三条逐一检查：题目常给「相互独立」，于是重点看「是否同分布」和「期望是否存在」。注意「有相同期望」≠「同分布」，而「服从某个分布」也不等于「期望一定存在」（有些分布期望发散）。骰子那题就是典型：独立、同分布、期望 $=3.5$ 存在，直接套定律。

中心极限定理

中心极限定理总结来看均为：若$X_i$独立同分布于某一分布$F$，则$\sum _{i=1}^n{X}_i\stackrel{n\to \infty }{\sim }N(n\mu ,n{\sigma }^2)$。

即无论什么分布的事件在次数无限大的情况下近乎正态分布。

$n$一般大于10以上即可使用中心极限定理。

💻 计算机专业视角

中心极限定理 ≈ 「正态近似」无处不在的根本原因。 大数定律只说均值收敛到期望，中心极限定理进一步告诉你「收敛得多快、误差怎么分布」：均值减期望后按 $\sqrt{n}$ 放大，极限是正态分布。这是 bootstrap 重采样、置信区间、$A/B$ 测试显著性检验的理论核心——样本均值的抽样分布近似 $N(\mu ,{\sigma }^2/n)$，于是误差棒、$p$ 值、$z$ 检验全都能算。它也解释了为何机器学习里把各种噪声、测量误差默认建模为高斯：大量独立小扰动叠加，结果天然趋于正态。

🌱 大一新生提示

核心直觉：很多独立随机量加起来，无论原来什么分布，和都趋于正态。 这就是为什么生活中身高、测量误差等「众多因素叠加」的量大多呈钟形曲线。公式上记住标准化套路：若 $X_i$ 独立同分布、期望 $\mu$、方差 ${\sigma }^2$，则和 $\sum X_i\approx N(n\mu ,n{\sigma }^2)$，标准化成 $\frac{\sum X_i-n\mu }{\sqrt{n}\sigma }\approx N(0,1)$ 后查标准正态表。$n$ 一般大于 $10$ 就能用，这是它和大数定律最大的区别——大数定律谈「收敛到哪」，中心极限谈「波动长什么样」。

列维-林德伯格定理

定义：假设$\{X_n\}$是独立分布的随机变量序列，若$E{X}_i=\mu$，$D{X}_i={\sigma }^2>0$（$i=1,2,\cdots$）存在，则对任意的实数$x$，有$\underset{n\to \infty }{\lim }P\left\{\frac{\sum _{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }⩽x\right\}=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-\frac{t^2}{2}}\text{d}t=\Phi (x)$。（正态分布标准化）

定理要求：独立、同分布、期望方差存在。

$\frac{\sum _{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }\sim N(0,1)$，$\sum _{i=1}^n{X}_i\sim N(n\mu ,n{\sigma }^2)$。

例题：已知手套是使用寿命服从指数分布，单位为小时，且平均寿命为20小时。若一个人需要带手套进行工作，发现手套坏了就立刻换新继续工作，为保证该工人有95%的把握能工作2000小时，求应该为其准备手套的副数。

解：题目中需要为其准备手套，且所有使用寿命加在一起大于2000的概率为95%。这个问题是概率分布的和的问题，所以使用列维-林德伯格定理。

假设第$i$副手套的使用寿命为$X_i$，则$X_i\sim E(\lambda )$，又平均寿命为$20$小时，则$E(X_i)=\frac{1}{\lambda }=20$，即$\lambda =\frac{1}{20}$，$D(X_i)=\frac{1}{{\lambda }^2}=400$。

又根据中心极限定理，$\sum _{i=1}^n{X}_i\sim N(n\mu ,n{\sigma }^2)=N(20n,400n)$，

保证该工人有95%的把握能工作2000小时，则$P\{\sum _{i=1}^n{X}_i⩾2000\}\approx 0.95$，则标准化$P\left\{\frac{\sum X_i-20n}{20\sqrt{n}}⩾\frac{2000-20n}{20\sqrt{n}}\right\}\approx 0.95$，$1-P\left\{Z<\frac{100-n}{\sqrt{n}}\right\}\approx 0.95$，$Z=\frac{\sum X_i-20n}{20\sqrt{n}}\sim N(0,1)$，即$\Phi (\frac{100-n}{\sqrt{n}})\approx 0.05$，查表，$\frac{n-100}{\sqrt{n}}\approx 1.64$，$n\approx 118$。

棣莫弗-拉普拉斯定理

或简称拉普拉斯中心极限定理。是列维-林德伯格定理的特殊情况。

定义：假设随机变量$Y_n\sim B(n,p)$（$0<p<1$，$n⩾1$），则对任意实数$x$，有$\underset{n\to \infty }{\lim }P\left\{\frac{Y_n-np}{\sqrt{np(1-p)}}⩽x\right\}=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-\frac{t^2}{2}}\text{d}t=\Phi (x)$。

$\frac{Y_n-np}{\sqrt{np(1-p)}}\sim N(0,1)$，$X\sim N[np,np(1-p)]$。即二项分布的极限分布是正态分布。其中正态分布的期望和方差就是二项分布的期望和方差。

例题：生产线生产的产品成箱包装，每箱质量是随机的。假设每箱平均钟50千克，标准差为5，若用载重为5吨的汽车承运，试用中心极限定理说明每辆汽车最多可以装多少箱才能保证不超载的概率大于0.977。（$\Phi (2)=0.977$）

解：设$X_i$为第$i$箱质量，所以$E{X}_i=50$，$D{X}_i=25$。

记$T_n=\sum _{i=1}^n{X}_i$，$E{T}_n=50n$，$D{T}_n=25n$。

根据中心极限定理得到：$P\{T_n⩽5000\}=P\left\{\frac{T_n-50n}{5\sqrt{n}}⩽\frac{5000-50n}{5\sqrt{n}}\right\}\approx \Phi \left(\frac{5000-50n}{5\sqrt{n}}\right)>0.977=\Phi (2)$。

即$\frac{5000-50n}{5\sqrt{n}}⩾2$，即$n⩽98$，即选98。

💻 计算机专业视角

棣莫弗-拉普拉斯定理 ≈ 用正态近似二项分布，省掉昂贵的组合计算。 当 $n$ 很大时，直接算二项分布 $P\{Y_n=k\}=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}$ 会遇到巨大的组合数，数值上极易溢出；用 $N(np,np(1-p))$ 近似就能避开。这正是统计里「大样本下比例的 $z$ 检验」「置信区间 $\hat{p}\pm z\sqrt{\hat{p}(1-\hat{p})/n}$」的来源，也是 $A/B$ 测试判断点击率差异显著性的标准做法。经验法则 $np$ 与 $n(1-p)$ 都大于 $5$（或 $10$）时近似才够好，否则要用泊松近似或精确二项检验。

🌱 大一新生提示

它就是中心极限定理在「二项分布」上的特例。 二项分布 $B(n,p)$ 本质是 $n$ 个独立 $0/1$ 变量之和，套中心极限定理立刻得到：$n$ 大时它近似正态，且这个正态的期望、方差就用二项分布自己的 $np$ 和 $np(1-p)$。解题三步：① 写出 $E$、$D$；② 标准化成 $\frac{Y_n-np}{\sqrt{np(1-p)}}\approx N(0,1)$；③ 查表。装箱那道题虽然不是二项，但思路完全一样——求和、标准化、用 $\Phi$ 查值。