随机事件与概率
基本概念
随机试验
定义:满足三个条件的就是随机试验:
- 试验可以在相同的条件下重复进行。
- 试验所以可能结果都是明确可知,且不止一个。
- 每次试验的结果事先不确定。
随机试验也称为试验,并用来表示。
随机试验 ≈ 计算机里的「带种子的随机数生成器」。 「可重复」对应固定随机种子 seed 后程序能复现同一串结果(实验可复现);「结果不止一个且事先不确定」对应每次 rand() 调用吐出不同的值。真实 CPU 没有真随机,靠的是伪随机数发生器(PRNG,如梅森旋转),用确定算法模拟随机——这正是蒙特卡洛模拟、随机化算法、数据集 shuffle 的底层基础。
一句话:随机试验就是「条件相同、能反复做、但结果碰运气」的实验。 比如抛硬币、掷骰子、抽一张牌。它必须满足三点:能在同样条件下重复、所有可能结果都清楚、但每次具体出哪个事先说不准。这三条是后面一切概率讨论的出发点。
随机事件
定义:一次试验中可能出现也可能补出现的结果称为随机事件,简称事件,并用大写字母来表示。
必然事件定义:每次试验中一定发生的事件,记为。
不可能事件定义:每次试验中一定不发生的事件,记为。
样本空间
随机试验的每一个不可再分的可能结果称为样本点,记为,样本点的全体组成的集合称为样本空间或基本事件空间,记为,即。
由一个样本点构成的事件称为基本事件。
随机事件总是由若干个基本事件构成,即是的子集。
样本点的个数就是基本事件的个数。
样本空间 = 程序的「状态空间」,事件 = 状态的子集。 样本空间 就是所有可能结果的集合,恰如穷举搜索/状态机里的全部状态;一个事件 就是满足某条件的状态子集,等价于一个布尔判定 A(ω) 为真的那些 。事件的交并补正好对应集合运算和位运算(&、|、~),这也是为什么用「位掩码」枚举子集在算法竞赛里如此常见。
一句话:样本空间是「所有可能结果的大袋子」,事件是「从袋子里圈出的一部分」。 掷一颗骰子,;「点数是偶数」这个事件就是子集 。每个单独结果(如「掷出 3」)叫基本事件,事件总是由若干基本事件拼成的。
事件
关系
若事件发生必然导致事件发生,则称事件包含事件(或被包含),记为。
如果且,则称事件相等,记为,是由完全相同的一些试验结果构成,是同一事件表面上看来两个不同说法。
若事件在事件与同时发生,则称为事件与的积或交,记为或。
有限个事件同时发生的事件为事件的积或交,记为或。
若,则称事件相容,否则互不相容或互斥。如果一些事件中任意两个事件都互斥,则这些事件两两互斥,简称互斥。
事件至少有一个发生的事件称为事件的和或并,记为。
有限个事件至少有一个发生的事件为事件的和或并,记为或。
事件发生而事件不发生的事件为事件的差,记为。
事件不发生的事件为事件的逆事件或对立事件,记为。
若或,(对一切的,),则称有限个事件构成一个完备事件组。
运算
定义可知:,等价于且。
- 吸收律:若,则,。
- 交换律:,。
- 结合律:,。
- 分配律:,,。
- 对偶律(德·摩根律):,。(长杠变短杠,开口换方向)
例题:判断是否成立。
解:,。
概率
定义
- 描述性定义:将随机事件发生的可能性大小的度量(非负)称为事件发生的概率,记为。
- 统计性定义:在相同条件下做重复试验,事件出现的次数和总的试验次数之比,称为事件在这次试验中出现的频率,当充分大时,频率将稳定与某常数附近,越大频率偏离这个常数的可能性越小,这个常数就是事件的概率。
- 公理化定义:设随机试验的样本空间为,如果对每一个事件都有一个确定的实数,且事件函数满足:①非负性:;②规范性:;③可列可加性:对于任意个互不相容事件有,则称为概率,为事件的概率。
概率类型
古典概型
定义:样本空间满足:①只有有限个样本点(基本事件);②每个样本点(基本事件)发生的可能性一样(等可能)。
若古典概型的基本事件总数为,事件包含个基本事件,也称为有利于的基本事件为个,则的概率为,这个概率就是的古典概率。
古典概型的关键是计数,常用的方法有三种:
- 列举法(直接查数法):基本事件为数不多使用。
- 集合对应法:
- 加法原理:完成一件事有类方法,第一类方法中有类方法,第二类办法有中方法,,第类方法中有类方法,所以完成此事共有种方法。
- 乘法原理:完成一件事情有个步骤,第一步有种方法,第二步有种方法,,第步有种方法,则完成此事共有种方法。
- 排列:从种不同的元素种取出个元素,并按照一定顺序排成一列,称为排列,所有排列的个数称为排列数,记为,当时,称为全排列。
- 组合:从种不同的元素种取出个元素,并组成一组,称为组合,所有组合的个数称为组合数,记为。
- 逆数法:先求中的基本事件数,将基本事件总数减去得中的基本事件数。常用于计算含有“至少”字样的事件的概率。
问题常见类型:
- 直接用定义求概率。
- 随机分配或随机占位。将个可辨质点是随机分配到个盒子中。若每盒最多可容纳一个质点,则一共有种分法;若每盒可以容纳任意多个质点,则一共有种分法。
- 简单随机抽样。设含有个元素,称为总体。各元素被抽到的可能性相同。若先后有放回取次,则有种抽法;若先后无放回取次,则有种抽法;若任取个,则有种抽法。
例题:5人共钓到3条鱼,每条鱼每个人钓到的可能性相同,求:
(1)3条鱼由不同人钓到的概率。
(2)有1人钓到两条鱼的概率。
(3)3条鱼由同一个人钓到的概率。
由题目可知这是一个随机分配的问题,总基本事件数为。
对于鱼而言没有明确的区分说明,所以这个就是个组合问题。
(1)解:令第一个事件为,因为每条鱼由不同的人钓到,即5人中恰有3人各钓到鱼,所以组合一共有种,即从5个人取3个人有这么多种的取法。这3个人需要钓到3条鱼,因为鱼是可辩的,所以每组有种分配方法。则。
(2)解:令第二个事件为,若一个人钓到两条,即从3条中任意选2,即,又是5个人中的一个人完成的,所以,所以有一个人钓到2条鱼共有种可能,此时还有一条鱼可以被其他4个人钓到,所以还要乘4。则。
(3)解:令第三个事件为,若一个人钓到三条,所以只有一种选法,然后有5个人可能钓到3条,所以是,则。
古典概型的核心是「计数」,这正是组合数学和算法复杂度分析的命脉。 古典概率 把求概率变成数两个数:有利结果数和总结果数。排列 、组合 、加法/乘法原理就是计数工具箱——它们也用来算哈希冲突概率、随机算法的期望、生日攻击的碰撞概率。「随机分配 个球到 个盒」就是哈希表里 个 key 落入 个桶的模型。
一句话:古典概型 = 「所有结果一样可能」时,数一数就能算概率。 公式 。难点全在「怎么数得不重不漏」:要分清「按顺序」(排列)还是「不计顺序」(组合)、能不能重复。先判断题目属于「有放回/无放回」「可辨/不可辨」,再套排列组合公式。
几何概型
定义:①样本空间是一个可度量的有界区域;②每个样本点发生的可能性都是一样,即样本点落入的某一可度量的子区域的可能性大小与的几何度量成正比,而与的位置与形状无关。
在几何概型随机试验中,若是样本空间的一个可度量的子区域,则事件的概率为,这个概率就是的几何概率。
古典概型的基本事件有限,而几何概型的基本事件无限且可几何度量。
几何概型 = 蒙特卡洛方法的数学原型。 「往区域里随机撒点,落入子区域的概率 = 面积之比」正是蒙特卡洛积分的思想:要估 ,就往单位正方形里撒大量随机点,数落入 圆内的比例再乘 4。要算高维积分、渲染光线追踪、做物理模拟,都靠这套「随机采样 + 比例估计」——维度越高,蒙特卡洛相对网格法越划算。
一句话:几何概型 = 「结果有无穷多个」时,用长度/面积/体积的比来算概率。 古典概型能一个个数,几何概型数不过来(比如「在 上随机取一个数」),就改用几何度量之比:。前提仍是「均匀」——每个点被取到的机会都一样。
性质
- 有界性:对于任一事件,有,且,。(不能推出,同样不能推出)
- 单调性:设为两个事件,若,则,。
公式
- 逆事件概率公式:对于任一事件,有。
- 加法公式:对于任意两个事件,有;对于三个事件,;对于四个事件,;若两两互不相容,则。
- 减法公式:。
- 条件概率公式:对于任意两个事件,若,我们称在已知事件发生的条件下,事件发生的概率为条件概率,记为。,。
- 乘法公式:若,则。一般而言,对于,,则。(的顺序不定)
- 全概率公式:若,(,),,则对任一事件,有,。。
- 贝叶斯公式:若,(,),,则对任一事件,有。
全概率公式是由因知果,而贝叶斯公式是执果索因。
贝叶斯公式 = 朴素贝叶斯分类器、垃圾邮件过滤、机器学习推断的引擎。 全概率公式按「各种原因」把结果概率拆开求和;贝叶斯公式反过来,已知结果倒推「最可能是哪个原因」——这正是分类任务:观测到特征(结果),求它属于各类别(原因)的后验概率 ,取最大者。垃圾邮件过滤、医学诊断、A/B 测试、贝叶斯网络全建立在这条公式上。 叫先验, 叫后验,观测不断把先验更新成后验。
一句话:全概率是「分情况求总账」,贝叶斯是「知道结果反猜原因」。 全概率:把一件事按几种互斥情形拆开,各情形概率乘上该情形下的条件概率,加起来就是总概率。贝叶斯:已经看到结果发生了,反过来问「这是由第 种原因造成的可能性有多大」。做题套路:先用全概率算出分母 ,再代入贝叶斯公式。
例题:若随机事件同时发生,也必然发生,且下列选项一定成立的是()。
解:同时发生,也必然发生则说明这个事件是包含于的,所以同时发生才能发生,但是反之不一定成立,,。
又,。
又,则。成立。
例题:已知,,,求。
解:。
,,,。
。
例题:每箱产品有10件,次品数从0到2都是等可能的,开箱检查时,任取1件。
(1)求抽到是正品的概率。
(2)若检测出次品就拒收,假如检验有误差,将1件正品误认为次品的概率为2%,1件次品被漏查认为是正品的概率是5%,求该箱产品通过验收的概率。
(1)解:已知次品数从0到2都是等可能的,从而令有0件次品为,有1件次品为,有2件次品为,事件出现的概率都是。
设取到正品的事件为,发生概率为对应次品情况下取到正品的可能性,根据全概率公式:。
(2)解:取出一件商品只有两个事件,是正品或是次品。
令通过验收的概率为,则分为两种情况,一种是抽出正品被认为是正品的情况,一种是抽出次品被认为是正品的情况,即根据全概率公式:。
例题:假设有两批数量相同的零件,已知有一批产品全部合格,另一批产品有25%不合格。从两批产品中任取1件,经检验是正品,放回原处,并在原所在批次再取1件,求这次产品是次品的概率。
解:首先因为是两堆零件。第一次抽到的零件合格,可能是100%的一堆,也可能是75%的一堆。这个概率是等可能的。
令为第一次从第批中取零件,则。
令取到正品为,第1批取到正品概率,第2批。
根据全概率公式取到正品:。
又已经检测到了是正品,即已经发生了,后面说的将产品放回原位再从原位抽一件零件检测判断是否为次品,即表示已知发生求是或的可能性,再求是次品的可能性。利用贝叶斯公式计算。
抽到正品原批次是概率:。
抽到正品原批次是概率:。
令为第二次从第批取零件,则,。
此时产品是次品的概率为。
独立性
事件独立性
- 描述性定义(直观性定义):设为两个事件,如果其中任何一个事件发生的概率不受另外一个事件发生与否的影响,则称事件与相互独立。设是个事件,如果其中任何一个或几个事件发生的概率都不受其余的某一个或几个事件发生与否的影响,则称事件相互独立。
- 数学定义:设为两个事件,如果,则称事件与事件相互独立,简称与独立。如。
「独立」是朴素贝叶斯里那个「朴素(naive)」假设的来源。 独立意味着 ,多个独立事件的联合概率可直接连乘,把指数级的联合分布压成线性个边缘分布相乘——这是概率模型能算得动的关键。朴素贝叶斯之所以「朴素」,就是强行假设各特征条件独立,从而把 拆成 。现实中特征未必真独立,但这一近似常常出奇地好用。
一句话:两件事独立 = 「一个发不发生,完全不影响另一个的概率」。 判定标准就一条:。注意别和「互斥」混了——互斥是「不能同时发生」(),独立是「互不影响」,两者通常不能兼得。还要分清「两两独立」和「相互独立」:三个事件两两相乘成立,未必三个一起乘也成立。
设为个事件,若堆其中任意有限个事件(),有,则称这个事件为相互独立。
如,若,,,,则称事件相互独立。若没有最后一个式子则只能称其两两独立。
例题:设是任意两个事件,其中,证明是事件相互独立的充要条件。
证明:先证必要性,即独立,则,,同理,所以必要性成立。
然后证明充分性,若。
根据减法公式,,使用交叉相乘得到,解得。从而充分性成立。
定理:若独立,则、、也独立。
例题:将一枚硬币独立地掷两次,设{掷第一次出现正面},{掷第二次出现正面},{正反面各出现一次},{出现正面两次},则事件()。
相互独立 相互独立
两两独立 两两独立
解:已知一共只有四种情况:{正,正}、{正,反}、{反,正}、{反,反}。
则,,,。
对于,,,。所以C。
重伯努利试验
独立试验定义:称试验为相互独立的,如果分别于各个试验相联系的任意个事件之间相互独立。
独立重复试验定义:独立表示与各试验相联系的事件之间相互独立,其中重复表示每个事件在各次试验中出现的概率不便。
伯努利试验定义:只针对失败、成功两种对立结果的试验,将伯努利试验重复进行次,就是重伯努利试验。
在计算伯努利试验概率的时候不仅要考虑每一类情况(出现几次)的次数,还有考虑其组合情况,即将多个情况的相加。
重伯努利试验 = 「重复 次独立成败试验」,是二项分布与随机化算法的模型。 每次试验只有成功/失败两种结果且概率不变,恰如反复掷一枚(不一定均匀的)硬币、或一个随机算法跑 次独立尝试。「 次中恰好成功 次」的概率 就是二项分布。蒙特卡洛重复采样、Bloom filter 的误判分析、随机算法「重复多次把失败率压到 」都靠它。
一句话:把同一个「成功/失败」试验独立重复 次,就是 重伯努利试验。 关键词是「独立」(各次互不影响)+「重复」(每次成功概率 都一样)。求「恰好成功 次」时,别忘了乘组合数 ——因为这 次成功可以发生在 次里的任意位置,有多种排法都要算进去。