随机变量及其分布
一维随机变量
随机变量概念
定义:随机变量就是其值会随机而定的变量。设随机试验的样本空间,如果对每一个都有唯一的实数与之对应,并且对任意实数,是随机事件,则称定义在上的实值单值函数为随机变量,记为随机变量。
随机变量 = 把「随机结果」映射成「数」的函数,正是代码里 random() 返回值的数学模型。 定义强调 是个函数:输入一个试验结果 (如「正面」),输出一个数(如 1)。计算机里 int X = roll_dice()、float u = random() 得到的就是随机变量的一次「实现(realization)」。有了「数」才能做加减、求期望、画分布——这是把概率从「事件代数」推进到「可计算的数值」的关键一步。
一句话:随机变量就是「把随机结果翻译成数字」。 抛硬币结果是「正/反」,不好算;规定「正面记 1、反面记 0」,它就成了随机变量 。从此「事件」可以用「 等于几、 小于几」来描述,后面所有公式才能用上数学运算。记号 用大写,它取的具体值 用小写。
分布函数
概念
定义:设为随机变量,为任意实数,称函数(且取遍所有实数)为随机变量的分布函数,或称服从分布,记为。(随着从到,到到)
性质
同样是分布函数的充要条件:
- 是的单调不减函数,即对任意实数,有。
- 是的右连续函数,即对任意,有。(左空心右实心)
- ,。
应用
- 。
- 。是指分布函数下该点左极限的概率值。
- 。,。
一维离散型随机变量
定义:若随机变量只可能取有限个或可列各值,则称为离散型随机变量。
分布律
定义:,为的分布列、分布律或概率分布,记为。
概率分布常用表格或矩阵表示:
| 或$X\sim\left(\begin{array} |
x_1 & x_2 & \cdots \\
p_1 & p_2 & \cdots
\end{array}\right)$。
性质
数列是离散型随机变量的概率分布的充要条件是()且。
设离散型随机变量的概率分布为,则的分布函数,即离散型随机变量的分布律函数是一个左实右空的阶梯形函数。
,即某点的概率值为该点分布律值减去该点左极限的分布律值。
对实数轴上的任一集合有,特别地。
分布
0-1分布
定义:若的概率分布为,即,,则称服从参数为的0-1分布,记为()。
0-1分布基于一次伯努利试验,也称为伯努利计数变量。
二项分布
定义:如果的概率分布为(,),则称服从参数为的二项分布,记为。
二项分布基于重伯努利试验。
二项分布 = 「独立重复 次成败试验里成功几次」,对应 np.random.binomial(n, p)。 A/B 测试里 个访客有几个点击、压力测试中 个请求有几个超时、随机算法跑 次有几次命中——都服从 。它由 个独立 0-1 分布相加而来,这也是中心极限定理的最简例子: 大时二项分布逼近正态。计算 时直接乘阶乘会溢出,工程上常在对数空间算或用递推。
一句话:同一个「成功概率 」的试验独立做 次,成功次数就服从二项分布 。 公式 三部分: 是「 次成功落在哪几次」的排法数, 是成功 次, 是其余都失败。 时它就退化成最简单的 0-1 分布。
二项分布的分布律计算,总共进行试验次,已知成功的概率为,若成功了次,则次成功概率为,则失败次数为,从而失败概率为,因为次试验都是相互独立的,所以将成功的概率与失败的概率乘在一起。又在次中成功次就可以了,进行排列,所以还乘上。
泊松分布
定义:如果的概率分布为(,),则称服从参数为的泊松分布,记为。
泊松分布基于某场合某单位时间内源源不断的质点来流的个数,代表质点流动到来的强度。也可以代表稀有事件发生的概率。
泊松分布 = 「单位时间内随机到达事件的个数」,是排队论、网络流量、负载建模的核心。 每秒到达服务器的请求数、一段代码每千行的 bug 数、缓存未命中次数都近似服从泊松分布。它和指数分布是一对:到达「个数」服从泊松,相邻到达的「时间间隔」服从指数。 排队模型、令牌桶限流、容量规划全靠它估算。 既是均值也是方差,这条性质常用来快速判断数据是否「泊松式」。
一句话:泊松分布数的是「某段时间里某件稀有事发生了几次」。 比如「一小时内接到几个电话」「一页书有几个错字」。参数 就是平均发生次数。它其实是二项分布的极限——当试验次数 很大、单次成功概率 很小、而 保持不变时(泊松定理),二项分布就近似成泊松分布,计算反而更省事。
泊松定理
定理:设,当较大,较小时,近似。
即。
几何分布
定义:如果的概率分布为(,),则称服从参数为的几何分布,记为。
几何分布与几何无关,代表的是重伯努利试验首次成功就停止试验,试验次数可以为无穷。设表示伯努利试验中事件首次放生所需要的试验次数,则,其中。
从而根据意义,几何分布要求前次都失败,从而概率为,最后一次成功,所以再乘上。
几何分布 = 「重试到第几次才第一次成功」,正是网络重连、随机算法重采样的次数模型。 带重试的请求要试几次才通、拒绝采样要采几次才命中、哈希探测要探几格才找到空位——都服从几何分布。它也具有无记忆性(离散版):已经失败若干次,并不会让下一次更容易成功,所以「赌徒谬误」在这里是错的。指数退避(exponential backoff)正是为了对抗几何分布长尾里那些「迟迟不成功」的情形。
一句话:几何分布数的是「一直试,直到第一次成功,用了几次」。 和「几何」图形无关,名字只是历史叫法。公式 的意思是:前 次全失败,第 次终于成功。试验次数可以一直拖到无穷大,只是概率越来越小。
超几何分布
定义:如果的概率分布为(,为正整数且,,为整数),则称服从参数为的超几何分布,记为。
超几何分布考的可能性很小,事件数就是古典概型的一个特例。
如有件产品,其中件正品,从而件次品,任取个,则取出件正品的概率就是超几何分布。
分布函数
设为随机变量,为任意实数,函数,称为的离散随机变量分布函数。
- 是一个不减函数,随着增大逐渐累积。
- 。(处被减掉了所以是空心的)
- ,,。
- 。
- 是右连续。
通过性质四可有由离散型变量的分布函数推出离散型随机变量的分布律。
应用
例题:已知随机变量的概率分布为:
| 1 | 2 | 3 | |
|---|---|---|---|
且,求未知参数与的分布函数。
解:,,解得,舍。
一维连续型随机变量
定义:若随机变量的分布函数可以表示为(且取遍所有实数),其中是非负可积函数,则为连续型随机变量。
概率密度
定义:若对于随机变量的分布函数存在非负可积函数使得对于任意实数都有,则称为的概率密度函数,简称概率密度,记为。
性质
- 改变有限各点的值仍是概率密度(因为单个点没有面积)。且。
- 为某一随机变量的概率密度的充分必要条件:,且。
- 若为连续型随机变量,,则对任意实数有。
- 对实数轴上的任一集合有,特别地。
分布
均匀分布
定义:如果的概率密度或分布函数分别为,,则称在区间上服从均匀分布,记为。
几何概型在一维情况下就是几何分布。
若在区间上的任一子区间取值的概率与该子区间的长度成正比,则。
均匀分布是所有随机数的「源头」。 计算机的 PRNG 直接产出的就是 上近似均匀的随机数;要得到任何别的分布,靠的是「逆变换采样」:取均匀随机数 ,代入目标分布的反函数 ,得到的就服从该分布(例如 服从指数分布)。洗牌、随机抽样、随机化算法、dropout 的随机掩码,最底层都从均匀分布开始。
一句话:均匀分布就是「在一段区间内,落在哪儿都一样可能」。 在 上,概率密度是常数 (区间越长,单位高度越矮,保证总面积为 1)。它就是第一章「几何概型」在一维上的连续版:某子区间的概率 = 子区间长度 ÷ 总长度。
指数分布
定义:如果的概率密度或分布函数分别为,,则称在区间上服从参数为的指数分布,记为。
指数分布中代表失效率,往往用来代表一个事物毁坏的过程,如灯泡毁坏。
无记忆性定理:若,则。
即在指数分布下事情发生的概率与前面所经过的时间无关,如果是某一元件的寿命,已知元件使用了小时,它总共使用至少小时的条件概率,与从开始使用时算起它使用至少小时的概率相等。
指数分布的「无记忆性」正是马尔可夫模型与泊松过程的数学基石。 「已经等了多久」不影响「还要等多久」——这条性质让系统状态只取决于当下、与历史无关,于是连续时间马尔可夫链、排队论、可靠性分析才能成立。它建模「事件之间的等待时间」:两个请求间隔、元件无老化时的寿命、放射衰变间隔。注意它假设「失效率 恒定」,所以不适合有磨损老化的器件(那要用威布尔分布)。
一句话:指数分布描述「下一次事件还要等多久」,且「不记得已经等了多久」。 无记忆性说的是:灯泡已经亮了 100 小时,它「再亮 50 小时」的概率,和一个全新灯泡「亮 50 小时」的概率一模一样。参数 越大,平均等待越短。它和泊松分布是搭档:个数服从泊松,间隔服从指数。
证明:
。
正态分布
定义:如果的概率密度为(,,),则称服从参数为的正态分布,称为正态变量,记为。
的图形关于对称,即,并在处有唯一最大值。和为拐点。
当,时的正态分布为标准正态分布,记为,为偶函数,,。
若,,则称为标准正态分布的上侧分位数/上分位点。
若,则
- 。(标准化)
- 。
- 。(标准化得到)
- ()。
正态分布就是机器学习里无处不在的「高斯分布」,背后撑腰的是中心极限定理。 大量独立微小因素叠加的结果趋于正态——这解释了为什么测量噪声、初始化权重、梯度噪声都按高斯建模。 正则(权重衰减)等价于给参数加高斯先验;高斯噪声、卡尔曼滤波、变分自编码器、扩散模型全建立在它之上。标准化 就是深度学习里 BatchNorm/特征标准化的原型:把数据拉成均值 0、方差 1,训练更稳。
一句话:正态分布就是那条「中间高、两边对称下降」的钟形曲线。 自然界大量数据(身高、误差)都长这样。它由两个参数定形状: 决定中心在哪, 决定胖瘦(越大越扁)。任何正态变量都能「标准化」成 再查表:令 ,就能用统一的 函数算概率。记住 (对称)这条最常用。
应用
例题:已知随机变量的概率密度为,且,求常数,分布函数以及概率。
解:由于归一性,。
。又。
,即,,。
,。
一维随机变量函数分布
设为随机变量,函数,则以随机变量作为自变量的函数也是随机变量,称为随机变量的函数。
如等等。
离散型
设为离散型随机变量,其概率分布为(),则的函数也是离散型随机变量,其概率分布为()。
即。
若有若干个相同,则合并为一项,并将对应概率相加作为取的概率。
离散型一维随机变量函数分布单独考的可能性很低。
例题:设是仅可能取6个值的离散型随机变量,分布为:
| X | -2 | -1 | 0 | 1 | 2 | 3 |
|---|---|---|---|---|---|---|
| P | 0.05 | 0.15 | 0.20 | 0.25 | 0.20 | 0.15 |
求,的概率分布。
因为是线性的,所以改变变为,所对应的不变:
| Y | -3 | -1 | 1 | 3 | 5 | 7 |
|---|---|---|---|---|---|---|
| P | 0.05 | 0.15 | 0.20 | 0.25 | 0.20 | 0.15 |
对于是一个平方,导致的值有些是一样的,所以概率合在一起:
| Z | 0 | 1 | 4 | 9 |
|---|---|---|---|---|
| P | 0.20 | 0.40 | 0.25 | 0.15 |
连续性
设为离散型随机变量,其分布函数、概率密度为与,随机变量也是的函数,则的分布函数或概率密度可用分布函数法得到。
若连续,且除有限个点外,存在且连续,的概率密度为。
首先已知的概率密度函数为,分布函数为,已知,即对的映射关系。现在要求的概率规律,即要求的概率密度与分布函数。
先求分布函数,然后用来表示,这是连续性随机变量函数分布的重点。
即在以表示的一个区间上,,所以解得分布函数。
例题:设随机变量的概率密度为,求随机变量的分布函数。
解:求随机变量的分布函数即求。即将与的概率关系解出,即求曲线与直线的关系。
根据的概率密度函数,所以只有才有正概率,其他区间概率为0,即不能取,将的取值范围划在中。
又由的关系知道的函数,是在的属于的抛物线。
当时,恒成立,所以不可能发生,概率为0,所以。
当时,在时,所以必然成立,所以所以。
当时,解出为,所以。
多维随机变量
概念
多维随机变量定义:如果是定义在同一个样本空间上的个随机变量,则称为维随机变量或维随机向量,为第个分量。
当时,为二维随机变量/二维随机向量。
联合分布函数
定义:对任意个实数称为元函数为为随机变量的联合分布函数。
当时对任意的实数称二元函数为二维随机变量的联合分布函数,简称分布函数,记为。
性质:
- 单调性:是的单调不减函数。
- 右连续性:在右边连续。
- 有界性:当或趋向负无穷时值为0,当和趋向正无穷时值为1。
- 非负性:对任意,有。(由定义画图可知)
边缘分布函数
定义:设二维随机变量的联合分布函数为,随机变量的分布函数与分别称关于与关于的边缘分布函数。
。同理。
求边缘分布函数的口诀:求谁不积谁,不积先定限,限内画条线,先交写下限,后交写上限。
即若求则积,然后根据联合概率密度的图形求的取值区间。然后在联合概率密度共同的取值区间内画一条水平的线(若求)或垂直的线(若求),则从左到右从下到上先与所画线相交的区间边缘的线就是边缘概率密度的下限,后面相交的就是上限。最后将被积函数的联合概率密度加到中间就是最后的边缘分布函数。
条件分布函数
定义:对于二维随机变量,可以考虑在其中一个随机变量取得可能的固定值的条件下,另一随机变量的概率分布,这样得到的或的概率分布叫做条件概率分布,简称条件分布。
定理:条件概率密度=。
二维离散型随机变量
定义:若二维随机变量只能取有限或可列对值则称为二维离散型随机变量。
联合分布律
定义:,为的分布律或随机变量和的联合分布律,记为。
数列,是某一二维离散型随机变量的概率分布的充要条件是,。
定义:若,为的概率分布,则的联合分布函数为。
联合分布函数是以为定点的左下角平面上所有可能取值的概率的和。
设是平面上某个区域,则。
边缘分布律
定义:对于同一个值的所有取值的概率的和,就是该值的边缘分布律。同理对于同一个值的所有取值的概率的和,就是该值的边缘分布律。
即()。
()。
条件分布律
条件分布律类比随机事件概率中的条件概率。
定义:如果(),对固定的,如果,则称()为在条件下的条件分布。
同理定义:在条件下的条件分布为()。
二维连续型随机变量
定义:如果二维随机变量的联合分布函数可表示为,(),其中为非负可积函数,则称为二维连续型随机变量,为的概率密度,记为。
二元函数是概率密度的充要条件,。
改变有限个点值(仍取非负值),仍是概率密度。
联合概率密度
定义:设的联合分布函数为,概率密度为,则
- 为的二元连续函数,且。
- 设为平面上某个区域,则。
- 若在点处连续,则。
- 若连续可导,则是连续型随机变量,则是其概率密度。
边缘概率密度
定义:设,则的边缘分布函数为,所以为连续型随机变量,其概率密度,称为关于的边缘概率密度。同理也为连续型随机变量,关于的边缘分布函数为,其概率密度为。
联合概率密度决定边缘概率密度,所以相同联合概率密度的拥有同样边缘概率密度。
条件概率密度
定义:设,边缘概率密度,则称为在条件下的条件概率密度。同理在条件下的条件概率密度为。
若,,则有概率密度乘法公式。
如果独立,则,此时条件概率密度就等于边缘概率密度。
定义:在条件下的条件分布函数为,同理在条件下的条件分布函数为。
二维均匀分布
定义:若的概率密度为,为区域的面积,则称在平面有界区域上服从均匀分布。
二维均匀分布就是几何概型的二维情况。
二维正态分布
定义:若的概率密度为:
其中,,,则称服从参数为的二维正态分布,记为。此时:
- ,,为与的相关系数,即。
- 的条件分布都是正态分布。
- (或)服从正态分布。
- 相互独立的充要条件是不相关,即。
随机变量独立性
概念
定义:设随机变量的联合分布函数为,边缘分布函数为,,若对任意实数,,有,即,则称随机变量和相互独立。即对于离散型随机变量。对于连续型随机变量。
随机变量独立 = 「联合分布能拆成边缘分布的乘积」,这是概率模型可计算的关键。 个变量若相互独立,联合分布 ,把指数级的联合表压缩成线性个一维分布——朴素贝叶斯、独立同分布(i.i.d.)假设、概率图模型的因子分解全靠它。机器学习几乎所有训练都默认样本 i.i.d.:独立保证可以连乘出似然函数,同分布保证训练集和测试集来自同一规律。现实中相关性会破坏这个假设,于是才需要协方差、相关系数(下一章)去度量「有多不独立」。
一句话:两个随机变量独立 = 「知道一个的取值,完全不改变对另一个的判断」。 判定标准:联合(分布函数/分布律/概率密度)正好等于各自边缘的乘积。比如掷两颗骰子,第一颗的点数不影响第二颗,它们就独立。独立时很多计算都能拆开做(直接相乘),所以题目里「独立」往往是化简的突破口。
充要条件
若独立,则
- 对于二维离散型随机变量,。
- 对于二维连续型随机变量,。
- 对于二维随机变量,。(联合分布函数等于各自边缘函数乘积)
性质
若独立,则与也相互独立。
若对所有有,则相互独立。
若相互独立,其中任意个随机变量也相互独立。
若相互独立,则其各自的函数也相互独立。
独立同分布运算
若相互独立,则:
- 若,,则。
- 若,,则。
- 若,,则,。
二维随机变量函数分布
定义:设为随机变量,为二元函数,则以随机变量作为变量的函数也是随机变量,称为随机变量的函数。
离散型
对于(离散型,离散型)随机变量函数分布也是离散型。
例题:将两封信投入3个信箱,设分别表示第一个和第二个信箱投进的信的数量。
(1)的联合分布,边缘分布并判断其独立性。
(2)在条件下,的条件分布。
(3)随机变量和的分布。
(1)解:因为该题目是二维离散型随机变量,所以分析:
| \ | 0 | 1 | 2 | 边缘 |
|---|---|---|---|---|
| 0 | 1/9 | 2/9 | 1/9 | 4/9 |
| 1 | 2/9 | 2/9 | 0 | 4/9 |
| 2 | 1/9 | 0 | 0 | 1/9 |
| 边缘 | 4/9 | 4/9 | 1/9 | 1 |
从而联合分布就是表格最中心的部分,边缘分布就是两边。
如。所以不独立。
(2)解:。
。
。
(3)解:根据表格,的可能取值为0,1,2。
即的概率分布为。
的可能取值为-2,-1,0,1,2.
的概率分布为。
连续型
对于(连续型,连续型)随机变量函数分布也是连续型。可以采用分布函数法和卷积公式。
设的概率密度为,,则的分布函数为,若仍然为联系型随机变量,则的概率密度为。
和的分布
定理:设,则的概率密度为。
证明:利用定义法,。
。又,。
差的分布
定理:设,则的概率密度为。
积的分布
定理:设,则的概率密度为。
商的分布
定理:设,则的概率密度为。
这里不积只积,因为,所以积分简单从而只积。
最值的分布
需要根据最值的定义得到的概率分布。设的联合分布函数为,的分布函数分别为和,则的分布函数为,的分布函数为。
如。
卷积公式
积谁不换谁,换完求偏导。
当相互独立时,对于联合概率密度就能变成边缘概率密度的乘积,得到卷积公式定义:
。
。
。
。
例题:设随机变量相互独立,其概率密度分别为
,,
(1)求概率密度。
(2)求的概率密度。
(1)解:因为相互独立,所以。
。
(2)解:
第一种方法是分布函数法,即使用定义来解决随机变量函数分布。
。的联合分布图形是一个高为1长无穷的长方形。利用直线与定义区间与对进行范围讨论。
若,不可能,即与交集为空,所以。
若,则与区间相交于和,利用直线对区间求积分上下限,。
若,则与区间交集是一个梯形,若先积后积,积分区间要分为两个部分来计算,所以改变积分顺序,先积再积,用来计算积分上下限得到。
。(等号在哪里无所谓)
第二种方法是卷积公式法。,现在已知,所以只用求。
。
,所得的区域是梯形。
当,则与图形区间无交集,所以。
当时,。
当时,。
例题:设二维随机变量在矩形区域上服从均匀分布,求边长为和的矩形面积的概率密度。
解:在矩形区域服从均匀分布,。
根据区间:,,,所以区域就是底2高2的下三角。
又,且。
当时,。
即。
混合型
对于(离散型,连续型)随机变量函数分布是连续型。可以采用全概率公式。
即使用全集分解思想解决,若是离散型随机变量,是连续型随机变量,则。这就是全概率公式。
设的分布律为,为连续型随机变量,,则的分布函数为。
例题:设随机变量与相互独立,其中概率分布为,而的概率密度为,求随机变量的概率密度。
解:。
,又相互独立,所以的条件不影响的概率,。
。