| 页 | 内容 |
|---|---|
| 1 | 随机试验、事件、概率公理 |
| 2 | 排列组合、抽样与几何概型 |
| 3 | 条件概率、全概率与贝叶斯 |
| 4 | 独立性、可靠性与共同条件 |
| 5 | 随机变量与常用离散分布 |
| 6 | CDF、密度、端点与混合型 |
| 7 | 均匀、指数及计数—等待关系 |
| 8 | 正态分布与标准化 |
| 9 | 随机变量函数的分布 |
| 10 | 联合、边际、条件与联合 CDF |
| 11 | 二维密度、区域积分与二维均匀 |
| 12 | 随机变量独立性与二维正态 |
范围:第一章至第三章 §3.4。专业术语附英文;本册只讲知识与方法,题目见另册《重点题目与标准解答》。
随机试验(random experiment)可以在相同条件下重复,但单次结果事先不确定;全部可能结果构成样本空间(sample space) 或 ,其中一个结果 称样本点(outcome)。
样本空间可有限、可列无限或不可列;取决于记录哪些结果。选定样本空间后,事件应覆盖所需的观察信息。
事件(event)是样本空间的可测子集。试验结果 就是 发生。 必然发生, 不可能发生;单元素事件称基本事件。
概率是模型对事件发生可能性的量化;频率(relative frequency) 是有限次记录。相同条件下独立大量重复时,频率趋于稳定,但不必等于某次有限试验的概率值。
| 关系/文字 | 数学表达 |
|---|---|
| 发生必有 发生 | |
| 两者同时发生 | |
| 至少一个发生 | |
| 不发生 | 或 |
| 发生且 不发生 |
互斥(mutually exclusive):;互逆/互补还要求 。并交满足交换、结合、分配律。德摩根律: 无限并表示至少一个,无限交表示全部。三个事件:至少两个为 ;恰两个为 ;最多一个为 ;至少一个不发生为 。
由此得到 、、。若 ,则 。
一般差事件:。
一般为单项加、两两交减、三重交加,依交集项数交替。不能对有重叠的事件直接加概率。
零概率不等于不可能。非空集合也可能概率为 0;概率 1 也不必等于整个样本空间。
若样本空间有限且每个结果等可能,则 。关键是等可能性;不能只按结果的文字类别数数。
个不同对象取 个: | 条件 | 结果数 | | --- | --- | | 不放回、有序 | | | 不放回、无序 | | | 独立均匀放回、有序 | |
分子、分母须使用相同的顺序与可区分性。放回的无序组合通常不等可能。
总体 个成功对象、 个失败对象,无放回取 个,恰 成功: 上界受成功数与样本量限制,下界受失败数限制。无放回各位置边际概率相同,但各次通常不独立;观察前次结果后要更新剩余数量。
个不同球独立均匀投入 个不同盒,总结果 。某盒恰 球的概率: 人生日独立、365 天等可能, 时至少两人同生日: 先算“全不相同”,再取补; 时概率 1。同月模型将 365 换成 12。
个对象与位置随机一一配对。至少一个配对用容斥;指定 个配对的概率是 。 无人配对概率 ,错排数为此概率乘 。若只限制指定的少数对象,直接用条件概率,未必需要全体错排。
在有限正度量区域 内均匀取点: 可为长度、面积或体积。先与总区域求交;没有均匀性就不能直接取度量比。均匀依赖于随机参数的选择,不能在无限平面直接取面积比。
线段中的单点、平面中的通常曲线等可非空但度量为 0,因而均匀模型中概率为 0。
线距 ,短针长 ;中点到最近线距离 在 均匀,夹角 在 均匀且独立。针相交当且仅当 参数空间为矩形,面积 ;相交区域面积 。故 该式要求短针;均匀选两端点会改变模型。
投 次,相交 次,以频率近似概率,可得 ()。有限试验仅为近似;模拟要按原模型在参数矩形中均匀生成点。
已知 发生,所求概率要在 内重新归一化: 是共同发生概率; 是已知条件后的比例; 交换了条件,一般不同。
给定同一条件后,补事件、加法、容斥仍成立:
多次依次发生时,后面的条件须保留前面全部历史。若独立才可将条件概率换成边际概率。
概率树沿同一路径乘,不同互斥路径相加;每个分叉处的条件概率和为 1。
两两互斥且并为 ,称完备事件组/划分。选盒、厂别、天气、转球颜色均可作划分;分类应不重不漏。
全概率(law of total probability): 每项是“来源与结果共同发生”的概率;求总结果时按各来源加权。
贝叶斯(Bayes' theorem): 观测后反推来源,分母为观测的总概率,须正。忽略先验权重只比较条件概率,通常会得错结论。
已知另一个条件 后, 仍作来源划分: 因此“已知第一件优质,再问第二件”有两处变化:来源权重更新;若无放回,来源内部的剩余组成也更新。
若条件交集概率为零,对应项略去;不要保留没有定义的条件概率。
| 所求 | 方法 |
|---|---|
| 几个事件依次共同发生 | 链式乘法 |
| 不同来源合并后出现某结果 | 全概率 |
| 已看到结果,反推来源 | 贝叶斯 |
| 已知信息后再问后续结果 | 条件体系内的全概率 |
主持人知道奖品位置,总开未选的空门,并总提供换门:换门获胜等价于初选错误,因此获胜概率为 ,坚持为 。
这个结论依赖主持人的规则。若条件还指定其具体开哪一门,需要把选择规则写入条件概率;不能将“剩两门”直接当作等可能。
定义来源与观测 → 写各来源下的观测概率 → 加权求分母 → 计算后验或后续条件概率。后验概率之和应为 1。
独立当且仅当 时,等价于 ,即知道 不改变 的概率。
独立与互斥不同:互斥是不能同时发生。若两者均正概率,互斥就不独立。概率为 0 或 1 的事件与任意事件独立; 与自身独立当且仅当 。
取补保持独立:、、 也独立。
两两独立只验证每一对。相互独立(mutual independence)要求每个含至少两个事件的子组都满足 三个事件需三条两两乘法式及一条三重乘法式。仅两两独立不保证三重交,单独三重乘法也不够。
相互独立事件中任取若干换成补事件仍独立;对不重叠事件组分别作并交补,所得事件也独立。两两独立不足以保证这些性质。
各次结果独立,试验条件与成功率相同。单次成功率 , 次至少一次成功: 要求大于 ,转成 ,取满足原不等式的最小整数。严格“大于”与“不小于”取整可能不同。
系列赛可预先设想打满全部局数,再计算达到获胜场数的概率;提前停止不改变最终胜负。
元件正常事件相互独立,正常率为 :
串联系统须全部正常,可靠性 ;并联系统至少一个正常,可靠性 。
个同可靠性 的独立元件,至少 个正常时工作: 不同 时,按成功元件的具体子集求和;不能套普通二项。复杂结构可按关键元件状态分类。
给定 后独立是 它一般既不推出无条件独立,也不由无条件独立推出。
若两次事件给定来源 后独立,来源权重 ,各次条件成功率均 ,则 而 ,一般不同。
先固定共同来源计算,再平均。共用天气、厂别、电压时通常这样处理;若已观察一次结果,下一步使用来源的后验权重。
题目明确“各元件独立”,可按给定元件概率相乘;若只说“给定电压后各元件独立”,则先在每个电压条件下算系统可靠性,再全概率加权。
仅给单个元件的故障率不足以确定系统可靠性,还需元件之间的依赖条件。
同一模型内正常率与故障率互补。建立系统事件时先统一“成功”的定义,避免把元件正常率代入按故障数构建的公式。
随机变量是定义在样本空间上的实值函数 。映射规则确定,输入的试验结果随机。大写 表示变量,小写 表示取值。
、 是事件;分布描述变量的取值及对应概率。若全部取值有限或可列无限,称离散型(discrete)。
分布律/概率质量函数 PMF: 列分布律须列全取值,再求各取值对应事件的概率,最后检查和为 1。
一次试验只有成功/失败两类,成功记 1,失败记 0。,记 。
次独立且每次成功率相同, 记录成功次数: 是一种指定成功顺序的概率, 是成功位置的选择数。归一性由二项式定理得到。
固定、数成功次数;各次不独立或成功率不同,通常不能用普通二项。
有限总体无放回计数,分布律与范围见第 2 页。它与二项的分界是抽样机制,不能仅凭公式相似判断。
几何和负二项数“达到成功条件需几次”。若另设最大试验数,最后一项往往合并所有尚未结束的路径,须按事件重算,不能照搬无限等待公式。
描述固定时段或空间范围内的事件次数,计数没有预设上限,允许 0。 是整个观察窗口的平均次数: 归一性由 得到。
常用建模条件是稳定发生速率、不相交范围计数独立、小范围内多次发生的概率可忽略。速率 、观察时长 时,;先统一单位。
“至少 次”常用 。
大、 小且 适中时,。极限条件为 ;经验阈值不能保证尾部概率精度。
各次独立、成功率固定 , 是首次成功的总试验次数: 前 次必须全失败,第 次成功。
若记录的是首次成功前的失败数 ,则 ,。先确认从 0 还是从 1 计数。
记录第 次成功所需总次数, 正整数: 第 次必须成功,前 次恰有 次成功。 即几何。
若记录失败数 ,则
它记录阈值左侧的累计概率,适用于离散、连续、混合型。即使变量范围有限,CDF 仍须定义在整个实轴。
基本性质:单调不减、右连续;。允许平台与跳跃,不必严格递增。平台表示区间内部无概率质量。
记左极限 ,则点概率为 离散型 ,为右连续阶梯;反过来取跳跃量即可还原 PMF。
| 所求事件 | 概率 |
|---|---|
右端排除该点用左极限;左端包含该点时减去左极限。只有相关端点概率为 0,开闭才可互换。
若存在非负函数 ,使得所有 满足 则称 为连续型(此处指 absolutely continuous,绝对连续), 为概率密度函数(probability density function)。
一个函数为 PDF 的充要条件是 密度曲线下的面积表示概率: 沿课件称 为支撑(support)。积分区间先与支撑相交;分段密度的 CDF 要保留此前累计的概率。
小区间上 。密度是单位长度上的概率集中程度,密度值不是点概率,也不要求小于 1。
连续型单点概率均为 0,区间端点开闭不影响概率。有限个点改变密度值不改变分布。
连续的点处,。分段光滑连续 CDF 可逐段求导;连接处不可导并不妨碍存在密度。
CDF 连续是存在密度的必要条件,却不是充分条件,不能将两者直接等同。
未知参数的密度先用总积分为 1;已知连续型 CDF 则先用连接处连续性,再检查单调性、两端极限与密度非负。
一个变量可同时有离散点质量和连续质量。CDF 的跳跃记录点质量,平滑上升部分记录连续质量。
计算事件概率时两部分相加;仅对 CDF 的光滑部分求导会漏掉跳点。将连续变量截断到固定上限,超过上限的概率会合并成上限处的点质量;取整则可使其变为离散型。
PMF:取值列全、非负、和为 1。PDF:支撑明确、非负、积分为 1。CDF:全实轴、单调、右连续、两端极限为 0/1。
区间内按长度比例取值,密度在 内为 ,其他为 0。 所求事件若为不等式,先解不等式,与支撑相交后取长度比。到达时间均匀不保证等待时间也均匀,须先写出二者的函数关系。
描述恒定事件速率下的连续等待时间,或恒定故障速率下的寿命。等待时间非负,没有固定上限。
本文用速率参数(rate),单位为时间的倒数。 越大,等待通常越短,平均等待为 。 时 ; 时 。生存函数(survival function): 用尺度参数(scale) 时,密度为 。速率与尺度不能混用。
对 , 已等 仍未发生,继续等待的分布与原来相同。 是总寿命阈值, 是额外等待。
若寿命为多种指数分布的来源混合,通常不再无记忆;已存活会改变来源权重。此时用混合生存函数的比值 。
齐次泊松过程以恒定速率 发生事件:不相交时间段计数独立,长度 的计数 。
泊松变量记录固定时间内发生几次;首次等待 记录多久发生。它们由同一事件连接: 因此 。各相邻事件的间隔也相互独立、同服从此指数分布。仅知道一个时段计数服从泊松分布,不足以推出这些过程性质。
伯努利试验前 次成功数 。首次成功次数 满足 同样有无记忆性: 几何按整数次试验等待,指数按连续时间等待。共同依据是“尚未首次发生,等价于此前次数为零”。
将泊松过程按 分段,每段至少有事件的概率 ,各段独立。首次有事件的段号 为几何分布: 是将等待时间向上取整到段末的值,误差小于 ;当 ,趋于指数等待时间。
泊松计数参数 是整个窗口的平均次数;指数等待参数 是发生速率。时间从分钟换到小时,速率必须同步换算。
,,密度为 是位置参数, 是尺度参数;记号第二项是 ,而不是 。
曲线关于 对称,峰值 ,拐点为 。增大 使曲线平移;增大 使其变宽、变低。两端密度趋于零。
高斯积分 ;平方后用极坐标,积分变为 ,由此验证归一性。
减去均值将中心移到 0,再除以标准差,将偏离量表示为“几个标准差”: 标准正态密度 ;CDF 为 。
所有正态概率都可转为同一标准正态表。两个端点同时变换,因 ,不等号方向不变: 标准化除以标准差,不是方差;连续型端点开闭不影响概率。
利用对称性,。对 , 时约为 。
查表先确认给的是左尾 ,还是 ();后者须加 才是左尾。
| 0 | 0.8 | 1 | 1.645 | |
|---|---|---|---|---|
| .5 | .7881 | .8413 | .95 | |
| 1.96 | 2 | 2.576 | 3 | |
| .975 | .9772 | .995 | .99865 |
是标准正态的 分位点。若 ,则 两个不同分位点可联立求 。若要求 ,其中 ,则 尺度越小,落在固定中心区间内的概率越大;这也可用来检查不等号方向。
若 ,则 均值按一次变换,方差乘 。若 ,得到常数即点质量,不再有普通正态密度。
已知 分布,求 : 1. 根据原支撑确定输出范围。 2. 将 改写为关于 的事件。 3. 求和或积分得到 ,有密度时再求导。
CDF 法适用于单调与非单调变换。支撑外须补齐 CDF 的 0/1 与密度的 0。
离散型按相同输出合并:
在原支撑区间连续可微且导数恒正或恒负,反函数为 : 导数绝对值是尺度修正因子(Jacobian factor);递减时也必须取绝对值。
递增时 ;递减且 连续时 。只需在原支撑上单调,不要求全实轴单调。
线性变换 、:
将原支撑拆成单调区间,对各有效反解 的贡献求和: 必须先检查反解是否仍在原支撑内。反解数量改变时,密度通常分段;分段点来自边界或单调区间,不凭经验猜测。
有密度时, 有 原支撑不对称时,两项不一定同时非零,不能直接写成 。
平方变换在 时: 原变量可取正负,输出却非负,须合并正负分支。标准正态平方的密度为 (),称自由度 1 的卡方分布(chi-square,)。
, 的范围为 : 这是对数正态分布(lognormal);范围外密度为 0。
的范围为全实轴: 的概率为 0,在该点任意补定义不改变分布。
若 的 CDF 连续,则 当 CDF 在有效范围严格递增,可由 证明。即使有平台结论仍成立,证明可用广义分位数。离散型有跳跃时不能直接使用此结论。
同一样本空间上的 构成随机向量(random vector)。联合描述共同取值,边际描述单个分量,条件描述给定信息后一个分量的分布。
二维离散型:,。区域概率为相应格子相加。不可能的取值对填 0。
边际(marginal): 为行、 为列时,分别取行和、列和。
条件(conditional): 指定行或列后重新归一化。条件也可为取值区域事件,先与所求事件求交再相除。
构造联合:,不需要独立。联合决定边际;仅边际通常不能决定联合。
泊松总数 ,各项独立以概率 分类且与计数机制独立,则 : 。对 求和,得 ,称泊松筛选。
泊松过程 ,前段与后段增量独立: 累计数 本身不独立。
独立伯努利试验成功率 ,首次与第二次成功序号为 ,则 ,;给定 , 在 均匀。
它是左下矩形的概率;分别对各坐标单调不减、右连续,取值在 。任一坐标趋负无穷时为 0;两坐标都趋正无穷时为 1。
还须有矩形增量非负(不能由分别单调替代): 这是右闭矩形的四角公式。 只表示该左下矩形含全部概率;固定一坐标的切片不一定归一到 1。
离散时 ;反向取双跳跃: 边际 、,不是将另一坐标取 0。
时,。固定 后是关于 的一元 CDF。
若 连续,在适当正则条件下用邻域概率比的极限: 不能直接除以 。有连续联合密度且 时,等于 。
混合分布的 CDF 须将已覆盖点质量与连续区域积分相加;只求二阶导会漏掉点质量。
若非负函数 满足 则称联合密度。必须有 ;适当光滑处 。
区域概率为 有联合密度则两个边际均有密度;反过来不一定,两个连续分量可能都集中在同一条曲线上。
单点和通常曲线的二维面积为 0,因此相应概率为 0。边界开闭通常不改变积分。
先画支撑区域 ,再与所求事件求交。若 ,则固定 后,内层 从 到 。
换积分次序须重新确定截线;上下界切换处拆分积分,不可机械交换 。
消去另一个变量: 实际积分只取支撑内的截线;变量范围外边际为 0。求边际时保留目标变量,不要将两变量都积掉。
时, 固定 后,以 为变量;有效范围由该水平截线决定,积分为 1。条件互换时分母与研究变量都变。
无需独立;先将边际范围与条件范围相交,得到联合支撑,再求另一边际。
条件密度不是联合密度;“先均匀选第一变量,再条件均匀选第二变量”通常不产生均匀联合或均匀边际。
在有限正面积区域 上均匀: 为指示函数,区域内为 1,外为 0。于是区域概率等于 。
边际与相应截线长度成正比,因此一般不均匀。给定一个坐标后,另一个坐标在有效截线内均匀(该截线长度为正时)。
给定 ,看水平截线,使用密度比;给定 ,看正面积区域,用交集概率除条件区域概率: 单值条件不能直接套正概率事件的相除公式;范围条件不能只截取一条线。
只在正边际密度处使用密度比。一般条件分布在边际分布几乎处处意义下确定;光滑题目使用连续版本,不能据单个点上任意改变密度值来改变整套条件计算。
画支撑 → 与事件相交 → 选外层变量 → 看截线求上下界 → 判断是否分段 → 积分。求条件密度时再除相应边际,并检查条件积分为 1。
独立,当且仅当所有 都满足 等价地,对任意适当集合 ,。
离散型须所有格满足 ;有联合密度时须 几乎处处成立。
证明独立要验证全部;否定独立只需一个反例格或正概率区域。密度在单个不连续点不同不够;在连续点不同则其邻域也不同,可用于否定独立。
若联合密度在全平面几乎处处可写成非负单变量函数乘积 ,则归一化后就是 ,从而独立。
代数表达式与支撑范围都必须可分离。矩形支撑不是充分条件;三角支撑上的正密度即使代数可分,也通常不独立。
联合已知可求边际;边际已知不能默认相乘。条件分布等于边际分布(对适当条件值几乎处处)才对应独立。
记 。非退化时 。令 则联合密度为 为相关参数(correlation); 时退化到直线,不适用上述普通二维密度。
边际仍正态:、。边际不含 ,不能仅凭边际还原联合。
给定 , 的条件均值与方差为 因此 。交换下标即可得到 。
条件标准差为 。求条件概率时用条件均值与条件标准差进行标准化,而不是原边际参数。
密度指数配方可写成边际正态密度乘条件正态密度;条件因子对其变量积分为 1,便得到边际及条件公式。
联合二维正态中,独立当且仅当 。
充分性: 使交叉项消失,密度分成边际乘积。必要性:独立且密度连续,在中心比较联合与边际密度乘积,得 ,故 。
仅边际分别正态不足以推出联合正态;不能把零相关等价独立套到任意分布。
资料依据:黄炜第一至三章课件、课堂记录、原始课件及本课程章节笔记;示意图为本册自绘。范围至第三章 §3.4,2026-11-05。