概率论

第1章 概率模型 笔记01

1.0 例题们

事件相容5.2

几何概率12.6

古典概率19.2

加法公式、乘法公式24.6

全概率公式26.2

独立事件34.7

1.1 随机事件与样本空间(事件相容与互逆)

1.1.1 试验

• 确定性实验或必然试验
• 随机试验（简称试验）：用字母 或 表示
  • 在相同条件下可以重复进行
  • 每次实验的结果不止一个，但能事先明确可能出现的结果范围
  • 每次试验之前不能准确预言哪个结果会出现

1.1.2 随机事件

• 随机事件（简称事件）
  • 在试验中可能发生也可能不发生的结果
  • 用字母 或字母 表示
• 基本事件：试验中每一个可能的结果，是最简单的随机事件
  • 常用小写字母 或 表示
  • 随机事件是由若干个基本事件组成的
  • 随机事件发生组成这一随机事件的一个基本事件发生
• 必然事件：在试验中必然发生的事件，记为 或
• 不可能事件：不可能发生的事件，记为
  （必然事件和不可能事件不是随机事件，当作特殊的随机事件）

1.1.3 样本空间（集合论）

• 定义：试验的全部基本事件组合成的集合，称为试验的样本空间，记为 或
  • 试验的基本事件：是样本空间的元素（样本点）
  • 随机事件是样本空间的子集
  • 不可能事件表示空集，必然事件表示样本空间
• 完备事件组：若 互不相容，且 ，则称 为完备事件组，或称 为 的一个划分。

1.1.4 随机事件的关系(事件相容与互逆)（集合论）

随机事件的关系：

• 包含：（发生则发生）
• 相等：
• 并（和）： 或
• 交（积）： 或
• 事件的互不相容（互斥）：
• 事件的互逆（相互对立）：
  • 称 为 的逆事件，记为
• 事件的差：

运算律：

• 吸收律
• 分配律
  
• 反演律（De Morgan 公式）
  
• 和事件分解为互不相容事件的和
  

• 差化积
  

• 重余律
  
• 幂等律
  
• 交换律
  
• 结合律
  

1.2 概率的定义及性质(排列组合)

对于事件 ，如果实数 ：

• 表示事件 发生的可能性的大小
• 是事件 所固有的
  则称 为事件 的概率。

1.2.1 古典概率(排列组合)

• 定义：
  • 样本空间 包含 个基本事件，即
  • 每个基本事件发生的可能性相等，即
    则称这种试验为古典型随机试验，简称古典概型。
    若事件 包含 个基本事件，则
• 排列数记号：
• 组合数记号：
• 乘法原理
  
• 古典概率的性质：
  • 对任意随机事件 ，；
  • ；
  • （有限可加性）若事件 互不相容，则

1.2.2 几何概率

• 定义：设几何概型的样本空间为， 是含于 在内的任一随机事件，即 ，则称 为事件 的概率。
• 性质：
  • 对任一随机事件 ，；
  • ；
  • （有限可加性）若事件 互不相容，则
  • （可列可加性）若事件 互不相容，则

1.2.3 概率的统计定义

• 频率的定义：设某实验重复做了 次，事件共发生了 次，则称比值 为 次试验中事件 发生的频率，即
• 频率的性质
  • 对任一随机事件 ，；
  • ；
  • 若事件 互不相容，则
• 统计概率的定义：若随着试验次数 的增大，事件 发生的频率 在某个常数 附近摆动，并且逐渐趋于该常数，则称该常数 为事件 的概率，即 。并把这样定义的概率称为统计概率（经验概率）。
• 概率的近似求法：

1.3 概率的公理化定义(加法公式)

1.3.1 事件域

随机试验 ，样本空间 ，设 ，并满足以下条件：

• ，
• 若 ，则
• 对任意有限个或可列个 ，都有
  也就是说， 是一些随机事件组成的集合（且具有一定的构造关系），称 为事件域。

1.3.2 概率的公理化定义

设 是定义在 上的一个实值函数， ，并且 满足以下三个条件：

• 对每一个 ，
• 对任意可列个互不相容的事件 ，有
  则称 为 上的概率测度函数，称 为事件 的概率。

1.3.3 概率的性质

• 不可能事件的概率为0，即
• 概率具有有限可加性
• 对任意事件 ，有
• 若 ，则 且
• 加法公式：对任意事件 有 （推广）

1.4 条件概率与乘法公式

• 定义： 发生的条件下 发生的概率：
  
• 性质
  • 若 互不相容，则
  • 对任意事件 ，
• 乘法公式：
  
• 当 时
  

1.5 全概率公式与贝叶斯公式

设事件组 满足：

• 互不相容

全概率公式：

则对任意事件 ，恒有

贝叶斯公式：

对任意事件 ，有

1.6 事件的独立性

1.6.1 两个事件的独立性

定义：

对任意两个事件 ，若：

则称 与 相互独立，简称独立。

定理：

对任意事件 ，设 ，则 与 独立的充分必要条件是

性质：

概率为 或 的事件与任意事件相互独立：

• 概率为 的事件不一定是不可能事件
• 概率为 的事件不一定是必然事件

1.6.2 多个事件的独立性

定义：

• 若事件 满足条件：
  则称 个事件是两两独立的。
• 若事件 满足条件：
  则称 个事件相互独立。

1.6.3 独立事件的性质

若 与 相互独立，则

• 与 相互独立
• 与 相互独立
• 与 相互独立
  （可推广到多个事件）

第23章 随机变量与随机向量 笔记02的1 2

给出离散情形的分布函数，可以画表格或者写F

2.0 例题们

分布函数的性质

离散型随机变量、分布列、分布函数

二项分布

连续随机变量 已知概率密度求分布、求P

连续分布

正态分布 分位点

2.1 随机变量

定义：

设随机试验 的样本空间为 ，对于每一个 ，都有唯一的一个实数 与之对应，并且对于任意的实数 ，则称这样的实值函数 为随机变量，简记为 。

2.2 随机变量的分布函数

2.2.1 定义：

设 为随机变量，对于任意的实数 ，令 ，称 为随机变量 的概率分布函数，简称分布函数。
记为

2.2.2 性质：

• 取值范围：，且

• 单调不减：

• 右连续：
  反之：若定义在 的实函数满足以上性质，则一定是某随机变量的分布函数。（判断是否为随机变量的分布函数）

• 对任意实数 ，

• 对任意实数 ，有

2.3 离散型随机变量及其概率分布

2.3.1 离散型随机变量的定义

若随机变量只可能取有限个或可数个实数值 则称为离散型随机变量。
取各个可能的值的概率称为离散型随机变量的概率分布（或分布律、分布列）。

2.3.2 离散型随机变量分布律的表示方法

• 公式法
• 列表法或矩阵法

			…		…
			…		…

2.3.3 离散型随机变量的分布律的性质

2.3.4 定理

设离散型随机变量的分布律

• 的分布函数
• 对于任意区间，有
• 由分布函数可确定分布律

2.4 常用离散型随机变量的分布(几何分布)

2.4.1 两点分布

定义：

若随机变量的分布律为：

则称 服从参数 的两点分布，或称 (0-1)分布，。一般来说，凡是只有两个可能结果的随机试验都可以用两点分布的随机变量来描述。

2.4.2 二项分布

来源：重伯努利试验
设试验 只有两个可能的结果： 和 。

将试验独立地重复做次，则这次独立重复试验称为重伯努利试验。

如果随机变量的分布律为：

则称服从参数为的二项分布，记作

两点分布是二项分布的特殊形式

2.4.3 泊松分布

定义：

若随机变量 的分布律为：

则称 服从参数为 的泊松分布，记作
泊松分布适用于描述单位时间（或空间）内随机事件发生的次数。

Poisson 定理

设，则对固定的 ，
Poisson 定理说明：若 ，则当 较大， 较小，而 适中，则可使用近似公式：

2.4.4 几何分布(Geom(p))

• 随机变量 的取值为自然数N，且满足，其中
• 概率模型：重复试验直到首次成功时的试验次数。
• 应用：离散等待时间和无记忆性

2.4.5 超几何分布

设一批产品中有件正品，件次品，从中任意取 件，则取到的次品数 是一个离散型随机变量，它的概率分布为：

这个分布称为超几何分布，记为

2.5 连续型随机变量及其概率密度函数

2.5.1 定义

设随机变量 的分布函数为 ，如果存在一个定义在 上非负可积函数，使得对任何实数 恒有

则称 为连续型随机变量，称函数为随机变量的概率密度函数（或分布密度函数），简称概率密度。

2.5.2 概率密度函数的性质

1. 对一切

2. 
   反之，任何一个具有以上性质的可积实函数，可成为某个连续型随机变量的概率密度函数。

3. 
   连续型随机变量取任何特定值的概率都是

4. 设 或 或或，允许 ，或 ，则

   ​连续性随机变量在任一区间上取值的概率为此区间上概率密度函数曲线下方的曲边梯形的面积。

设 为连续型随机变量，分布函数为 ，概率密度为 ，则有

• 是连续函数
• 若 在 点连续，则 在 点可导，且
• 若是分段连续函数，只有有限个不连续点，则

2.6 常用的连续型随机变量分布(正态分布)

2.6.1 均匀分布

若连续型随机变量 ，它的概率密度为：

则称 在区间 上服从均匀分布。记作 。

2.6.2 指数分布

如果随机变量 的概率密度为：

则称 为服从参数 的指数分布，记为 。
若 服从参数为 的指数分布，则它的分布函数为：

2.6.3 正态分布

定义：

若 为连续型随机变量，且其概率密度为

其中 均为常数，那么称 为服从参数为 的正态分布。记作

性质：

1. 曲线关于直线 对称，递增， 递减；当 时， 达到最大值 ；
2. ，曲线以 轴为渐近线；
3. 曲线在 及 处有拐点。

2.6.4 标准正态分布

参数 的正态分布，即 称为标准正态分布，其概率密度和分布函数分别用 和 表示。

的性质：

3. 
   即 严格单调递增

与标准正态分布 的关系

标准正态分布 的下侧 分位点

定义：

设 ，给定 ，若存在唯一的 ，使得

称 为 的下侧 分位点（分位数）。

分位点的性质：

3. 或

3.0 例题们

分布函数

二维离散变量 联合分布律

二维离散变量 联合分布律 边缘分布律

二维连续变量 边缘概率密度

二维连续变量 条件概率密度

二维离散变量 边缘分布律 独立

3.1 二维随机变量

3.1.1 定义1

设试验 的样本空间为 ，而 是定义在 上的两个随机变量。称由这两个随机变量组成的向量 为二维随机变量或二维随机向量。

3.1.2 定义2

设 为二维随机变量，对任意实数 ，二元函数 称为二维随机变量的分布函数，或称为随机变量 与 的联合分布函数。

分布函数 的性质

• 定义域：

• 取值范围：
• 特殊值：

• 对 或 单调不减
• 对 或 右连续
• 对任意实数 有
  反之：凡是满足以上性质的二元函数 必定是某个二维随机变量的分布函数。

3.1.3 定义3

设试验 的样本空间为 ，而 是定义在 上的随机变量， 由这 个随机变量构成的有序随机变量组 称为 维随机变量或随机向量。
设 为 维随机变量，对任意实数 ， 元函数 称为 维随机变量 的分布函数或n个随机变量 的联合分布函数。

3.2 二维离散型随机变量

3.2.1 定义

若二维随机变量 的取值为有限对或可列对 ，则称 是离散型随机变量。

3.2.2 分布律

记

称为二维离散型随机变量 的（概率）分布律，或称为 和 的联合（概率）分布律。

分布律的表示法：（1）公式法；（2）列表法

3.2.3 性质

3.2.4 定理

设 的分布律为
则随机点 落在平面上任一区域 的概率

其中和式是对所有使 的 求和。

3.3 二维连续型随机变量

3.3.1 定义

设二维随机变量 的分布函数为 ,若有非负可积函数 ,使得对任意实数 , 恒有

则称 是二维连续型随机变量，函数 称为二维连续型随机变量 的概率密度，或称为随机变量 和 的联合概率密度。

3.3.2 性质

的概率密度 具有下列基本性质：

2. 
   反之, 若二元函数满足上面两条基本性质，则它一定是某个二维随机变量的概率密度
3. 如果概率密度在点处连续, 则有

3.2.3 用概率密度计算概率

定理：设 的概率密度为 则有：

1. 设 为平面上的任一区域，则：
   
   

3.2.4 常用的二维连续型随机变量有下面几种：

均匀分布

若二维连续型随机变量 概率密度为：

其中 为有界区域 的面积。则称 在区域 上服从均匀分布，记为

二维正态分布

若随机变量 概率密度为

其中 的二维正态分布，记作

3.3 边缘分布函数

定义：

设二维随机变量 的分布函数 （分量 与 的联合分布函数）
分量 的分布函数：

称 为 关于 的边沿分布函数。

分量 的分布函数：

称 为 关于 的边沿分布函数。

注：

已知联合分布函数 ，可以计算出边沿分布函数
但由 各自的分布函数 ，一般无法确定联合分布函数

3.3.1 边沿分布律

定义：

二维离散型随机变量 ，分量 和分量 都是离散型随机变量， 的分布律称为 关于 的边沿分布律； 的分布律称为 关于 的边沿分布律；

边沿分布律的计算：

关于的边沿分布律：联合分布律表中各行概率相加。

关于的边沿分布律：联合分布律表中各列概率相加.

3.3.2 条件分布律

在已知一个分量取某一定值的条件下，另一个分量的分布律称为条件分布律。

定义

设二维离散型随机变量 的分布律为：

(1) 若

称为在 的条件下， 的条件分布律。

(2) 若

称为在 的条件下， 的条件分布律。

3.4 边缘概率密度和条件概率密度

3.4.1 边沿概率密度

二维连续型随机变量 的概率密度为 则

• 关于 的边沿概率密度为
• 关于 的边沿概率密度为

3.4.2 条件概率密度

3.5 相互独立的随机变量

设 为两个随机变量，若对任意实数 ，有

则称 与 相互独立，简称独立。

3.5.1 离散型随机变量相互独立的判别定理

设二维离散型随机变量 的分布律为：

则 与 相互独立的充要条件：

3.5.2 连续型随机变量相互独立的判别定理

设二维连续型随机变量 的概率密度为，分别是 关于 和 的边沿概率密度。

则 与 相互独立的充要条件为：

第4章 复合随机变量和计算 笔记02的3

画图！
三角形区域(aX+bY+c)、圆形区域( )、矩形区域(max min)会积分
求的都是F，看题目，要是求概率密度函数f就再求导（含参变量积分的求导）
指数分布的最小值分布还是最小值

4.0 例题们

一维离散型随机变量

！一维连续 正态分布 概率密度

！！一维连续 均匀分布 概率密度

！！！一维连续

二维离散

！！！二维连续

！！！二维连续 MAX MIN

4.1 离散型随机变量的函数分布

4.1.1 一维离散型随机变量的函数分布律

定理

设离散型随机变量 的分布律为

1. 若对于 的不同取值 ， 的取值 也不同，则随机变量 的分布律为：
2. 若对于 的有限个或可列无穷多个不同的取值 ，有 ，则有

4.1.2 二维离散型随机变量的函数分布律

定理

设离散型随机变量 的分布律为

1. 若对于 的不同取值 ，随机变量 的取值 也不同，则随机变量 的分布律为：
2. 对于 的有限个或可列无穷多个不同取值，有，则

4.2 一维连续型随机变量的函数分布

定理

设连续型随机变量 的概率密度为 ，函数 在区间 上严格单调，其反函数 ，有连续导数，则 是一个连续型随机变量，其概率密度为：

其中 为 的值域。

在区间 上严格单调递增，

在区间 上严格单调递减，

---

若函数 不是严格单调的，但是在不相重叠的区间 上逐段严格单调，其反函数分别为 ，而且 均连续，则 是一个连续型随机变量，其概率密度为：

其中， 是使得 连续的 的集合。

4.3 二维连续型随机变量的函数分布

一般方法：

几个具体函数的分布：

• 的分布
• 的分布
• 的分布

4.3.1 的分布

设二维连续型随机变量 的概率密度为 ，则 是连续型随机变量。

• 设 ，假设随机变量互相独立，则
  • 是两点分布 ，则 是二项分布
  • 是几何分布，则 是负二项分布
  • 是泊松分布 ，则 是泊松分布
  • 是指数分布，则 是二项分布
  • 是正态分布 ，则 是二项分布

4.3.2 的分布

设 的概率密度为 ，分布函数为 ，对任意实数 ， 的分布函数

的概率密度

4.3.3 的分布

设 的概率密度为 ，分布函数为 ，对任意实数 ， 的分布函数

的概率密度

4.3.4 旋转不变的随机变量

1. 极坐标变换 ，有 ，
2. 设 ，则

第56章 数字特征和极限定理 笔记03的5 6

重要！！！！！！！！
绝对值分布，分部积分

5.0 例题们

正态分布的高阶矩计算

正态随机变量的绝对值分布和特征

随机向量的函数的数学期望

！！！离散型随机变量 的数学期望

正态分布的复合的期望方差

离散随机向量的数学期望

5.1 数学期望

5.1.1 离散型随机变量 的数学期望

定义

设 的分布律为：若级数 绝对收敛（即 收敛）
则称级数 为 的数学期望，记为

5.1.2 离散型随机变量 的函数的数学期望

定理

设 ， 是连续函数，随机变量 是离散型随机变量，若级数 绝对收敛，则有

5.1.3 连续型随机变量 的数学期望

定义

设 的概率密度为 ，若积分 绝对收敛（即 收敛）,则称积分 为 的数学期望，记为

5.1.4 连续型随机变量 X 的函数的数学期望

定理

设 ， 是连续函数，随机变量 的概率密度为 ，若积分 绝对收敛，则随机变量 的数学期望

5.1.5 随机向量的函数的数学期望

设 为随机向量， 为连续函数，那么 是一个随机变量。

• 若 为离散型随机变量，其分布律为

  则有

  其中 绝对收敛。

• 若 为连续型，其概率密度为 ，则有

  其中上式绝对收敛。
  边缘分布的期望：特别的，令 ，有 ，即边缘分布的期望，类似令 可得 。所以可以定义随机向量的期望是一个向量 。类似有 维向量的期望即 个边缘分布的期望向量。

5.1.6 数学期望的性质

1. 设 为常数，则有

2. 设 为常数， 为随机变量，则有

3. 设 为任意随机变量，则

4. 设 为相互独立的随机变量，则有

5.2 方差

5.2.1 定义

若 存在，则称其为随机变量 的方差，记为 或 ，即：

称 为 的均方差或标准差

5.2.2 方差的计算公式

方差 ，是 的函数 的数学期望。

1. 若 是离散型随机变量，分布律为：

   则：

2. 若 是连续型随机变量，概率密度为 ，则

3. 简便计算公式

5.2.3 方差的性质

1. 设 为常数，则有
2. 设 为常数， 为随机变量，则有：
3. ！
4. 设 为相互独立的随机变量，则有
   设 为相互独立的随机变量，则有

5.3 常用随机变量的数学期望和方差

5.3.1 (0-1)分布，

5.3.2 二项分布，

5.3.3 泊松分布，

5.3.4 几何分布

5.3.5 超几何分布

按概率模型，超几何分布是n次无放回抽取到次品个数的概率分布，由抽签原理每次抽到次品服从两点分布 ，其中 ，显然 ，，但 互相不独立。
已知
故有 。
由和的方差公式有

5.3.6 均匀分布，

5.3.7 指数分布，

5.3.8 正态分布

定理1：正态分布的性质

1. 设，则

2. 相互独立

定理2：

设随机变量 相互独立， 是连续函数，设

则 相互独立

5.4 协方差和相关系数

5.4.1 协方差

定义

称数值 为随机变量 与 的协方差，记作 ，即

• 协方差为正，正相关
• 协方差为负，负相关
• 协方差为0，零相关
• 协方差绝对值越大，两个变量同或反向程度也越大

常用计算公式

协方差的性质

5. 若 相互独立，，逆命题不成立

5.4.2 相关系数

定义

称数值 为随机变量 与 的相关系数或标准协方差，记作 或简记作 ，即：

若 的相关系数 ，则称 不相关

引入标准化随机变量 ，则

定理

若 相互独立，则

即：

• 相互独立 不相关
• 不相关 不一定 相互独立
• 特殊情况：对二维正态分布， 相互独立 不相关

性质

2. ，其中 是常数，且 ， 之间以概率 存在线性关系

相关系数 刻画了随机变量 之间的线性关系的近似程度。

越接近1， 越接近线性关系。

柯西不等式

设 为任意随机变量，则

2. 等式成立 存在常数 ，使得

定理

设

• 不相关
• 相互独立

5.5 矩、协方差矩阵

5.5.1 矩

矩是一些数字特征的泛称或总称。

定义

设 是随机变量，

• 若 存在，则称它为 的 阶原点矩
• 若 存在，则称它为 的 阶中心矩

数学期望 是一阶原点矩
方差 是二阶中心矩

此外，定义：

• 阶原点混合矩
• 阶中心混合矩
• 阶原点绝对矩
• 阶中心绝对矩

5.5.2 协方差矩阵

定义

对于 维随机向量 ，

若 存在

则矩阵 称为 的协方差矩阵

协方差矩阵 是一个对称矩阵。

二维正态随机变量

若令

的协方差矩阵为

则有

于是 的概率密度可写成

维正态随机变量

其中

6.0 例题们

马尔科夫不等式

数分？

依概率收敛

6.1 马尔科夫不等式和切比雪夫不等式

6.1.1 柯西施瓦茨不等式

• 柯西施瓦茨不等式
• 协方差不等式： 特别
  
• 三角不等式：

6.1.2 马尔科夫不等式

设随机变量 存在 ，，则对任意 ，成立：

6.1.3 切比雪夫不等式

设随机变量 存在 和 ，则对任意 ，成立：

固定 时， 越小， 越小

常数随机变量

• 常数随机变量：取值固定的随机变量，，则有
• 推论

6.2 大数定律（依概率收敛）

6.2.1 定义

• 依次列出可数无穷多个随机变量 简记为 ，称为随机（变量）序列。均值随机变量

• 对于随机（变量）序列 和随机变量 （或常数 ），若对任意 ，有

  或
  或

  则称随机（变量）序列 依概率收敛于 （或常数 ），简记为：

  或

• 设随机变量序列 依概率收敛于 ，设随机变量序列 依概率收敛于 ，则有 依概率收敛于

• 设有随机变量序列 ，令 ，如果 ，则称该随机变量序列 服从大数定律

• 设随机变量序列 独立同分布，且存在有限的数学期望和方差，即 ，记 ，则有

6.2.2 切比雪夫弱大数定律

设 是相互独立的随机变量序列。每一个 都有有限的方差，且方差有公共的上界，即
令 ，则有

• 对任意 ， 成立

6.2.3 辛钦弱大数定律

若随机变量序列相互独立，存在相同的数学期望和方差
则对任意 ，有
其中

6.2.4 伯努利弱大数定律

设 是 次独立重复试验中事件 发生的次数， 是在每次试验中事件 发生的概率，则对任意 ，有：

表明

事件 发生的频率 依概率收敛于事件 发生的概率。是频率作为概率的估计值的理论依据。

6.2.5 *随机变量的三种收敛性

1. 依概率收敛（Convergence in Probability）
   依概率收敛是指一个随机变量序列 收敛于一个随机变量 ，如果对于任意的正数 ，都有：
   这意味着随着 的增大，随机变量 与 之间的差异大于 的概率趋近于0。换句话说， 以越来越高的概率接近 。
   弱大数定律都依概率收敛

2. 以概率1收敛（Convergence Almost Surely）：
   以概率1收敛，也称为几乎处处收敛，是指一个随机变量序列 收敛于一个随机变量 ，如果存在一个事件 ，其概率为1（即 ），使得对于所有属于 的样本点 ，都有：
   这意味着除了一个概率为0的事件之外，对于所有的样本点，随机变量序列 都会收敛于 。
   强大数定律以概率1收敛

3. 依分布收敛（Convergence in Distribution）：
   依分布收敛，也称为弱收敛，是指一个随机变量序列 的分布函数 收敛于一个随机变量 的分布函数 ，如果对于所有的实数 和所有的连续点 （即 在 处连续），都有：
   这里 是 的分布函数， 是 的分布函数。依分布收敛关注的是随机变量序列的分布函数的收敛性，而不是随机变量本身。
   中心极限定理是依分布收敛

这三种收敛方式之间的关系是：以概率1收敛蕴含依概率收敛，而依概率收敛蕴含依分布收敛。然而，反之则不一定成立。例如，依分布收敛的随机变量序列可能不依概率收敛，也不一定以概率1收敛。

6.3 中心极限定理（依分布收敛）

6.3.1 独立同分布的中心极限定理

设随机变量 独立同分布，且存在有限的数学期望 和方差
定义部分和随机变量
为 的标准化随机变量，，则

当 充分大时， 近似服从 ， 近似服从

应用

设随机变量 独立同分布，且存在有限的数学期望 和方差
定义部分和随机变量 ，，
可以用逼近公式
特别二项分布 可用正态分布 逼近

典型情形：设 是独立同分布

• 服从两点分布，则 服从二项分布，近似正态分布
• 服从集合分布，则 服从负二项分布，近似正态分布
• 服从泊松分布，则 服从近似正态分布
• 服从均匀分布，则 服从样条分布，近似正态分布
• 服从指数分布，则 服从样条分布，近似正态分布
• 服从正态分布，则 或 服从正态分布

6.3.2 De Moivre-Laplace 定理

设 是 次独立重复试验中事件 发生的次数， 是在每次试验中事件 发生的概率，则对任意区间 ，成立：

数理统计

第7章 总体和分布 笔记03的7

7.0 例题们

分布

正态分布、 分布、分布

正态分布、 分布、分布、 分布

正态分布、 分布、分布、 分布

正态分布、 分布、分布、 分布

7.1 总体与样本

7.1.1 总体与个体

• 总体：具有一定共同属性的研究对象的全体；
• 个体：组成总体的每一个元素

在实际中我们主要关心的是：研究对象的某一（或某几项）数量的指标 ，它是一个随机变量。

• 总体：随机变量（数量指标） 的全体取值构成的集合。
• 总体的分布：随机变量 的分布。

7.1.2 样本值与样本

• 从一个总体 中，随机抽取 个个体（有放回的重复抽样）：
  是一次抽样观察（记录）的结果，称 为总体 的一组样本观察值，简称样本值。
  由于抽样的随机性，每次抽样结果是变化的。引入随机变量 ，每次抽样结果看成是随机变量的取值。
  称 为来自于总体 的样本容量为 的样本， 是样本 的一组观察值，称为样本值。

• 总体就是一个随机变量

• 样本就是 个相互独立的 同分布的随机变量

• 按机会均等的原则，从总体中选取一些个体进行实验或观察的过程，称为随机抽样。

• 获得简单随机样本的方法是简单随机抽样。

7.1.3 样本分布

若总体 具有分布函数 ，设 为来自于总体 的样本，则 相互独立，且 的分布函数：

的分布函数称为样本分布，即

7.2 样本矩和统计量

7.2.1 样本矩（样本的矩统计量）

设 为来自于总体 的一个样本，称

• 样本均值：

• 样本方差：

• 阶原点矩：

• 阶中心距：

样本矩都是随机变量。

如果 是样本 的一组观察值，则：

分别是 的观察值。

7.2.2 统计量

设 为总体 的一个样本， 为一个连续函数，则称 为样本的一个统计量。

显然， 是一个随机变量。

如果 是样本 的一组观察值，则： 是 的观察值

7.2.3 顺序统计量与经验分布函数

设 为来自于总体 的一个样本， （可以有相等的）是样本观察值，将观察值按大小次序排列，得到：

规定 的取值为 ，得到 称为 的一组顺序统计量。

，

记函数：

是一单调不减，右连续函数，且满足 和 ，由此可见， 是一个分布函数，称它为总体 的经验分布函数或样本分布函数。

可作为 的未知分布函数 的一个近似， 越大，近似程度越好。

7.3 常用统计量的分布

7.3.1 正态总体样本的线性函数服从正态分布

设总体 ， 是来自于 的一个样本，则样本的线性函数：

特别地，当 时，

均值与总体均值相等，方差等于总体方差的 ， 越大，越向总体均值 集中。

常用结论：

7.3.2 分布

定义

设 相互独立且都服从标准正态分布 ，则随机变量 的概率密度为

称 服从自由度为 的 分布，记为

的（下侧） 分位点：

对于给定的正数 ，称满足

的点 称为 分布的（下侧） 分位点。

对于不同的 和 ， 的值可在 分布的分布函数值表中查到，当 时，附表中没有列出，此时可用 求出 的近似值，上式中的 是标准正态分布的 分位点，

性质

定理2:

若 ，则 。

定理3:

若 ，且 与 相互独立，则

定理4:

设 相互独立，且都服从 ，则：

1. 与 相互独立

其中

7.3.3 分布

定义

设 ，且 与 相互独立，随机变量 的概率密度为

称 服从自由度为 的 分布，记作

分布的密度函数为偶函数。

分布的（下侧） 分位点：

对于给定的正数 ，使满足 的点 为 分布的（下侧） 分位点。

分布的（双侧） 分位点：

数 满足 ，

则 ,

称 为 分布的（双侧） 分位点。

对于不同的 ， 的值可在 分布表中查到，当 时，附表中没有列出，此时可查标准正态分布表，得 ，且有

定理6:

设 相互独立，且都服从 ，则

定理7:

设 和 分别是从正态分布总体 和 中所抽取的独立样本，则

7.3.4 分布

设 ，且 与 相互独立，随机变量

称 服从自由度为 的 分布，记作

的（下侧） 分位点：

对于给定的正数 ，使满足 的点 为 分布的（下侧） 分位点。

第8章1-3 参数估计 笔记04的8:1-3

8.0 例题们

矩估计

极大似然估计

极大似然估计

证明无偏估计

最小方差无偏估计

一致性

8.1 参数的点估计

8.1.1 矩估计法

用样本矩估计相应的总体（随机变量）矩。
只要总体的 阶矩存在，样本 阶矩依概率收敛于相应的总体 阶矩。

具体过程

设总体 的分布函数为 ，未知参数为 .

1. 求出总体矩： 或
2. 对总体进行随机抽样，设 为来自于总体 的样本， 为样本值；
3. 构造样本矩：；
4. 由于：；
5. 联立并解方程组求出 .

8.1.2 极大似然估计法

根据样本的具体情况，选择总体参数的估计，使得该样本发生的概率最大。

1 连续情形

定义

若 是连续型随机变量，概率密度函为 ，其中 为未知参数， 落在点 邻域内的概率为
选取总体参数 的估计值 ，使得此概率达到最大，即 达到最大值。
称为极大似然函数。

单参数解法

1. 求
2. 解方程 或
3. 经验证 在 处达到最大值，所以...是 的极大似然估计

多参数解法

1. 求
2. 解方程
3. 经验证 在 处达到最大值，所以...是 的极大似然估计

2 离散情形

定义

若 是离散型随机变量，分布律 形式已知，参数 未知， 为样本 的样本观察值。
取到 的概率：

选取总体参数 的估计值 ，使得此概率达到最大，即 达到最大值。
称为极大似然函数。

解法

同上

8.2 点估计的优良性

8.2.1 无偏性

设 （简记为 ）为未知参数 的估计量，若 （真值），则称 为 的无偏估计。

证明

8.2.2 最小方差无偏估计（有效性）

设 是 的一个无偏估计，若对于 的任一无偏估计 ，成立：

则称 是 的最小方差无偏估计。
若 和 都是无偏估计量，且 ，则称估计量 较 有效，或较佳，或较优。

找

8.2.3 一致估计（相合性）

设 为未知参数 的估计量，若 依概率收敛于 ，即对任意的 ，则称 为 的一致性估计。

8.2.4 知识点

样本均值是期望的最小方差无偏线性估计MVU（样本均值作为总体期望的估计，具有无偏性和有效性）

样本方差是方差的无偏估计

正态总体的样本均值和样本方差的无偏和有效性

8.3 区间估计与置信区间

8.3.1 置信区间

设总体分布含有一未知参数 ，又 为来自于总体的样本，若对给定的 ，统计量 和 满足：

则称区间 为 相应于置信度是 的置信区间，简称置信区间。

分别称为置信下限和置信上限。

注

1. 统计量 和 是随机变量，区间 是置信区间。

对于 ，区间 是普通区间。

2. 较小时，随机区间以较大的概率包含

3. 置信区间的长度意味着误差，因此越小越好

8.3.2 单侧置信限

若对于给定的 ，统计量 满足 ，则称区间 为 相应于置信度是 的单侧置信区间，称 为置信度为 的单侧置信下限。

若对于给定的 ，统计量 满足 ，则称区间 为 相应于置信度为 的单侧置信区间，称 为置信度为 的单侧置信上限。

第8章4第9章1-2 统计推断 笔记04的8:4 9:1-2

8.4 正态分布均值和方差的区间估计

8.4.1 均值 的区间估计

1.方差 已知，对 进行区间估计

设总体 ，其中 已知，又 为来自于总体的样本。

求出统计量 使：

区间 为 的置信度为 的置信区间

• 特别的，对于不服从正态分布的总体，只要n足够大，则由中心极限定理，随机变量 近似地服从标准正态分布，因此仍然有 作为 的置信区间

例

2.方差 未知，对 进行区间估计

设 为正态总体 的一个样本，由于 未知，用样本方差 来代替总体方差
故均值 的置信区间为
其中

例1

例2

例3

8.4.2 方差 的区间估计（总体均值未知）

设总体 是总体的样本，当总体 的参数 未知时，
方差 的置信区间为
的置信区间是

注

选取的临界值 不是唯一的。

例

9.2 正态总体均值和方差的假设检验

假设检验过程中的两类判断错误（判断失误）

1. 当判断 伪（拒绝 ）时，实际情况 真——此为第一类错误（弃真）（概率小于或等于 ）
2. 当判断 真（接受 ）时，实际情况 伪——此为第二类错误（纳伪）（概率为 ）

当样本容量 固定时，犯两类错误的概率大小时相互制约的，即减小其中一个，另一个往往会增大。

通常的实际做法是：设置检验水平 来限制第一类错误（根据具体情况），再尽量减小第二类错误。（增大样本容量 ）

在实际问题中，如何给定检验水平 ，应根据具体情况而定

1. 当拒绝一个属真的假设，即犯第一类错误后果非常严重时，应将 取得小一些，如 等；
2. 当取伪会引起严重后果时，可将 取得适当大一些，如 等。

9.2.1 已知

1. 已知，检验假设

由样本提供的信息计算 的值，查 表得

• 若 则拒绝原假设 （ 伪），接受 ；
• 若 则接受原假设 （ 伪）。

例

2. 已知，检验假设

由样本提供的信息计算出

• 若 则拒绝原假设（ 伪），接受 ；
• 若 则接受原假设（ 真）

例

3. 已知，检验假设

由样本提供的信息计算出

• 若 则拒绝原假设（ 伪），接受 ；
• 若 则接受原假设（ 真）

例

9.2.2 未知

1. 未知，检验假设

由样本计算出 ，然后与 进行比较

• 若 ，则拒绝假设 ，接受
• 若 ，则接受假设

例1

例2

2. 未知，检验假设

由样本计算出 ，然后与 ​ 进行比较

• 若 ，则拒绝假设 ，接受
• 若 ，则接受假设

3. 未知，检验假设

由样本计算出 ，然后与 ​ 进行比较

• 若 ，则拒绝假设 ，接受
• 若 ，则接受假设

以上三种检验法均采用了 分布，故又名 检验法。

9.2.3 正态总体方差的假设检验

1. 检验假设

根据样本值计算

• 若 或 则拒绝假设 ，接受
• 否则接受假设

例1

例2

2. 检验假设

根据样本值计算

• 若 则拒绝假设 ，接受
• 否则接受假设

3. 检验假设

根据样本值计算

• 若 则拒绝假设 ，接受
• 否则接受假设

例

注：假设检验与置信区间的关系

假设 的检验实质上是找出 的置信区间，如果 落在置信区间内，则接受原假设 ；如果落在置信区间外，就拒绝假设

随机过程

第10章 随机过程的基本概念 笔记04的10

10.1 随机过程的定义及分类

10.1.1 随机过程的定义

定义1

给定参数集 ，对于固定 ，对应有随机变量 ，对应所有 ，是一族随机变量 ，则称随机变量族 为随机过程。

对任意给定的 是一个随机变量，称为随机过程在 时的状态变量，简称状态。

定义2

设随机试验 的样本空间 ， 是非空集合，若对于固定 ，对应关于参数 的函数 称为随机过程的样本函数（或随机过程的一个实现，也称为一条轨道）。

对于所有的 ，得到一族 的函数 ，称为随机过程，简称过程。简记为 或 .

称为参数集。

由定义2得

• 对于 中的每一个 ， 是仅依赖于 的函数，称为随机过程的样本函数，它是随机过程的一次物理实验或对应于 的轨道
• 对任意给定的 ， 是一个随机变量，称其为随机过程在 时的状态变量，简称状态

定义3

定义在 上的二元函数 ，对于每个固定的 ， 是可测函数，则称 为随机过程。

对于固定的 ， 是随机变量，其所有可能的取值构成的实数空间，称为随机过程的状态空间。它是二元函数 的值域，记为 。

例

10.1.2 随机过程的分类

1. 按随机过程的参数集和状态空间分类

• 参数集 可能为离散集或连续集
• 状态空间 可能为离散集或连续集

1. 离散， 离散（贝努里随机过程）
2. 离散， 连续

参数离散随机过程是随机变量序列，简称随机序列。

一般地记 ，于是

3. 连续， 离散（泊松过程）
4. 连续， 连续

2. 按随机过程的概率结构分类

• 二阶矩过程，包括正态过程，平稳过程等
• 马尔可夫过程
  • 马尔科夫链
  • 泊松过程
  • 维纳过程
  • 扩散过程
• 更新过程
• 鞅

10.2 随机过程的概率分布

10.2.1 随机过程的n维分布函数

设 是一随机过程，对于参数集 中的任意 个元素： 相应有过程分别在 的 个状态：

个状态（随机变量）的联合分布函数

称为随机过程 的 维分布函数。

如果存在非负函数 ，使得：

成立，则称 为随机过程 的 维概率密度，

10.2.2 独立过程

如果对于任何正整数 ，随机过程的任意 个状态都是相互独立的，则称此过程为独立过程。
独立过程的 维分布函数（或 维概率密度）必等于相应的 个一维分布函数（一维概率密度）的乘积，即有：

例

10.2.3 两个随机过程的有限维联合分布及独立性

设 和 是两个随机过程，由 的任意 个状态 和 的任意 个状态 组成 维随机向量。其分布函数：

称为随机过程 和 的 维联合分布函数。

如果对于任何正整数 和 ，对于 和 中的任意数组，关系式：

都成立，则称两个随机过程相互独立。

10.3 随机过程的数字特征

10.3.1 随机过程的数字特征

参数集 ，随机变量族 是一个随机过程，对于任意给定 , 过程在 的状态 是随机变量，一维概率密度 。

1. 过程在 的状态 的数学期望

   对于一切 ， 是 的函数，称为随机过程 的均值函数，简称均值。

2. 过程在 的状态 的二阶原点矩

   称为随机过程 的均方值函数，简称均方值

3. 过程在 的状态 的二阶中心矩

   称为随机过程 的方差函数，简称方差。标准差/均方差函数

4. 任选 ，状态 是两个随机变量

   称为随机过程 的自相关函数，简称相关函数

5. 称为随机过程 的自协方差函数，简称协方差函数

• 均值、均方值、方差是刻画随即过程在各个状态的统计特性
• 相关函数和协方差函数是刻画随机过程的任何两个不同状态的统计特性

数字特征间的关系

10.3.2 连续型随机过程的数字特征

对连续型随机过程 ，设一维概率密度为 ，则有

任选 ，状态 是两个随机变量，二维概率密度 ，则有

例1

例2

10.3.3 两个随机过程的互相关函数

两个随机过程 和 ，任选 ，对应有过程 在 的状态 ，过程 在 的状态 。

1. 和 的二阶原点混合矩

   称为随机过程 和 的互相关函数

2. 和 的二阶中心混合矩

   称为随机过程 和 的互协方差函数
   且有

3. 如果对任意 ，都有 ，亦即 ，则称随机过程 和 是不相关的。
   显然，两个相互独立的随机过程必不相关

例

第11章 平稳过程 笔记04的11

11.1 严平稳过程

11.1.1 严平稳过程的定义

对于任意实数 ，如果随机过程 的任意 维分布满足：

（严平稳条件）

则 称为严，强或狭义平稳过程。

若参数 表示“时间”，则严平稳过程的任何有限维概率分布不随时间的平移而变化。

11.1.2 严平稳过程的性质

1. 状态离散的随机过程 的严平稳条件
2. 状态连续的随机过程 的严平稳条件
3. 特殊地，取
   • 一维分布函数
   • 二维分布函数

• 一维分布函数 ：不依赖于参数
• 二维分布函数 ：仅依赖于参数间距 ，而与 本身无关

11.1.3 严平稳过程的数字特征

定理

设 是严平稳过程，如果过程的二阶矩存在，那么

• 均为常数，与参数 无关；
• 仅依赖于

注：

这一性质也称为数字特征的平稳性

例 伯努利过程

11.2 宽（广义）平稳过程

11.2.1 宽平稳过程的定义

设随机过程 ，对于任意 ，满足：

2. 是常数
3. 仅依赖于 ，而与 无关

则称 为宽，弱或广义平稳过程，简称平稳过程。

参数集 为可列集的平稳过程，又称为平稳序列，或称平稳时间序列。

11.2.2 平稳过程的例子

例1 证明是平稳过程

例2 证明是平稳过程

例3 证明是平稳序列

例4 证明是平稳序列

例5 证明是平稳过程

11.2.3 严平稳过程与宽平稳过程的关系

1. 宽平稳过程不一定是严平稳过程
2. 严平稳过程不一定是宽平稳过程
   • 存在二阶矩的严平稳过程必定是宽平稳过程

二阶矩 存在的随机过程称为二阶矩过程。

11.2.4 两个平稳过程的关系：平稳相关

设 和 是两个平稳过程，如果互相关函数 仅是参数间距 的函数，则称 和 平稳相关，或称它们是联合平稳的。此时：

定义：

称为标准互协方差函数。

11.3 正态平稳过程

11.3.1 正态过程的概念

1. 正态随机变量的有关知识

一维正态随机变量 的概率密度

二维正态随机变量 的概率密度

维正态随机变量 的概率密度

其中：

协方差矩阵

2. 正态过程的定义

如果随机过程 ，对任意正整数 ，， 服从正态分布，则称 为 正态过程，又称高斯(Gauss)过程。

设 为正态过程，则：

3. 独立正态过程的定义

如果 是正态过程，同时又是独立过程，则称 为独立正态过程。

正态过程 ，如果 是可列集，，记 ，那么 是正态序列。

4. 正态过程是二阶矩过程

设 是正态过程， 服从正态分布，则：

必存在，即二阶矩存在。

11.3.2 正态平稳过程

1. 定义

如果正态过程 又是广义平稳过程，则称 为正态平稳过程。

2. 定理

设 是正态过程，则 为严平稳过程 宽平稳过程。

3. 例题

例1 正态平稳过程的一维、二维服从的分布

例2 证明平稳过程

11.4 遍历过程（经历过程）

11.4.1 时间均值和时间相关函数

设随机过程
固定 ，样本函数 ， 在区间 上的函数平均值定义为：

在 上的函数平均值定义为：

\overline{x(t)} = \overline{X(e,t)} = \lim\limits{l \to +\infty}
\dfrac{1}{2l}\int^l{-l}X(e, t),dt

\begin{aligned}
\overline{X(t)X(t + \tau)}
= & \overline{X(e, t)X(e, t + \tau)}\
= & \lim\limits{l \to +\infty}
\dfrac{1}{2l}
\int^l{-l}
X(e, t)X(e, t + \tau),dt
\end{aligned}

\begin{aligned}
&\overline{X(t)} = \lim\limits{l \to +\infty}
\dfrac{1}{l}
\int_0^l X(e, t), dt\
&\overline{X(t)X(t + \tau)} = \lim\limits{l \to +\infty}
\dfrac{1}{l}
\int_0^l X(e, t)X(e, t + \tau), dt
\end{aligned}

\lim\limits_{l \to +\infty}
\dfrac{1}{l} \int_0^{2l}
(1 - \dfrac{\tau}{2l})[R_X(\tau) - \mu^2_X],d\tau = 0

\lim\limits_{l \to +\infty}
\dfrac{1}{l} \int_0^{l}
(1 - \dfrac{\tau}{l})[R_X(\tau) - \mu^2_X],d\tau = 0

P=
\left(
\begin{array}
&p{00}&p{01}&\cdots&p{0j}&\cdots\
p{10}&p{11}&\cdots&p{1j}&\cdots\
\vdots&\vdots&\ddots&\vdots&\cdots\
p{i0}&p{i1}&\cdots&p_{ij}&\cdots\
\vdots&\vdots&\vdots&\vdots&\ddots
\end{array}
\right)

p{ij}^{(n+l)}(t_m)=
\sum\limits{k \in S} p{ik}^{(n)}(t_m) \cdot p^{(l)}{kj}(t_{m+n})

p_{j}(t_0)=P{X(t_0)=j}, \quad j=0, 1, 2, ...

\begin{aligned}
&P{X(k1) = j_1, X(k_2)=j_2, ..., X(k_n) = j_n}\
=& \sum\limits{i=0}^{+\infty}pi(0)\cdot p{ij1}^{(k_1)}\cdot p{j1j_2}^{(k_2 - k_1)}...p{j{n-1}j_n}^{(k_n-k{n-1})}
\end{aligned}

p_j(t_n)=P{X(t_n)=j},\quad j = 0,1,2,...

pj(t_n)=\sum\limits{i=0}^{+\infty} pi(t_0)\cdot p{ij}^{(n)},\quad j=0, 1, 2,...

\begin{aligned}
&\big(p_0(t_n), p_1(t_n), ..., p_j(t_n), ...\big)\
=&\big(p_0(t_0), p_1(t_0), ..., p_j(t_0), ...\big)\cdot P^n
\end{aligned}

pj=\sum\limits{i=0}^{+\infty}pip{ij}

(p_0, p_1, p_2, ..., p_j, ...)=(p_0, p_1, p_2, ..., p_j, ...)\cdot P

p_j(t_n) = P{X(t_n)=j}=p_j(t_0),\space j=0,1,2,...

\big(p_0(t_n), p_1(t_n), ..., p_j(t_n), ...\big)
=\big(p_0(t_0), p_1(t_0), ..., p_j(t_0), ...\big)