5 随机变量/向量的数字特征

5.1 期望与方差

5.1.1 期望

1 离散型随机变量 的数学期望

设随机变量 的分布律为
若级数 绝对收敛（即 收敛），则称级数 为 的数学期望，
记为 。

2 离散型随机变量 的函数 的数学期望

设随机变量 的分布律为
若级数 绝对收敛，
则有 。

3 连续型随机变量 的数学期望

设随机变量 的概率密度为 ，
若积分 绝对收敛，即 收敛，则称积分 为 的数学期望，
记为 。

• cauchy分布期望不存在
  

4 连续型随机变量 的函数 的数学期望

设随机变量 的概率密度为 ，
若积分 绝对收敛，
则有 。

5 随机向量的函数的数学期望

设 为随机向量， 为连续函数，那么 是一个随机变量。

(X,Y) 为离散型随机变量

其分布律为 ，
则有，
其中 绝对收敛。

(X,Y) 为连续型随机变量

其概率密度为 ，则 的期望是
其中上式绝对收敛。

• 设 独立，则
• 边缘分布的期望：特别的，令 ，有 ，即边缘分布的期望，类似令 可得 。所以可以定义随机向量的期望是一个向量 。类似有 维向量的期望即 个边缘分布的期望向量。

6 数学期望的性质

• 设 为常数，则有
• 设 为常数， 为随机变量，则有
• 设 为任意随机变量，则有
• 设 为相互独立的随机变量，且 存在，则有

5.1.2 方差

• 设随机变量 的期望 有限，则称 为 的方差。
• 定义：方差为误差平方的期望（定义 ，）

1 离散型随机变量 的方差

设随机变量 的分布律为 则

2 连续型随机变量 的方差

设随机变量 的概率密度为 ，则

3 简便方法

4 方差的性质

• 设 为常数，则有
• 设 为常数， 为随机变量，则有
• 设 是相互独立的随机变量，则有
• 一般的，

5.2 常见分布的期望与方差

5.2.1 常见离散分布

• 两点分布 Bernouli贝努力分布：

• 二项分布 ：
  按概率模型，二项分布相当于n次独立实验的和，每次实验服从两点分布 ，即，，特别 相互独立。
  已知
  故有 ，由独立性有

• 泊松分布 ：

• 几何分布：

• 超几何分布 ：
  按概率模型，超几何分布是n次无放回抽取到次品个数的概率分布，由抽签原理每次抽到次品服从两点分布 ，其中 ，显然 ，，但 互相不独立。
  已知
  故有 。
  由和的方差公式有

  综上，

5.2.2 常见连续分布

• 均匀分布：
• 指数分布：
  • 方法：主要是分部积分
• 正态分布：
  （利用奇偶性和分部积分可得）p153 例1
  
  

5.3 协方差和相关系数

5.3.1 协方差

定义

设 存在，定义 ， 的协方差 。可记为 。
简化定义：

性质

• 对称性：，特别
• 线性：
• 求和：
  
  
• 若 与 相互独立，则有 ，逆命题不成立

5.3.2 相关系数

定义

设 为二维随机变量，协方差 存在，且 ，则称数值 为随机变量 X 与 Y 的相关系数或标准协方差，记作 或简记作 ，即：

若 X,Y 的相关系数 ，则称 不相关

引入标准化随机变量 ，则

性质

• 的充要条件是 ，其中 是常数，且

相关系数 刻画了随机变量 与 之间线性关系的近似程度。当 越接近于1时， 与 越接近线性关系。当 时， 与 之间以概率1成立线性关系.

• 时称 与 不相关
• 若 相互独立，则 ，即
  • 相互独立 不相关
  • 不相关 不一定 相互独立
  • 特殊情况：对二维正态分布， 相互独立 不相关

5.4 随机变量的矩( 唯一决定 )

5.4.1 矩

• 又称期望算子

• 期望算子的性质

  • 单调性：
  • 线性：

• 原点矩和中心矩
  给定随机变量 ，任意 ，称 为 的 阶原点矩(moment)
  称 为 的 阶中心矩

• 例：期望是一阶（原点）矩，方差是二阶中心矩

5.4.2 矩母函数

• 设随机变量 的期望存在，定义 的关于变量 的矩母函数为 ，可记为

• 离散情形：

• 连续情形：

• 随机变量的 阶原点矩是矩母函数在零点的 阶导数

• **已知矩母函数可计算随机变量的密度函数：拉普拉斯变换

5.4.3 协方差矩阵

定义

对于 维随机向量 ，

若 存在

则矩阵 称为 的协方差矩阵

协方差矩阵 是一个对称矩阵。

二维正态随机变量

若令

的协方差矩阵为

则有

于是 的概率密度可写成

维正态随机变量

其中

维正态随机变量

设 是 维正态随机变量，
矩阵 ，向量 ，
令 ，，
这样的随机变量 也成为正态随机变量。

5.5 常见分布的矩母函数

常见离散分布

• 二项分布
• 泊松分布

常见连续分布

• 均匀分布
• 正态分布

6 大数定律和中心极限定理

6.1 马尔科夫不等式和切比雪夫不等式

6.1.1 柯西许瓦茨不等式

随机变量情形

• 离散：
• 连续：
  等价于
• 协方差不等式： 特别
  
• 三角不等式：

6.1.2 马尔科夫不等式

设随机变量 存在 ，，则对任意 ，成立：

6.1.3 切比雪夫不等式

设随机变量 存在 和 ，则对任意 ，成立：

固定 时， 越小， 越小

常数随机变量

• 常数随机变量：取值固定的随机变量，，则有
• 推论

6.2 大数定律

6.2.1 定义

• 依次列出可数无穷多个随机变量 简记为 ，称为随机（变量）序列。
• 均值随机变量
• 对于随机（变量）序列 和随机变量 （或常数 ），若对任意 ，有
  或
  或
  则称随机（变量）序列 依概率收敛于 （或常数 ），简记为：
  或

6.2.2 弱大数定律

6.2.2.1 切比雪夫弱大数定律

设 是相互独立的随机变量序列。每一个 都有有限的方差，且方差有公共的上界，即
令 ，则有

• 对任意 ， 成立

6.2.2.2 辛钦弱大数定律

若随机变量序列相互独立，存在相同的数学期望和方差
则对任意 ，有
其中

6.2.2.3 伯努利弱大数定律

设 是 次独立重复试验中事件 发生的次数， 是在每次试验中事件 发生的概率，则对任意 ，有：

表明

事件 发生的频率 依概率收敛于事件 发生的概率。是频率作为概率的估计值的理论依据。

6.2.4

• 设随机变量序列 依概率收敛于 ，设随机变量序列 依概率收敛于 ，则有 依概率收敛于
• 设有随机变量序列 ，令 ，如果 ，则称该随机变量序列 服从大数定律
• 设随机变量序列 独立同分布，且存在有限的数学期望和方差，即 ，记 ，则有

6.2.5 *随机变量的三种收敛性

1. 依概率收敛（Convergence in Probability）
   依概率收敛是指一个随机变量序列 收敛于一个随机变量 ，如果对于任意的正数 ，都有：
   这意味着随着 的增大，随机变量 与 之间的差异大于 的概率趋近于0。换句话说， 以越来越高的概率接近 。
   弱大数定律都依概率收敛

2. 以概率1收敛（Convergence Almost Surely）：
   以概率1收敛，也称为几乎处处收敛，是指一个随机变量序列 收敛于一个随机变量 ，如果存在一个事件 ，其概率为1（即 ），使得对于所有属于 的样本点 ，都有：
   这意味着除了一个概率为0的事件之外，对于所有的样本点，随机变量序列 都会收敛于 。
   强大数定律以概率1收敛

3. 依分布收敛（Convergence in Distribution）：
   依分布收敛，也称为弱收敛，是指一个随机变量序列 的分布函数 收敛于一个随机变量 的分布函数 ，如果对于所有的实数 和所有的连续点 （即 在 处连续），都有：
   这里 是 的分布函数， 是 的分布函数。依分布收敛关注的是随机变量序列的分布函数的收敛性，而不是随机变量本身。
   中心极限定理是依分布收敛

这三种收敛方式之间的关系是：以概率1收敛蕴含依概率收敛，而依概率收敛蕴含依分布收敛。然而，反之则不一定成立。例如，依分布收敛的随机变量序列可能不依概率收敛，也不一定以概率1收敛。

6.3 中心极限定理

6.3.1 独立同分布的中心极限定理

设随机变量 独立同分布，且存在有限的数学期望 和方差
定义部分和随机变量
为 的标准化随机变量，，则

当 充分大时， 近似服从 ， 近似服从

应用

设随机变量 独立同分布，且存在有限的数学期望 和方差
定义部分和随机变量 ，，
可以用逼近公式
特别二项分布 可用正态分布 逼近

典型情形：设 是独立同分布

• 服从两点分布，则 服从二项分布，近似正态分布
• 服从集合分布，则 服从负二项分布，近似正态分布
• 服从泊松分布，则 服从近似正态分布
• 服从均匀分布，则 服从样条分布，近似正态分布
• 服从指数分布，则 服从样条分布，近似正态分布
• 服从正态分布，则 或 服从正态分布

6.3.2 De Moivre-Laplace 定理

设 是 次独立重复试验中事件 发生的次数， 是在每次试验中事件 发生的概率，则对任意区间 ，成立：

7 统计总体与样本

7.1 总体与样本

7.1.1 总体与个体

• 总体：具有一定共同属性的研究对象的全体；
• 个体：组成总体的每一个元素

在实际中我们主要关心的是：研究对象的某一（或某几项）数量的指标 ，它是一个随机变量。

• 总体：随机变量（数量指标） 的全体取值构成的集合。
• 总体的分布：随机变量 的分布。

7.1.2 样本值与样本

• 从一个总体 中，随机抽取 个个体（有放回的重复抽样）：
  是一次抽样观察（记录）的结果，称 为总体 的一组样本观察值，简称样本值。
  由于抽样的随机性，每次抽样结果是变化的。引入随机变量 ，每次抽样结果看成是随机变量的取值。
  称 为来自于总体 的样本容量为 的样本， 是样本 的一组观察值，称为样本值。

• 总体就是一个随机变量

• 样本就是 个相互独立的 同分布的随机变量

• 按机会均等的原则，从总体中选取一些个体进行实验或观察的过程，称为随机抽样。

• 获得简单随机样本的方法是简单随机抽样。

7.1.3 样本分布

若总体 具有分布函数 ，设 为来自于总体 的样本，则 相互独立，且 的分布函数：

的分布函数称为样本分布，即

7.2 样本矩和统计量

7.2.1 样本矩（样本的矩统计量）

设 为来自于总体 的一个样本，称

• 样本均值：

• 样本方差：

• 阶原点矩：

• 阶中心距：

样本矩都是随机变量。

如果 是样本 的一组观察值，则：

分别是 的观察值。

7.2.2 统计量

设 为总体 的一个样本， 为一个连续函数，则称 为样本的一个统计量。

显然， 是一个随机变量。

如果 是样本 的一组观察值，则： 是 的观察值

7.2.3 顺序统计量与经验分布函数

设 为来自于总体 的一个样本， （可以有相等的）是样本观察值，将观察值按大小次序排列，得到：

规定 的取值为 ，得到 称为 的一组顺序统计量。

，

记函数：

是一单调不减，右连续函数，且满足 和 ，由此可见， 是一个分布函数，称它为总体 的经验分布函数或样本分布函数。

可作为 的未知分布函数 的一个近似， 越大，近似程度越好。

7.3 常用统计量的分布

7.3.1 正态总体的样本的线性函数服从正态分布

设总体 ， 是来自于 的一个样本，则样本的线性函数：

特别地，当 时，

均值与总体均值相等，方差等于总体方差的 ， 越大，越向总体均值 集中。

常用结论：

7.3.2 分布

定义

设 相互独立且都服从标准正态分布 ，则随机变量 的概率密度为

称 服从自由度为 的 分布，记为

的（下侧） 分位点：

对于给定的正数 ，称满足

的点 称为 分布的（下侧） 分位点。

对于不同的 和 ， 的值可在 分布的分布函数值表中查到，当 时，附表中没有列出，此时可用 求出 的近似值，上式中的 是标准正态分布的 分位点，

性质

定理2:

若 ，则 。

定理3:

若 ，且 与 相互独立，则

定理4:

设 相互独立，且都服从 ，则：

1. 与 相互独立

其中

7.3.3 分布

定义

设 ，且 与 相互独立，随机变量 的概率密度为

称 服从自由度为 的 分布，记作

分布的密度函数为偶函数。

分布的（下侧） 分位点：

对于给定的正数 ，使满足 的点 为 分布的（下侧） 分位点。

分布的（双侧） 分位点：

对于给定的正数 ，使满足 的点 为 分布的（双侧） 分位点。

对于不同的 ， 的值可在 分布表中查到，当 时，附表中没有列出，此时可查标准正态分布表，得 ，且有

定理6:

设 相互独立，且都服从 ，则

定理7:

设 和 分别是从正态分布总体 和 中所抽取的独立样本，则

7.3.4 分布

设 ，且 与 相互独立，则随机变量 的概率密度为

称 服从自由度为 的 分布，记作

的（下侧） 分位点：

对于给定的正数 ，使满足 的点 为 分布的（下侧） 分位点。

定理9

设总体 ， 为来自总体 的样本。总体 ， 为来自于总体 的样本， 与 独立