研究生的基本素养之概率论与数理统计

写在前面

对于包括计算机专业在内的理工科而言，概率论与数理统计是一门非常重要的数学基础课。本文立足于申请研究生笔试、面试等等考核，从本科生角度，将《概率论与数理统计》这门课中常见的重要知识点做以简单的记录。

正文

概率论基本知识点

1. 条件概率公式

   $$\begin{aligned} P(A|B) &= \frac{P(AB)}{P(B)} \\ P(AB) &= P(A|B)P(B) = P(B|A)P(A) \\ P(A_1A_2\dots A_n) &= P(A_1)P(A_1|A_2)P(A_3|A_1A_2)\dots P(A_n|A_1A_2\dots A_{n-1}) \end{aligned}$$

   关于上述第三个公式，有递推公式$P(A_1A_2\dots A_i)=P(A_i|A_1A_2\dots A_{i-1})P(A_1A_2\dots A_{i-1})$，依次递推可得结果。

2. 全概率公式

   试验$E$的样本空间有一个划分为$B_1, B_2, \dots, B_n$，则$E$的某一事件$A$的全概率公式为

   $$P(A) = \sum_{i=1}^n P(A|B_i)P(B_i)$$

   简单理解，导致事件$A$发生有很多条件因素，用条件概率算加和就是全概率公式。

3. 贝叶斯公式

   $$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$$

   有时候利用贝叶斯公式计算概率时，分母的$P(B)$需要用全概率公式计算得到。

随机变量及其概率分布

1. 随机变量

   随机变量分为两种：

   • 离散型随机变量
   • 连续型随机变量

2. 分布律与概率密度

   • 分布律：针对离散型随机变量的概率分布。即高中学过的分布列。高中主要学习的就是离散型随机变量。
   • 概率密度：针对连续型随机变量的概率分布。对连续型随机变量$X$，有概率密度函数$f(x)$，则$P(X=a)=f(a)$。

   概率密度函数是重点。它有如下的特点：

   • 非负：$\forall x \in (-\infty, +\infty), 0 \leqslant f(x) \leqslant 1$；
   • 积分为1：$\displaystyle \int_{-\infty}^{+\infty}f(x)dx=1$

3. 分布函数

   对于随机变量$X$，定义它的分布函数

   $$F(x) = P(X\leqslant x) = \begin{cases} \displaystyle \sum_{t\leqslant x} p(t), X为离散型随机变量 \\ \displaystyle \int_{-\infty}^xf(t)dt \end{cases}$$

   分布函数$F(x)$的性质如下：

   • $F(x)$单调不减
   • $\displaystyle F(-\infty) = \lim_{x\to -\infty}F(x) = 0; \displaystyle F(+\infty) = \lim_{x\to +\infty}F(x) = 1$
   • $F(x)$右连续

4. 几种常见的离散型分布

1. 几种常见的连续型分布

多元随机变量及其概率分布

多元随机变量相比于单一随机变量，提高了随机变量维度，情况更加复杂。同样地，也有概率密度、分布函数等定义。这里以常见的二元随机变量为例进行说明。

1. 联合分布律与联合概率密度

   • 联合分布律：多元随机变量为离散型随机变量
   • 联合概率密度：多元随机变量为连续型随机变量。对于连续型随机变量$X,Y$，有概率密度函数$f(x,y)$，则$P(X=a \cap Y=b)=f(a,b)$

2. 分布函数

   不妨以连续型随机变量为例，定义$X,Y$的概率分布函数为

   $$F(x,y)=P(X\leqslant x \cap Y\leqslant y) = \int_{-\infty}^x\int_{-\infty}^yf(u,v)dvdu$$

3. 边缘分布

   即仅保留一个随机变量、消去其他全部变量而得到的概率分布称为边缘分布：

   $$F_X(x) = P(X\leqslant x, Y\leqslant +\infty) = F(x,+\infty)$$ $$F_Y(y) = P(X\leqslant +\infty, Y\leqslant y) = F(+\infty, y)$$

   求边缘概率密度时，对于离散型随机变量，边缘概率需要进行求和；对于连续型随机变量，边缘概率密度需要进行积分：

   $$f_X(x) = \int_{-\infty}^{+\infty}f(x,y)dy$$ $$f_Y(y) = \int_{-\infty}^{+\infty}f(x,y)dx$$

4. 条件概率分布

   二维随机变量$X,Y$概率密度为$f(x,y)$，而$(X,Y)$关于$Y$的边缘概率密度为$f_Y(y)$，对于固定的$y$，称$\displaystyle \frac{f(x,y)}{f_Y(y)}$，记作

   $$f_{X|Y}(x|y) = \frac{f(x,y)}{f_Y(y)}$$

   而称

   $$F_{X|Y}(x|y) = P(X\leqslant x | Y=y) = \int_{-\infty}^x f_{X|Y}(x|y)dx=\int_{-\infty}^x\frac{f(x,y)}{f_Y(y)}dx$$

   为$Y=y$条件下$X$的分布函数。

例题

联合概率密度求边缘概率密度

设随机变量$(X,Y)$的联合概率密度函数为

$$f(x,y) = \begin{cases} ke^{-(2x+y)} & x>0,y>0 \\ 0 &其他 \end{cases}$$

1. 求常数$k$；
2. 求随机变量$X$的边缘概率密度$f_X(x)$；
3. 求$P(Y>X)$。

解析：

1. 求解常数$k$，需要用到性质$\displaystyle \int_0^{+\infty}\int_0^{+\infty}ke^{-(2x+y)}dxdy = 0$，计算得出$k=2$.

2. 根据上面的计算公式

   $$\begin{aligned} f_X(x) &= \int_{-\infty}^{+\infty}f(x,y)dy \\ &= \int_{-\infty}^{+\infty}2e^{-(2x+y)}dy \\ &= \begin{cases} 2e^{-2x}, \ & x\geqslant 0 \\0, &x<0 \end{cases} \end{aligned}$$

3. 对概率密度进行积分

   $$\begin{aligned} P(Y>X) &= \int_0^{+\infty}\int_x^{+\infty}f(x,y)dydx \\ &= \int_0^{+\infty}\int_x^{+\infty}2e^{-(2x+y)}dydx \\ &=\frac{2}{3} \end{aligned}$$

求条件概率分布

设随机变量$X,Y$的概率分布为

$$f(x,y) = \begin{cases} e^{-x}\ &0<y<x \\ 0 & 其他 \end{cases}$$

1. 求条件概率$P(X<1|Y<1)$；
2. 求边缘概率密度$f_X(x)$。

解析：

1. 将概率积分区域表示在平面直角坐标系：

   

   对$x<1,y<1,0<y<x$围成的区域进行积分，不妨将其看作$x$型域：

   $$\begin{cases} 0\leqslant x \leqslant 1 \\ 0 \leqslant y \leqslant x \end{cases}$$

   对$0<y<x,y<1$围成的区域进行积分，不妨将其看作$y$型域：

   $$\begin{cases} 0\leqslant y \leqslant 1 \\ y \leqslant x \leqslant +\infty \end{cases}$$ $$\begin{aligned} P(X<1|Y<1) &= \frac{P(X<1,Y<1)}{P(Y<1)} \\ &= \frac{\displaystyle \int_0^1\int_{0}^{x}e^{-y}dydx}{\displaystyle \int_0^1\int_y^{+\infty}e^{-y}dxdy} \\ &= \frac{e^{-2}}{e^{-1}} \end{aligned}$$

2. 对$0<y<x$围成的区域进行积分，由于要求$X$的边缘概率，因此将其视为$x$型域：

   $$\begin{cases} x>0\\0<y<x \end{cases}$$

   进行积分：

   $$\begin{aligned} f_X(x) &= \int_{-\infty}^{+\infty}f(x,y)dy \\ &= \begin{cases} \displaystyle \int_0^xe^{-x}dy \ &x>0 \\ 0 & x\leqslant 0 \end{cases} \\ &= \begin{cases} \displaystyle xe^{-x} \ &x>0 \\ 0 & x\leqslant 0 \end{cases} \end{aligned}$$

求两个随机变量的函数的分布

设二维随机变量$(X,Y)$的概率密度为

$$f(x,y)=\begin{cases} 3x\ &0<x<1,0<y<x\\ 0 & 其他 \end{cases}$$

求$Z=X-Y$的概率密度$f_Z(z)$。

解析：

这种题目通常有两种做法。通常将$Y$（当然$X$也可以）用$Z$和$X$（或者$Y$）的式子表示出来并代入原限制条件，然后将积分区域用$z$型域表出，求积分即可。具体如下。

由$z=x-y$得到$y=x-z$，则

$$\begin{cases} 0<x<1 \\ 0<x-z<x \end{cases} \Rightarrow \begin{cases} 0<z<1 \\ z<x<1 \end{cases}$$

因此，

$$f_Z(z)=\begin{cases} \displaystyle \int_z^1f(x,z-x)dx \ & 0<z<1 \\ 0 & 其他 \end{cases}$$

得到

$$f_Z(z)=\begin{cases} \displaystyle \frac{3}{2}(1-z^2) \ & 0<z<1 \\ 0 & 其他 \end{cases}$$

随机变量的数字特征

期望、方差、矩、协方差和相关系数的计算是笔试中的重点，而大数定律、中心极限定理相关概念知识点经常出现在面试中，请务必掌握。

1. 期望

   $$E(X) = \begin{cases} \displaystyle \sum_{i=1}^{+\infty}x_i·p_i, X为离散型随机变量 \\ \displaystyle \int_{-\infty}^{+\infty}xf(x)dx, X为连续型随机变量 \end{cases}$$

2. 方差

   $$D(X) = \begin{cases} \displaystyle \sum_{i=1}^{+\infty}\left[ x_i-E(X) \right]^2p_i,X为离散型随机变量 \\ \displaystyle \int_{-\infty}^{+\infty}\left[ x-E(X) \right]^2f(x)dx,X为连续型随机变量 \end{cases}$$

   重要性质：$D(X) = E(X^2) - E^2(X)$

3. 矩

   矩：设$X$为随机变量，$c$为常数，$r$为正整数，则$E[(X-c)^2]$称为$X$关于$c$点的$r$阶矩。

   原点矩：$c=0$时，$E(X^r)$称为$X$的$r$阶原点矩。

   中心距：$c=E(X)$时，$E[(X-E(X))^r]$称为$X$的$r$阶中心距。

4. 协方差

   随机变量$X,Y$的协方差定义为

   $$Cov(X,Y) = E[[X-E(X)]·[Y-E(Y)]]$$

   性质：

   $$\begin{aligned} &Cov(X, Y) = Cov(Y, X) \\ &Cov(X, Y) = E(XY) - E(X)E(Y) \\ &Cov(aX, bY) = ab·Cov(X,Y) \end{aligned}$$

5. 相关系数

   随机变量$X,Y$的相关系数定义为

   $$\rho_{XY} = \frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}$$

   备注：

   • $\rho_{XY}=0$时，说明$X,Y$不（线性）相关，但是它们未必独立，因为这只能说明它们之间不存在线性关系，但是不排除可能存在其他关系
   • $|\rho_{XY}|$越靠近1，则说明$X,Y$的线性关系越强烈，取等号时，两者存在严格的线性关系

6. 大数定律

   大数定律本质上揭示了“当重复试验次数很大时，随机变量的均值依概率收敛与其期望”，它将数理统计中的均值和概率论中的期望联系在了一起。

   三种表述：

   • 辛钦大数定律：随机变量$X_1,X_2,\dots,X_n$相互独立，服从同一分布且具有数学期望$E(X_i)=\mu$，则序列$\displaystyle \bar{X} = \frac{1}{n}\sum_{i=1}^nX_i$依概率收敛于$\mu$；

   • 伯努利大数定律：大量独立重复实验之后，随机事件的频率收敛于概率，即

     $$\forall \varepsilon > 0, \lim_{n\to+\infty}P\left\{ \left|\frac{f_A}{n} - p\right| < \varepsilon \right\} = 1$$

     其中$f_A$指的是$n$次独立重复试验中事件A发生的频数，$p$是事件A发生的概率。

7. 中心极限定理

   • 独立同分布的中心极限定理

     设随机变量$X_1,X_2,\dots,X_n$相互独立且服从同一分布、具有期望$E(X_i)=\mu$和方差$D(X_i)=\sigma^2$，当$n$充分大时，近似地有

     $$\bar{X} \sim N(\mu, \frac{\sigma^2}{n})$$

     即均值$\bar{X}$近似服从以$\mu$为均值、$\displaystyle \frac{\sigma^2}{n}$为方差的正态分布。

   • 棣莫弗-拉普拉斯中心极限定理

     设随机变量$\eta_n$服从参数为$n,p$的二项分布$B(n,p)$，当$n$充分大时，$\eta_n$近似服从正态分布$N(np,np(1-p))$：

     $$\lim_{n\to+\infty}P\left( \frac{\eta_n-np}{\sqrt{np(1-p)}}<x \right)=\Phi(x)$$

例题

计算期望、方差、协方差

设随机变量$X,Y$的联合概率密度为

$$f(x,y) = \begin{cases} 3x \ &0\leqslant y < x \leqslant 1 \\ 0 & 其他 \end{cases}$$

求数学期望$E(X),E(Y)$和协方差$Cov(X,Y)$、相关系数$\rho_{XY}$。

解析：

$0\leqslant y < x \leqslant 1$围成的区域即为积分区域，即下图的蓝色区域。将该区域分别表示为$x$型域和$y$型域：

$$\begin{cases} 0<x<1\\0<y<x \end{cases} \Leftrightarrow \begin{cases} 0<y<1\\y<x<1 \end{cases}$$

$$f_X(x) = \begin{cases} \displaystyle \int_0^x3xdy \ &0<x<1\\ 0 & 其他 \end{cases} = \begin{cases} 3x^2\ & 0<x<1 \\ 0 & 其他 \end{cases}$$ $$f_Y(y) = \begin{cases} \displaystyle \int_y^1 3xdx \ & 0<y<1\\0 & 其他 \end{cases} = \begin{cases} \displaystyle \frac{3}{2}(1-y^2) \ & 0<y<1 \\ 0 & 其他 \end{cases}$$

故而有

$$E(X) = \int_{-\infty}^{+\infty}xf_X(x)dx=\int_0^13x^3dx=\frac{3}{4}$$ $$E(Y) = \int_{-\infty}^{+\infty}yf_Y(y)dy = \int_0^1\frac{3}{2}(1-y^2)ydy = \frac{3}{8}$$

计算$Cov(X,Y)$还需要计算$E(XY)$，则

$$\begin{aligned} E(XY) &= \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}xy·f(x,y)dxdy \\ &= \int_0^1dx\int_0^xxy·3xdy \\ &=\frac{3}{10} \end{aligned}$$

故

$$Cov(X,Y) = E(XY) - E(X)E(Y) = \frac{3}{160}$$

而计算$\rho_{XY}$还需要计算$D(X),D(Y)$，因此需要用到公式$D(X) = E(X^2) - E^2(X)$.

$$E(X^2) = \int_0^1x^2f_X(x)dx=\frac{3}{5}$$ $$E(Y^2) = \int_0^1y^2f_Y(y)dy = \frac{1}{5}$$

故

$$D(X) = E(X^2) - E^2(X) = \frac{3}{80}\\ D(Y) = E(Y^2) - E^2(Y) = \frac{19}{320}$$

因此得

$$\begin{aligned} \rho_{XY} &= \frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}\\ &= \frac{\displaystyle\frac{3}{160}}{\displaystyle \sqrt{\frac{3}{80}}\sqrt{\frac{19}{320}}} \\ &= \frac{3}{\sqrt{57}} \end{aligned}$$

三大统计分布

1. 卡方分布

   设$X_1,X_2,\dots,X_n$是来自标准正态分布$\mathcal{N}(0,1)$的样本，令

   $$X = \sum_{i=1}^nX_i^2$$

   则称$X$是自由度为$n$的$\mathcal{X}^2$变量，其分布称为自由度为$n$的$\mathcal{X}^2$分布，记作$X\sim \mathcal{X}^2_n$

   上侧$\alpha$分位数：若$X\sim \mathcal{X}^2_n$，记$P(X>\mathcal{X}_\alpha^2(n))=\alpha$，则$c=\mathcal{X}_n^2(\alpha)$称为$\mathcal{X}_n^2$分布的上侧$\alpha$分位数。

   

   关于上侧$\alpha$分位数的，一定要结合其实际含义进行理解。尤其是$\alpha$的含义，结合概率关系进行理解。注意三大统计分布的图线和x轴围成的区域面积始终为1。

2. t-分布

   设随机变量$X\sim \mathcal{N}(0,1)$，$Y\sim \mathcal{X}_n^2$，且$X,Y$独立，则称

   $$T=\frac{X}{\sqrt{Y/n}}$$

   为自由度为$n$的$t$变量，其分布称为自由度为$n$的t-分布，记作$T\sim t(n)$。

   上侧$\alpha$分位数：若$T\sim t(n)$，记$P(T>t_{\frac{\alpha}{2}}(n))=\frac{\alpha}{2}$。根据t-分布图像对称性，有重要性质

   $$t_{1-\frac{\alpha}{2}}(n) = -t_{\frac{\alpha}{2}}(n)$$

   

3. F-分布

   设随机变量$U\sim \mathcal{X}^2(n_1), V\sim \mathcal{X}^2(n_2)$，且它们互相独立，则称随机变量

   $$F=\frac{U/n_1}{V/n_2}$$

   为服从自由度为$(n_1,n_2)$的F分布，记作$F\sim F(n_1,n_2)$。

   上侧$\alpha$分位数：若$F\sim F(n_1,n_2)$，记$\displaystyle P(F>F_{\frac{\alpha}{2}}(n_1,n_2))=\frac{\alpha}{2}$。有重要性质：

   $$F_{1-\alpha}(n_1,n_2) = \frac{1}{F_\alpha(n_2,n_1)}$$

   

4. 正态分布总体的样本均值与样本方差的分布

   设$X_1,X_2,\dots,X_n$是来自正态分布$\mathcal{N}(\mu,\sigma^2)$的样本，样本均值为$\bar{X}$，样本方差为$S^2$，则有几条重要定理，需要掌握：

   • 样本均值$\bar{X}$满足

     $$\bar{X}\sim\mathcal{N}(\mu,\sigma^2/n)$$

     也即

     $$\frac{\bar{X}-\mu}{\sigma/\sqrt{n}} \sim \mathcal{N}(0,1)$$

   • 样本均值$\bar{X}$与样本方差$S^2$相互独立，且

     $$\frac{(n-1)S^2}{\sigma^2} \sim \mathcal{X}^2(n-1)$$

   • 有统计量满足t分布

     $$\frac{\bar{X}-\mu}{S/\sqrt{n}} \sim t(n-1)$$

   上面的三个统计量以及其满足的分布非常重要，在后续的假设检验部分有着非常关键的应用。

参数估计

矩估计、极大似然估计都是必须掌握的重要知识点。

矩估计

我们回到矩的定义：

• $k$阶原点矩：设$X$为随机变量，$E(X^k)$称为$X$的$k$阶原点矩，简称$k$阶矩。
• 样本$k$阶矩：称$\displaystyle A_k=\frac{1}{n}\sum_{i=1}^nX_i^k$为样本$k$阶矩。

矩估计的基本原理：样本$k$阶矩$A_k$是$k$阶总体矩$\mu_k=E(X^k)$的无偏估计。也就是在解题过程中，利用恒等式

$$A_k=E(X^k), k=1,2,\dots$$

进行求解参数。通常我们最多使用到两个等式$A_1=E(X),A_2=E(X^2)$：

• 求$E(X)$，$\displaystyle E(X) = \int_{-\infty}^{+\infty}f(x)dx$
• 求$E^2(X)$，$E(X^2) = D(X) + E^2(X)$

极大似然估计

不妨就以连续型随机变量为例。设$X_1,X_2,\dots,X_n$是来自总体$X$的$n$个随机样本，而$x_1,x_2,\dots,x_n$是对应于$X_1,X_2,\dots,X_n$的样本值，则事件$\{X_1=x_1,X_2=x_2,\dots,X_n=x_n\}$发生的概率为

$$L(\theta) = L(x_1,x_2,\dots,x_n;\theta) = \prod_{i=1}^nf(x_i;\theta)$$

我们需要求出使得$L(\theta)$最大的参数值$\hat{\theta}$。如果将$\theta$的取值范围记作$\Theta$，则

$$\hat{\theta} = \arg\max_{\theta\in \Theta}L(x_1,x_2,\dots,x_n;\theta)$$

这实际上就是一个简单的优化问题。只需求导数，令其等于0，即可求出最优参数值（也称极大似然估计值）。

$$\frac{\partial L(\theta)}{\partial \theta} = 0$$

为了简化运算，我们往往对$L(\theta)$取对数，得到对数似然函数$\ln L(\theta)$，再对其求导数，令其等于0，同样可以求出最优参数值。

$$\frac{\partial \ln L(\theta)}{\partial \theta} = 0$$

区间估计

我们简单看看区间估计的原理。对于给定值$\alpha$和来自总体$X$的样本$X_1,X_2,\dots,X_n$，我们需要找到两个统计量$\underline{\theta}(X_1,X_2,\dots,X_n) <\theta < \overline{\theta}(X_1,X_2,\dots,X_n)$，满足

$$P\{ \underline{\theta}(X_1,X_2,\dots,X_n) <\theta < \overline{\theta}(X_1,X_2,\dots,X_n) \} \geqslant 1-\alpha$$

则称区间$(\underline{\theta}, \overline{\theta})$是$\theta$的置信水平（置信度）为$1-\alpha$的置信区间。

对于给定的连续型随机变量，我们通常按照$P\{\underline{\theta} < \theta < \overline{\theta}\} = 1-\alpha$来求出置信区间；对于离散型随机变量，通常只能尽可能地选取置信区间使$P\{\underline{\theta} < \theta < \overline{\theta}\} = 1-\alpha$逼近$1-\alpha$。

要想掌握好这一部分的内容，需要更好地回顾、掌握之前的两个部分的知识：

• 三个统计发布中的三个重要定理
• 上$\alpha$分位数的概念

另外我们只关注单个总体$\mathcal{N}(\mu,\sigma^2)的情况$。

$\sigma^2$已知，$\mu$未知时$\mu$的区间估计

设总体$X \sim \mathcal{N}(\mu,\sigma^2)$，$\sigma^2$已知、$\mu$未知，设$X_1,X_2,\dots,X_n$是来自$X$的样本，求$\mu$的置信水平为$1-\alpha$的置信区间。

我们需要找到一个除了未知参数$\mu$之外不依赖于任何未知参数的统计量。这时就需要用到三大统计分布的重要定理（正态分布总体的样本均值与样本方差的分布）。我们选取

$$\frac{\bar{X}-\mu}{\sigma/\sqrt{n}} \sim \mathcal{N}(0,1)$$

我们把统计量$\displaystyle \frac{\bar{X}-\mu}{\sigma/\sqrt{n}}$称为枢轴量。

然后，根据标准正态分布的上$\alpha$分位数的定义，可以得到

$$P\left\{ \left| \frac{\bar{X}-\mu}{\sigma/\sqrt{n}} \right| < z_{\frac{\alpha}{2}} \right \} = 1-\alpha$$

对左侧括号中的不等式做变形，可以得到

$$P\left\{ \bar{X}-\frac{\sigma}{\sqrt{n}}z_{\frac{\alpha}{2}} < \mu < \bar{X}+\frac{\sigma}{\sqrt{n}}z_{\frac{\alpha}{2}} \right\}$$

因此求得$\mu$的置信区间为

$$\left( \bar{X}-\frac{\sigma}{\sqrt{n}}z_{\frac{\alpha}{2}}, \bar{X}+\frac{\sigma}{\sqrt{n}}z_{\frac{\alpha}{2}} \right)$$

$\sigma^2$未知，$\mu$未知时$\mu$的区间估计

这种情况下，就不可以使用枢轴量$\displaystyle \frac{\bar{X}-\mu}{\sigma/\sqrt{n}}$了，因为$\sigma$是未知的。但是，考虑到$S^2$是$\sigma^2$的无偏估计，因此选用枢轴量$\displaystyle \frac{\bar{X}-\mu}{S/\sqrt{n}}$：

$$\frac{\bar{X}-\mu}{S/\sqrt{n}} \sim t(n-1)$$

因此有

$$P\left\{ \left| \frac{\bar{X}-\mu}{S/\sqrt{n}} \right| < t_{\frac{\alpha}{2}}(n-1) \right \} = 1-\alpha$$

根据上图所示的上$\alpha$分位数，单个黑色区域面积为$\displaystyle \frac{\alpha}{2}$，全部的黑色区域面积加起来就是$\alpha$，白色区域面积为$1-\alpha$，刚好就是上式的通俗描述。其他的区间估计都可以以此类似理解。

整理得到$\mu$的一个置信水平为$1-\alpha$的置信区间

$$\left( \bar{X}-\frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1), \bar{X}+\frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1) \right)$$

$\sigma^2$未知，$\mu$未知时$\sigma^2$的区间估计

这时要选去的枢轴量为

$$\frac{(n-1)S^2}{\sigma^2} \sim \mathcal{X}^2(n-1)$$

因此有

$$P\left\{ \mathcal{X}^2_{1-\frac{\alpha}{2}}(n-1)<\frac{(n-1)S^2}{\sigma^2}<\mathcal{X}^2_{\frac{\alpha}{2}}(n-1) \right\} = 1-\alpha$$

整理得到$\sigma^2$的一个置信水平为$1-\alpha$的置信区间

$$\left( \frac{(n-1)S^2}{\mathcal{X}^2_{\frac{\alpha}{2}}(n-1)}, \frac{(n-1)S^2}{\mathcal{X}^2_{1-\frac{\alpha}{2}}(n-1)} \right)$$

例题

点估计

设总体$X$的概率密度函数为

$$f(x;\theta) = \begin{cases} (\theta+1)x^{\theta}, \ &0<x<1 \\ 0 & 其他 \end{cases}$$

其中$\theta>-1$，若$X_1,X_2,\dots,X_n$为来自总体$X$的样本，求参数$\theta$的矩估计和极大似然估计。

解析：

对于矩估计，求出

$$E(X) = \int_0^1x(\theta+1)x^{\theta}dx=\frac{\theta+1}{\theta+2}$$

由$A_1=E(X)$，得

$$\theta = -\frac{1}{A_1-1} - 2 = \frac{\displaystyle 1}{\displaystyle \frac{1}{n}\sum_{i=1}^nX_i-1} - 2$$

对于极大似然估计，

$$L(\theta) = \prod_{i=1}^nf(x_i;\theta) = \begin{cases} \displaystyle \prod_{i=1}^n(\theta+1)x_i^{\theta}, \ & 0<x_{(1)}<x_{(n)}<1 \\ 0, &其他 \end{cases}$$

因此，当$0<x_{(1)}<x_{(n)}<1$时，对数似然函数为

$$\ln L(\theta) = \displaystyle \theta\sum_{i=1}^n\ln x_i+n\ln(\theta+1)$$

令

$$\frac{\partial \ln L(\theta)}{\partial \theta} = \sum_{i=1}^{\theta}\ln x_i + \frac{n}{\theta+1} = 0$$

得

$$\hat{\theta} = -\frac{n}{\displaystyle \sum_{i=1}^n\ln x_i} - 1$$

区间估计

设一次考试的成绩服从正态分布$\mathcal{N}(\mu,\sigma^2)$，其中$\mu,\sigma^2$均未知，现从中随机抽取256个考生的成绩，测得样本均值$\bar{x}=60$，样本标准差$s=16$，求$\mu$的置信度为0.90的置信区间。

解析：

由于需要求出$\mu,\sigma^2$均未知时$\mu$的置信区间，因此选取枢轴量为

$$\frac{\bar{X}-\mu}{S/\sqrt{n}} \sim t(n-1), n=256$$

由置信水平$1-\alpha=0.9$得$\alpha=0.1$，同时根据上侧$\alpha$分位数，得

$$P\left\{ \left| \frac{\bar{x}-\mu}{s/\sqrt{n}} \right| < t_{\frac{\alpha}{2}}(n-1) \right \} = 1-\alpha$$

将左侧不等式进行整理，即可得到

$$P\left\{ \bar{x}-\frac{s}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1) < \mu < \bar{x}+\frac{s}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1) \right\} = 0.9$$

置信区间为

$$\left( \bar{x}-\frac{s}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1), \bar{x}+\frac{s}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1) \right)$$

代入$\bar{x}=60,s=16,n=256,\alpha=0.1$得到最终结果

$$(60-t_{0.05}(255),60+t_{0.05}(255))$$

区间估计是后面假设检验的重要前导知识，必须掌握。

假设检验

先来看一种假设检验问题的基本表述：

在显著性水平$\alpha$下，检验假设

$$H_0:\mu=\mu_0, \ H_1:\mu\ne\mu_0.$$

也即“在显著性水平$\alpha$下，针对$H_1$检验$H_0$”。其中，$H_0$称为原假设，$H_1$称为备择假设。和区间估计中类似地，我们也需要选取一个统计量来帮助我们对假设进行检验，这样的统计量被称为检验统计量。而检验统计量的一旦落入某个区域$C$时，就可以拒绝原假设$H_0$，这样的区域$C$称为拒绝域。

另外，注意到，备择假设中的$\mu>0,\mu<0$均可能成立，因此上面这种形式的假设检验被称为双边假设检验。我们选取的检验统计量为

$$Z=\frac{\bar{X}-\mu}{\sigma/\sqrt{n}} \sim \mathcal{N}(0,1)$$

显著性水平为$\alpha$时，拒绝域为

$$|z| = \left| \frac{\bar{x}-\mu_0}{\sigma/\sqrt{n}} \right| \geqslant z_{\frac{\alpha}{2}}$$

当然，与之相对地，还有左边检验和右边检验，分别为

$$H_0:\mu\geqslant \mu_0, \ H_1:\mu<\mu_0$$

和

$$H_0:\mu \leqslant \mu_0,\ H_1:\mu>\mu_0$$

与区间估计类似

• 检验$\mu$，若$\sigma^2$已知，进行Z检验，选取检验统计量$\displaystyle Z=\frac{\bar{X}-\mu_0}{\sigma/\sqrt{n}} \stackrel{H_0为真}\sim \mathcal{N}(0,1)$
• 检验$\mu$，若$\sigma^2$未知，进行t检验，选取检验统计量$\displaystyle t=\frac{\bar{X}-\mu_0}{S/\sqrt{n}} \stackrel{H_0为真} \sim t(n-1)$
• 检验$\sigma^2$，若$\mu$未知，进行$\mathcal{X}$检验，选取检验统计量$\displaystyle \mathcal{X}^2=\frac{(n-1)S^2}{\sigma_0^2} \stackrel{H_0为真}\sim \mathcal{X}^2(n-1)$

常见的假设检验置信区间以及单侧置信上下限如下图。

赏