点估计

• 总体分布 $F(x;\theta )$, $\theta =({\theta }_1,{\theta }_2,\cdots ,{\theta }_k{)}^{\prime }$, 根据 $X_1,X_2,\cdots ,X_n$ 构造一个统计量 $\hat{\theta }(X_1,X_2,\cdots ,X_n)$ 作为 $\theta$ 的点估计

矩估计

• 求总体的各阶原点矩 ${\mu }_i=g_i({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$
• 解得 ${\theta }_i=h_i({\mu }_1,{\mu }_2,\cdots ,{\mu }_k)$
• 用样本矩代替总体矩的矩估计 ${\hat{\theta }}_i=h_i(A_1,A_2,\cdots ,A_k)$
• 相合性：$h$ 为已知的连续函数，$h(A_1,A_2,\cdots ,A_k)\stackrel{P}{\to }h({\mu }_1,{\mu }_2,\cdots ,{\mu }_k)$

极大似然估计

• $X$ 为连续性随机不变量，密度函数为 $p(x;\theta ),\theta \in \mathrm{\Theta }$, 样本 $(X_1,X_2,\cdots ,X_n)$ 落在点 $(x_1,x_2,\cdots ,x_n)$ 的领域的概率近似为 $\prod _{i=1}^{n}p(x_i;\theta )d{x}_i$
• 似然函数 $L(\theta )=L(x_1,\cdots ,x_n;\theta )=\prod _{i=1}^{n}p(x_i;\theta )$
• 极大似然估计值$\hat{\theta }(x_1,x_2,\cdots ,x_n)$：$L(x_1,x_2,\cdots ,x_n;\hat{\theta })=\underset{\theta \in \mathrm{\Theta }}{max}L(x_1,x_2,\cdots ,x_n;\theta )$
• 极大似然估计量$\hat{\theta }(X_1,X_2,\cdots ,X_n)$
• 对数似然函数 $\ln L(\theta )$
• 不变性原则：$\hat{\theta }$ 为 $\theta$ 的极大似然估计，$\varphi (\theta )$ 有单值反函数，则$\widehat{\varphi (\theta )}=\varphi (\hat{\theta })$
• $X_{(1)}=min(X_i),X_{(n)}=max(X_i)$
  • $F_{(n)}(X)=F^n(X)$

EM

• 对数边际似然：$L(D;\theta )=\frac{1}{N}\sum _{n=1}^N\log p(x^{(n)};\theta )=\frac{1}{N}\sum _{n=1}^N\log \sum _{z}p(x^{(n)},z;\theta )$
• 变分函数：$q(z)$ 为 $Z$ 上的分布
• 证据下界 $\text{ELBO}(q,x;\theta )=\sum _{z}q(z)\log \frac{p(x,z;\theta )}{q(z)}\le \log \sum _{z}q(z)\frac{p(x,z;\theta )}{q(z)}=\log p(x;\theta )$
  • $q(z)=p(z|x;\theta )$ 时，对数边际似然与下界相等
• EM 算法
  • Expectation: 固定 ${\theta }_t$，寻找 $q_{t+1}(z)$ 使 $\text{ELBO}(q,x;{\theta }_t)=\log p(x;{\theta }_t)$
    • 理想分布：$q(z)=p(z|x;{\theta }_t)$ 推断问题
  • Maximization: 固定 $q_{t+1}(z)$，寻找参数最大化证据下界 ${\theta }_{t+1}=\arg \underset{\theta }{max}\text{ELBO}(q_{t+1},x;\theta )$
• 信息论视角： $\log p(x;\theta )=\text{ELBO}(q,x;\theta )+\text{KL}(q(z)|p(z|x;\theta ))$

估计量的评价标准

• 无偏性
  • $\hat{\theta }(X_1,X_2,\cdots ,X_n)$ 为 $\theta$ 的估计量，$\mathrm{\Theta }$ 为 $\theta$ 的取值范围，若$E(\hat{\theta })=\theta ,\theta \in \mathrm{\Theta }$, 则 $\hat{\theta }$ 为 $\theta$ 的无偏估计
  • $E(A_k)={\mu }_k$
  • $E(S^2)={\sigma }^2$
  • 渐进无偏估计：$n\to \mathrm{\infty }$ 时无偏
  • 正态分布的矩估计和极大似然估计：
    • $\hat{\mu }=\bar{X}$
    • ${\hat{\sigma }}^2=S$
• 均方误差准则
  • $M(\hat{\theta },\theta )=E(\hat{\theta }-\theta {)}^2$ 值越小越好
  • $M(\hat{\theta },\theta )=D(\hat{\theta })+(E\hat{\theta }-\theta {)}^2$
    • 偏差：$E\hat{\theta }-\theta$
• 一致性(相合性)
  • ${\hat{\theta }}_n\stackrel{P}{\to }\theta$

区间估计

• $({\hat{\theta }}_1,{\hat{\theta }}_2)$ 是 $\theta$ 的置信度为 $1-\alpha$ 的置信区间：$P({\hat{\theta }}_1<\theta <{\hat{\theta }}_2)=1-\alpha$
  • 置信下限 ${\hat{\theta }}_1$
  • 置信上限 ${\hat{\theta }}_2$
  • 置信度 $1-\alpha$
• $({\hat{\theta }}_1,+\mathrm{\infty })$ 为 $\theta$ 的置信度为 $1-\alpha$ 的单侧置信区间：$P({\hat{\theta }}_1<\theta )=1-\alpha$
• 枢轴变量法
  1. 枢轴变量：$U(X_1,X_2,\cdots ,X_n;\theta )$ 分布已知
  2. 根据分布找到两个常数 $a,b$ 使得 $P(a<U<b)=1-\alpha$
  3. 利用 $a<U<b$ 求解 ${\hat{\theta }}_1<\theta <{\hat{\theta }}_2$
• 正态分布 （置信度$1-\alpha$）
  • $\mu$
    • ${\sigma }^2$ 已知：枢轴变量 $U=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$
      • $[\bar{X}-u_{\alpha /2}\frac{{\sigma }_0}{\sqrt{n}},\bar{X}+u_{\alpha /2}\frac{{\sigma }_0}{\sqrt{n}}]$
    • ${\sigma }^2$ 未知：枢轴变量 $T=\frac{\sqrt{n}(\bar{X}-\mu )}{S}\sim t(n-1)$
      • $[\bar{X}-t_{\alpha /2}(n-1)\frac{S}{\sqrt{n}},\bar{X}+t_{\alpha /2}(n-1)\frac{S}{\sqrt{n}}]$
  • ${\sigma }^2$
    • $\mu$ 未知：$(n-1)S^2/{\sigma }^2\sim {\chi }^2(n-1)$
      • $[\frac{(n-1)S^2}{{\chi }_{\alpha /2}^2(n-1)},\frac{(n-1)S^2}{{\chi }_{1-\alpha /2}^2(n-1)}]$
    • $\mu$ 已知
      • $[\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\chi }_{1-\alpha /2}^2(n)},\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\chi }_{\alpha /2}^2(n)}]$
  • ${\mu }_1-{\mu }_2$
    • ${\sigma }_1^2,{\sigma }^2$ 已知：$U=\frac{\bar{X}-\bar{Y}-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}\sim N(0,1)$
      • $[(\bar{X}-\bar{Y})-u_{\alpha /2}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}},(\bar{X}-\bar{Y})+u_{\alpha /2}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}]$
    • ${\sigma }_1^2={\sigma }_2^2={\sigma }^2$ 未知：$T=\sqrt{\frac{n_1{n}_2(n_1+n_2-2)}{n_1+n_2}}\frac{(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)}{(n_1-1)S_1^2+(n_2-1)S_2^2}\sim t(n_1+n_2-2)$
  • ${\sigma }_1^2/{\sigma }_2^2$
    • ${\mu }_1,{\mu }_2$ 未知：$F=\frac{S_1^2{\sigma }_2^2}{S_2^2{\sigma }_1^2}\sim F(n_1-1,n_2-1)$
      • $[\frac{S_1^2}{S_2^2}\frac{1}{F_{\alpha /2}(n_1-1,n_2-1)},\frac{S_1^2}{S_2^2}\frac{1}{F_{1-\alpha /2}(n_1-1,n_2-1)}]$
• 非正态总体均值 大样本法
  • $\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\approx N(0,1)$
  • $\sigma$ 未知：用 $S$ 代替