点推定の性質
- 平均二乗誤差の、バイアスと分散への分解
\begin{eqnarray}
E_{\theta}[(\hat{\theta}-\theta)^2]
&=&
(E[(\hat{\theta}-\theta)])^2+V[(\hat{\theta}-\theta)] \\
\\
&=&
(E[\hat{\theta}]-\theta)^2+V[\hat{\theta}] \;\;\;&...V[X+c]=V[X]のため\\
\\
&=&
(b_{\theta}(\hat{\theta}))^2+V[\hat{\theta}] \\
\end{eqnarray}
- 線形回帰モデルにおける\(\beta\)の導出
\begin{eqnarray}
\frac{\partial}{\partial \beta}\displaystyle \sum_{i=1}^n (y_i-\hat{\beta} x_i)^2
&=&
-2\displaystyle \sum_{i=1}^n x_i(y_i-\hat{\beta} x_i) \\
\\
&=&
-2 (\displaystyle \sum_{i=1}^n x_iy_i-\sum_{i=1}^n\hat{\beta} x_i^2)\\
\\
&=0
\\
\\
&\Leftrightarrow&
\displaystyle \sum_{i=1}^n\hat{\beta} x_i^2=\displaystyle \sum_{i=1}^n x_iy_i \\ \\
&\Leftrightarrow&
\hat{\beta}=\frac{\displaystyle \sum_{i=1}^n x_iy_i}{\displaystyle \sum_{i=1}^nx_i^2} \\
\end{eqnarray}
- \(\hat{\beta}\)が\(\beta\)の不偏推定量であり、BLUEであること
- p.63上:正則条件のもと、フィッシャー情報量に関する二つの式が同値になること