統計学の行間埋め　第３章

\(\S\)3.1 母集団と標本

p.59上：全確率の公式を用いた式変形

▼ 詳細を開く...2025/ 2/16作成

式(3.1.7)の両辺の二乗の展開

▼ 詳細を開く...2025/ 2/16作成

\(\S\)3.2 尤度と最尤推定

p.61：\(\hat{\mu}_n^{\text{ML}}\)の導出

▼ 詳細を開く...2025/ 2/16作成

p.61：\(\hat{v}_n^{\text{ML}}\)の導出

▼ 詳細を開く...2025/ 2/16作成

p.61：\(v\)の代わりに\(v=\sigma^2\)を用いても\(\hat{v}_n^{\text{ML}}=(\hat{\sigma}_n^{\text{ML}})^2\)となること

▼ 詳細を開く...2025/ 2/16作成

密度関数\(f(x;\mu,v)\to g(x;\mu,\sigma)\)とすると \begin{eqnarray} g(x;\mu,\sigma) &=& \frac{1}{(\sqrt{2\pi \sigma^2})^{n}}\exp\left(-\frac{\sum_{i=1}^n(x_i-\mu)^2}{2\sigma^2}\right) \\ \\ &=& \frac{1}{(\sqrt{2\pi}\sigma)^{n}}\exp\left(-\frac{\sum_{i=1}^n(x_i-\mu)^2}{2\sigma^2}\right) \\ \\ \end{eqnarray} と書ける。この式の対数を\(\sigma\)で微分して\(0\)とおく。 \begin{eqnarray} \frac{\partial}{\partial \sigma}\log g(x;\mu,\sigma) &=& \frac{\partial}{\partial \sigma}\log \frac{1}{(\sqrt{2\pi}\sigma)^{n}}\exp\left(-\frac{\sum_{i=1}^n(x_i-\mu)^2}{2\sigma^2}\right) \\ \\ &=& \frac{\partial}{\partial \sigma}\left[\log \frac{1}{(\sqrt{2\pi}\sigma)^{n}}+\log\exp\left(-\frac{\sum_{i=1}^n(x_i-\mu)^2}{2\sigma^2}\right)\right] \\ \\ &=& \frac{\partial}{\partial \sigma}\left[-\frac{n}{2}\log (2\pi)-n\log \sigma+\left(-\frac{\sum_{i=1}^n(x_i-\mu)^2}{2\sigma^2}\right)\right] \\ \\ &=& 0-n\frac{1}{\sigma}-\left(\frac{\sum_{i=1}^n-2(x_i-\mu)^2}{2\sigma^3}\right) \\ \\ &=& -n\frac{1}{\sigma}+\left(\frac{\sum_{i=1}^n(x_i-\mu)^2}{\sigma^3}\right) \\ \\ &=& 0 \end{eqnarray} が得られる。この式を満たす\(\sigma=\hat{\sigma}_n^{\text{ML}}\)は \begin{eqnarray} && -n\frac{1}{ \hat{\sigma}_n^{\text{ML}}}+\left(\frac{\sum_{i=1}^n(x_i-\mu)^2}{(\hat{\sigma}_n^{\text{ML}})^3}\right) &=& 0 \\ \\ &\Leftrightarrow& (\hat{\sigma}_n^{\text{ML}})^2&=&\frac{1}{n}\displaystyle\sum_{i=1}^n(x_i-\mu)^2 \\ \\ &&&=& \frac{1}{n}\displaystyle\sum_{i=1}^n(x_i-\overline{x})^2&...&\text{p.61下部より} \\ \\ \end{eqnarray} と導出できる。従って、\(\hat{v}_n^{\text{ML}}=(\hat{\sigma}_n^{\text{ML}})^2\)となることがわかる。

\(\S\)3.3 各種推定法

p.65：\(\hat{\beta}=\displaystyle\sum_i\sum_jX_iY_j/\sum_i\sum_jX_iX_j\)が不偏推定量になっていること

▼ 詳細を開く...2025/ 2/18作成

\(\S\)3.4 点推定量の性質

式(3.4.1)の導出

▼ 詳細を開く...2025/ 2/18作成

p.67：標本分散の導出

▼ 詳細を開く...2025/ 2/19作成

p.69：標本平均は平均パラメータの有効推定量であること

▼ 詳細を開く...2025/ 2/23作成

標本平均は \begin{eqnarray} E[\frac{1}{n}\displaystyle\sum_{i=1}^nX_i] &=& \frac{1}{n}n\mu \\ &=& \mu \end{eqnarray} より \begin{eqnarray} E[\frac{1}{n}\displaystyle\sum_{i=1}^nX_i]-\mu&=&0 \\ \\ \end{eqnarray} となることから、バイアスが\(0\)である。この分散は \begin{eqnarray} V\left[\frac{1}{n}\displaystyle\sum_{i=1}^nX_i\right] &=& \frac{1}{n^2}V\left[\displaystyle\sum_{i=1}^nX_i\right] \\ \\ &=& \frac{1}{n^2}\displaystyle\sum_{i=1}^nV\left[X_i\right] \\ \\ &=& \frac{1}{n^2}\displaystyle\sum_{i=1}^n\sigma^2 \\ \\ &=& \frac{1}{n^2}n\sigma^2 \\ \\ &=& \frac{\sigma^2}{n} &...&(1) \end{eqnarray} が得られる。
フィッシャー情報量は \begin{eqnarray} f(x;\mu,\sigma) &=& \displaystyle\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x_i-\mu)^2}{2\sigma^2}\right) \\ \\ &=& \frac{1}{(2\pi)^{n/2}\sigma^n}\exp\left(-\displaystyle\sum_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2}\right) \\ \\ \\ (2) &=& \frac{\partial}{\partial \mu}\log f(x;\mu) \\ \\ &=& \frac{\partial}{\partial \mu}\log \frac{1}{(2\pi)^{n/2}\sigma^n}\exp\left(-\displaystyle\sum_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2}\right) \\ \\ &=& \frac{\partial}{\partial \mu}\left\{-\frac{n}{2}\log(2\pi)-n\log\sigma-\displaystyle\sum_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2}\right\} \\ \\ &=& \displaystyle\sum_{i=1}^n\frac{x_i-\mu}{\sigma^2} \\ \\ \therefore J_n(\sigma) &=& E_{\mu}\left[\left(\underbrace{\frac{\partial}{\partial \mu}\log f(x;\sigma)}_{(2)}\right)^2\right] \\ \\ &=& E_{\mu}\left[\left(\underbrace{\displaystyle\sum_{i=1}^n\frac{x_i-\mu}{\sigma^2}}_{(2)}\right)^2\right] \\ \\ &=& E_{\mu}\left[\displaystyle\sum_{i=1}^n\frac{(x_i-\mu)^2}{\sigma^4}+\sum_{i\neq j}\frac{(x_i-\mu)}{\sigma^2}\frac{(x_j-\mu)}{\sigma^2}\right]&\\ \\ &=& E_{\mu}\left[\displaystyle\sum_{i=1}^n\frac{(x_i-\mu)^2}{\sigma^4}+2\sum_{i=1}^n\sum_{j=1}^i\frac{(x_i-\mu)}{\sigma^2}\frac{(x_j-\mu)}{\sigma^2}\right]&\\ \\ &=& \frac{1}{\sigma^4}\left\{E_{\mu}\left[\displaystyle\sum_{i=1}^n(x_i-\mu)^2\right]+2E_{\mu}\left[\sum_{i=1}^n\sum_{j=1}^i(x_i-\mu)(x_j-\mu)\right]\right\}&\\ \\ &=& \frac{1}{\sigma^4}\left\{\displaystyle\sum_{i=1}^nE_{\mu}\left[(x_i-\mu)^2\right]+2\sum_{i=1}^n\sum_{j=1}^iE_{\mu}\left[(x_i-\mu)\right]E_{\mu}\left[(x_j-\mu)\right]\right\}&...&i,j\text{はそれぞれ独立であるため}\\ \\ &=& \frac{1}{\sigma^4}\left\{\displaystyle\sum_{i=1}^n\sigma^2+2\sum_{i=1}^n\sum_{j=1}^i0\right\}&\\ \\ &=& \frac{1}{\sigma^4}n\sigma^2&\\ \\ &=& \frac{n}{\sigma^2}&\\ \\ \end{eqnarray} が得られる。(1)と比較すると \begin{eqnarray} \frac{J_n(\sigma)^{-1}}{V[\hat{\mu}]} &=& \frac{\frac{\sigma^2}{n}}{\frac{\sigma^2}{n}} \\ \\ &=& 1\\ \\ \end{eqnarray} であることから、有効推定量である。

p.69：バイアス補正をした標本分散は一様最小分散不偏推定量であるが有効推定量ではないこと

▼ 詳細を開く...2025/ 2/19作成

バイアス補正をした標本分散 \begin{eqnarray} \frac{1}{n-1}\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2 \end{eqnarray} は、p.67下の式より、 \begin{eqnarray} &&E[\frac{1}{n}\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2]&=&\frac{n-1}{n}\sigma^2 \\ \\ &\Leftrightarrow& \frac{n-1}{n}E[\frac{1}{n-1}\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2]&=&\frac{n-1}{n}\frac{n-1}{n}\sigma^2 \\ \\ &\Leftrightarrow& E[\frac{1}{n-1}\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2]&=&\sigma^2 \\ \\ \end{eqnarray} が得られ、 \begin{eqnarray} E[\frac{1}{n-1}\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2]-\sigma^2&=&0 \\ \\ \end{eqnarray} となることから、バイアスが\(0\)であり、p.67より一様最小分散不偏推定量であることがわかる。この分散は \begin{eqnarray} V\left[\frac{1}{n-1}\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2\right] &=& \frac{1}{(n-1)^2}V\left[\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2\right] \\ \\ &=& \frac{1}{(n-1)^2}V\left[\sigma^2\frac{1}{\sigma^2}\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2\right] \\ \\ &=& \frac{1}{(n-1)^2}\left(\sigma^2\right)^2V\left[\frac{1}{\sigma^2}\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2\right] \\ \\ &=& \frac{\sigma^4}{(n-1)^2}V\left[\underbrace{\frac{1}{\sigma^2}\displaystyle\sum_{i=1}^n(X_i-\overline{X})^2}_{(1)}\right] \\ \\ &=& \frac{\sigma^4}{(n-1)^2}\underbrace{\frac{\frac{n-1}{2}}{(\frac{1}{2})^2}}_{(1)} \\ \\ &=& \frac{2\sigma^4}{n-1}&...&(2) \end{eqnarray} が得られる。(1)ではp.47定理(2.3.3)より、分散の中身が自由度\(n-1\)の\(\chi^2\)分布になっていることを用いて、分散は式(2.2.7)において、定理(2.3.1)より\(\alpha=\frac{n-1}{2},\beta=\frac12\)を代入した。
フィッシャー情報量は \begin{eqnarray} f(x;\mu,\sigma) &=& \displaystyle\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x_i-\mu)^2}{2\sigma^2}\right) \\ \\ &=& \frac{1}{(2\pi)^{n/2}\sigma^n}\exp\left(-\displaystyle\sum_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2}\right) \\ \\ \\ (3) &=& \frac{\partial}{\partial \sigma}\log f(x;\sigma) \\ \\ &=& \frac{\partial}{\partial \sigma}\log \frac{1}{(2\pi)^{n/2}\sigma^n}\exp\left(-\displaystyle\sum_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2}\right) \\ \\ &=& \frac{\partial}{\partial \sigma}\left\{-\frac{n}{2}\log(2\pi)-n\log\sigma-\displaystyle\sum_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2}\right\} \\ \\ &=& -\frac{n}{\sigma}+\displaystyle\sum_{i=1}^n\frac{(x_i-\mu)^2}{\sigma^3} \\ \\ \therefore J_n(\sigma) &=& E_{\sigma}\left[\left(\underbrace{\frac{\partial}{\partial \sigma}\log f(x;\sigma)}_{(3)}\right)^2\right] \\ \\ &=& E_{\sigma}\left[\left(\underbrace{-\frac{n}{\sigma}+\displaystyle\sum_{i=1}^n\frac{(x_i-\mu)^2}{\sigma^3}}_{(3)}\right)^2\right] \\ \\ &=& E_{\sigma}\left[\left(-\frac{n}{\sigma}+\displaystyle\sum_{i=1}^n\frac{(x_i-\mu)^2}{\sigma^3}\right)^2\right] \\ \\ &=& E_{\sigma}\left[\frac{n^2}{\sigma^2}-2\frac{n}{\sigma}\displaystyle\sum_{i=1}^n\frac{(x_i-\mu)^2}{\sigma^3}+\left(\displaystyle\sum_{i=1}^n\frac{(x_i-\mu)^2}{\sigma^3}\right)^2\right] \\ \\ &=& \frac{n^2}{\sigma^2}-2\frac{n}{\sigma}\cdot n\frac{\sigma^2}{\sigma^3}+E_{\sigma}\left[\left(\displaystyle\sum_{i=1}^n\frac{(x_i-\mu)^2}{\sigma^3}\right)^2\right]&...&E[(x-\mu)^2]=\sigma^2\text{より} \\ \\ &=& -\frac{n^2}{\sigma^2}+E_{\sigma}\left[\displaystyle\sum_{i=1}^n\frac{(x_i-\mu)^4}{\sigma^6}+\sum_{i\neq j}\frac{(x_i-\mu)^2}{\sigma^3}\frac{(x_j-\mu)^2}{\sigma^3}\right]&\\ \\ &=& -\frac{n^2}{\sigma^2}+E_{\sigma}\left[\displaystyle\sum_{i=1}^n\frac{(x_i-\mu)^4}{\sigma^6}+2\sum_{i=1}^n\sum_{j=1}^i\frac{(x_i-\mu)^2}{\sigma^3}\frac{(x_j-\mu)^2}{\sigma^3}\right]&\\ \\ &=& -\frac{n^2}{\sigma^2}+\frac{1}{\sigma^6}\left\{E_{\sigma}\left[\displaystyle\sum_{i=1}^n(x_i-\mu)^4\right]+2E_{\sigma}\left[\sum_{i=1}^n\sum_{j=1}^i(x_i-\mu)^2(x_j-\mu)^2\right]\right\}&\\ \\ &=& -\frac{n^2}{\sigma^2}+\frac{1}{\sigma^6}\left\{\displaystyle\sum_{i=1}^nE_{\sigma}\left[(x_i-\mu)^4\right]+2\sum_{i=1}^n\sum_{j=1}^iE_{\sigma}\left[(x_i-\mu)^2\right]E_{\sigma}\left[(x_j-\mu)^2\right]\right\}&...&i,j\text{はそれぞれ独立であるため}\\ \\ &=& -\frac{n^2}{\sigma^2}+\frac{1}{\sigma^6}\left\{\displaystyle\sum_{i=1}^n3\sigma^4+2\sum_{i=1}^n\sum_{j=1}^i\sigma^2\cdot\sigma^2\right\}&...&\text{正規分布の尖度が}3\text{であるため}\\ \\ &=& -\frac{n^2}{\sigma^2}+\frac{1}{\sigma^6}\left\{n3\sigma^4+2\frac{n(n-1)}{2}\sigma^4\right\}&\\ \\ &=& \frac{2n}{\sigma^4}&\\ \\ \end{eqnarray} が得られる。(2)と比較すると \begin{eqnarray} \frac{J_n(\sigma)^{-1}}{V[\hat{\sigma}]} &=& \frac{\frac{\sigma^4}{2n}}{\frac{2\sigma^4}{(n-1)}} \\ \\ &=& \frac{(n-1)}{4n}\lt 1\\ \\ \end{eqnarray} であることから、有効推定量ではないことがわかる。

\(\S\)3.5 情報量基準