- 離散対称性, パリティすなわち空間反転
- 式(4.44)の導出
- 式(4.48)の確認
- 式(4.49)の確認
- 式(4.50)の導出
- 式(4.51)の導出
- 式(4.56)の導出
- p.355上部：\(\pi\ket{\alpha}=\pm\ket{\alpha}\)の導出
- p.355上部：\(H\ket{\alpha}=E_n\ket{\alpha}\)の導出
- p.355上部：調和振動子の基底状態\(\ket{0}\)が偶パリティを持つこと
- 式(4.75)がパリティ固有ケットではないこと
- 式(4.76)の確認
- 式(4.77a)(4.77b)がパリティ固有状態ではなく、空間反転によって入れ替わること
- 式(4.78)の導出
- 重回帰分析
- 式(16.3)の右辺の導出
- \(\hat{\rm{Y}}=P_X \rm{Y}\)となること
- \(P_X^2 =P_X\)となること
- \(P_X^{\rm{T}} =P_X\)となること
- \(\rm{X^T}e=0\)となること
- \(\boldsymbol{1}^{\rm{T}}e=0\)となること
- \(\boldsymbol{1}^{\rm{T}}(\rm{Y-X}\boldsymbol{\beta})=n(\overline{y}-(1,\overline{x }^{\rm{T} })\boldsymbol{\hat{\beta}})\)となること
- \(\rm{X}\boldsymbol{\beta}\in\rm{Im(X)},\;\boldsymbol{1}(1,\overline{x}^{\rm{T} })\hat{\boldsymbol{\beta} }\in \rm{Im(X)}\)となること
- \(\displaystyle \sum_{i=1}^n (y_i-(1,x_i^{\rm{T} })\hat{\boldsymbol{\beta} })^2/(n-d-1)\left(=\frac{\|\boldsymbol{e}\|^2}{n-d-1}\right)\)が\(\sigma^2\)の不変分散となること
- \(E[\hat{\boldsymbol{\beta}}]=\boldsymbol{\beta}^*\)となること
- \(\text{Cov}[\boldsymbol{\beta}^*]=\sigma^2(\rm{X^TX})^{-1}\)であること
- \(\sigma^2(\rm{X^TX})^{-1}\)がクラーメル・ラオの下限を達成していること
- 重回帰分析の検定
- \(T=\frac{(R_0^2-R_1^2)/q}{R_1^2/(n-d-1)}\)の導出
- \(T\sim F(q,n-d-1)\)となること
- \(\beta_k=0\)の検定における\(T=\frac{\hat{\beta}_k^2}{\hat{\sigma}^2S^{k,k}/n}\)の導出（修正版）
- \((A_{21}\text{X}_1^{\text{T}}+A_{22}\text{X}_2^{\text{T}})\text{Y}=\beta_2\)の計算
- \(\hat{\beta}_k^{\text{T} }\text{A}_{22}^{-1}\hat{\beta}_k=R_0^2-R_1^2\)の計算
- \(\text{F}\)の計算
- \(\beta_0=0\)の検定における\(T=\frac{\hat{\beta}_0^2}{\hat{\sigma}^2(1+\sum_{k,k'=1}^d\overline{x}_k\overline{x}_{k'}S^{k,k'})/n}\)の導出（修正版）
- \(\beta_1=\beta_2=\ldots=\beta_d=0\)の検定における、検定統計量\(T\)の導出
現代の量子力学の行間埋め 第４章
-
\(\pi\)がユニタリ的であるため、式(1.159)を用いて
\begin{eqnarray}
&&\pi^{\dagger}\boldsymbol{x}\pi&=&-\boldsymbol{x} \\ \\
&\Leftrightarrow&
\pi\pi^{\dagger}\boldsymbol{x}\pi&=&-\pi\boldsymbol{x} \\ \\
&\Leftrightarrow&
\boldsymbol{x}\pi&=&-\pi\boldsymbol{x} \\ \\
\end{eqnarray}
と導出できる。
-
位置ケット\(\ket{\boldsymbol{x}}\)を用いると
\begin{eqnarray}
\text{式(4.48)左辺}
&=&
\pi\mathscr{F}(d\boldsymbol{x}^{\prime})\ket{\boldsymbol{x}} \\ \\
&=&
\pi\ket{\boldsymbol{x}+d\boldsymbol{x}^{\prime}}&...&\text{式(1.194)より} \\ \\
&=&
\ket{-\boldsymbol{x}-d\boldsymbol{x}^{\prime}}&...&\text{式(4.45)より}e^{i\delta}=1\text{とした} \\ \\ \\
\text{式(4.48)右辺}
&=&
\mathscr{F}(-d\boldsymbol{x}^{\prime})\pi\ket{\boldsymbol{x}} \\ \\
&=&
\mathscr{F}(-d\boldsymbol{x}^{\prime})\ket{-\boldsymbol{x}}&...&\text{式(4.45)より}e^{i\delta}=1\text{とした} \\ \\
&=&
\ket{-\boldsymbol{x}-d\boldsymbol{x}^{\prime}}&...&\text{式(1.194)より}
\end{eqnarray}
以上より、式(4.48)が示された。
-
式(4.48)と式(1.214)を用いると
\begin{eqnarray}
&&\pi\mathscr{F}(d\boldsymbol{x}^{\prime})
&=&
\mathscr{F}(-d\boldsymbol{x}^{\prime})\pi \\ \\
&\Leftrightarrow&
\pi\left(1-\frac{i\boldsymbol{p}\cdot d\boldsymbol{x}^{\prime}}{\hbar}\right)
&=&
\left(1+\frac{i\boldsymbol{p}\cdot d\boldsymbol{x}^{\prime}}{\hbar}\right)\pi \\ \\
&\Leftrightarrow&
\pi\left(1-\frac{i\boldsymbol{p}\cdot d\boldsymbol{x}^{\prime}}{\hbar}\right)\pi^{\dagger}
&=&
\left(1+\frac{i\boldsymbol{p}\cdot d\boldsymbol{x}^{\prime}}{\hbar}\right)\pi\pi^{\dagger} \\ \\
&&
&=&
\left(1+\frac{i\boldsymbol{p}\cdot d\boldsymbol{x}^{\prime}}{\hbar}\right)&...&\pi\text{のユニタリ性より} \\ \\
\end{eqnarray}
と導出できる。
-
式(4.49)より
\begin{eqnarray}
&&
\pi\left(1-\frac{i\boldsymbol{p}\cdot d\boldsymbol{x}^{\prime}}{\hbar}\right)\pi^{\dagger}&=&1+\frac{i\boldsymbol{p}\cdot d\boldsymbol{x}^{\prime}}{\hbar} \\ \\
&\Leftrightarrow&
\underbrace{\pi\pi^{\dagger}}_{(1)}-\pi\frac{i\boldsymbol{p}\cdot d\boldsymbol{x}^{\prime}}{\hbar}\pi^{\dagger}&=&1+\frac{i\boldsymbol{p}\cdot d\boldsymbol{x}^{\prime}}{\hbar}&...&\text{ユニタリ性と式(1.159)より}\pi\pi^{\dagger}=1 \\ \\
&\Leftrightarrow&
-\pi\boldsymbol{p}\cdot d\boldsymbol{x}^{\prime}\pi^{\dagger}&=&\boldsymbol{p}\cdot d\boldsymbol{x}^{\prime}& \\ \\
&\Leftrightarrow&
-\pi(p_xdx^{\prime}+p_ydy^{\prime}+p_zdz^{\prime})\pi^{\dagger}&=&\boldsymbol{p}\cdot d\boldsymbol{x}^{\prime}& \\ \\
&\Leftrightarrow&
-\pi(p_x\pi^{\dagger}dx^{\prime}+p_y\pi^{\dagger}dy^{\prime}+p_z\pi^{\dagger}dz^{\prime})&=&\boldsymbol{p}\cdot d\boldsymbol{x}^{\prime}&...&dx^{\prime},dy^{\prime},dz^{\prime}\text{は定数であるため交換できる} \\ \\
&\Leftrightarrow&
-\pi(\boldsymbol{p}\pi^{\dagger})\cdot d\boldsymbol{x}^{\prime}&=&\boldsymbol{p}\cdot d\boldsymbol{x}^{\prime}& \\ \\
&\Leftrightarrow&
\left(\pi\boldsymbol{p}\pi^{\dagger}+\boldsymbol{p}\right)\cdot d\boldsymbol{x}^{\prime}&=&0& \\ \\
&\Rightarrow&
\pi\boldsymbol{p}\pi^{\dagger}&=&-\boldsymbol{p}& \\ \\
&\Leftrightarrow&
\pi\boldsymbol{p}\pi^{\dagger}\pi&=&-\boldsymbol{p}\pi& \\ \\
&\Leftrightarrow&
\pi\boldsymbol{p}+\boldsymbol{p}\pi&=&0&...&\text{ユニタリ性より} \\ \\
&\Leftrightarrow&
\{\pi,\boldsymbol{p}\}&=&0\\ \\
\end{eqnarray}
と導出できる。
-
\begin{eqnarray}
[\pi,L_{i}]
&=&
[\pi,\varepsilon_{ijk}x_jp_k+\varepsilon_{ikj}x_kp_j] \\ \\
&=&
\pi\varepsilon_{ijk}x_jp_k+\pi\varepsilon_{ikj}x_kp_j-\varepsilon_{ijk}x_jp_k\pi+\varepsilon_{ikj}x_kp_j\pi \\ \\
&=&
\varepsilon_{ijk}\pi x_jp_k+\varepsilon_{ikj}\pi x_kp_j-\varepsilon_{ijk}\underbrace{\pi\pi^{\dagger}}_{(1)}x_j\underbrace{\pi\pi^{\dagger}}_{(1)}p_k\pi+\varepsilon_{ikj}\underbrace{\pi\pi^{\dagger}}_{(1)}x_k\underbrace{\pi\pi^{\dagger}}_{(1)}p_j\pi&...&\text{(1)ユニタリ性より}\pi\pi^{\dagger}=1 \\ \\
&=&
\varepsilon_{ijk}\pi x_jp_k+\varepsilon_{ikj}\pi x_kp_j-\varepsilon_{ijk}\pi(-x_j)(-p_k)+\varepsilon_{ikj}\pi(-x_k)(-p_j)&...&\text{式(4.43)(4.50)より} \\ \\
&=&
\varepsilon_{ijk}\pi x_jp_k+\varepsilon_{ikj}\pi x_kp_j-\varepsilon_{ijk}\pi x_jp_k+\varepsilon_{ikj}\pi x_kp_j \\ \\
&=&
0
\end{eqnarray}
と導出できる。
-
式(4.55)より
\begin{eqnarray}
&&\pi\mathscr{D}(R)&=&\mathscr{D}\pi \\ \\
&\Leftrightarrow&
\pi\left(1-\frac{i\boldsymbol{J}\cdot\hat{\boldsymbol{n}}\varepsilon}{\hbar}\right)&=&\left(1-\frac{i\boldsymbol{J}\cdot\hat{\boldsymbol{n}}\varepsilon}{\hbar}\right)\pi \\ \\
&\Leftrightarrow&
\pi^{\dagger}\pi\left(1-\frac{i\boldsymbol{J}\cdot\hat{\boldsymbol{n}}\varepsilon}{\hbar}\right)&=&\pi^{\dagger}\left(1-\frac{i\boldsymbol{J}\cdot\hat{\boldsymbol{n}}\varepsilon}{\hbar}\right)\pi \\ \\
&\Leftrightarrow&
\pi^{\dagger}\pi\left(1-\frac{i\boldsymbol{J}\cdot\hat{\boldsymbol{n}}\varepsilon}{\hbar}\right)&=&\pi^{\dagger}\pi-\pi^{\dagger}\frac{i\boldsymbol{J}\cdot\hat{\boldsymbol{n}}\varepsilon}{\hbar}\pi \\ \\
&\Leftrightarrow&
1-\frac{i\boldsymbol{J}\cdot\hat{\boldsymbol{n}}\varepsilon}{\hbar}&=&1-\pi^{\dagger}\frac{i\boldsymbol{J}\cdot\hat{\boldsymbol{n}}\varepsilon}{\hbar}\pi&...&\text{ユニタリ性より}\pi^{\dagger}\pi=1 \\ \\
&\Leftrightarrow&
\pi^{\dagger}\boldsymbol{J}\cdot\hat{\boldsymbol{n}}\pi-\boldsymbol{J}\cdot\hat{\boldsymbol{n}}&=&0&\\ \\
&\Leftrightarrow&
\pi^{\dagger}\boldsymbol{J}\pi\cdot\hat{\boldsymbol{n}}-\boldsymbol{J}\cdot\hat{\boldsymbol{n}}&=&0&...&\hat{\boldsymbol{n}}\text{は向きを表す定数であるため交換可能}\\ \\
&\Leftrightarrow&
(\pi^{\dagger}\boldsymbol{J}\pi-\boldsymbol{J})\cdot\hat{\boldsymbol{n}}&=&0\\ \\
&\Rightarrow&
\pi^{\dagger}\boldsymbol{J}\pi-\boldsymbol{J}&=&0\\ \\
&\Leftrightarrow&
\pi\pi^{\dagger}\boldsymbol{J}\pi-\pi\boldsymbol{J}&=&0\\ \\
&\Leftrightarrow&
\boldsymbol{J}\pi-\pi\boldsymbol{J}&=&0&...&\text{ユニタリ性より}\\ \\
&\Leftrightarrow&
-[\pi,\boldsymbol{J}]&=&0\\ \\
&\Leftrightarrow&
[\pi,\boldsymbol{J}]&=&0\\ \\
\end{eqnarray}
と導出できる。
-
\begin{eqnarray}
\pi\ket{\alpha}
&=&
\pi\frac{1}{2}(1\pm\pi)\ket{n} \\ \\
&=&
\frac{1}{2}(\pi\pm\pi^2)\ket{n} \\ \\
&=&
\frac{1}{2}(\pi\pm 1)\ket{n}&...&\pi^2=1\text{より} \\ \\
&=&
\frac{1}{2}(\pm 1+\pi)\ket{n} \\ \\
&=&
\pm\frac{1}{2}(1\pm\pi)\ket{n} \\ \\
&=&
\pm\ket{\alpha} \\ \\
\end{eqnarray}
と導出できる。
-
\begin{eqnarray}
H\ket{\alpha}
&=&
H\frac{1}{2}(1\pm\pi)\ket{n} \\ \\
&=&
\frac{1}{2}\left(H\ket{n}\pm H\pi\ket{n}\right) \\ \\
&=&
\frac{1}{2}\left(H\ket{n}\pm {\color{red}\pi H}\ket{n}\right)&...&\text{式(4.71)より}H\pi=\pi H \\ \\
&=&
\frac{1}{2}\left(\underbrace{E_n\ket{n}}_{(1)}\pm \pi \underbrace{E_n\ket{n}}_{(1)}\right)&...&\text{式(4.72)より} \\ \\
&=&
E_n\frac{1}{2}(1\pm\pi)\ket{n} \\ \\
&=&
E_n\ket{\alpha} \\ \\
\end{eqnarray}
と導出できる。
-
式(2.151)より
\begin{eqnarray}
\psi(x^{\prime})
&=&
\frac{1}{\pi^{1/4}\sqrt{x_0}}\exp\left[-\frac12\left(\frac{x^{\prime}}{x_0}\right)^2\right] \\ \\
&=&
\frac{1}{\pi^{1/4}\sqrt{x_0}}\exp\left[-\frac12\left(\frac{\color{red}-x^{\prime}}{x_0}\right)^2\right] \\ \\
&=&
\psi(-x^{\prime})\\ \\
\end{eqnarray}
となり、式(4.64)より偶パリティを持つことがわかる。
-
式(4.66)(4.69)を用いる。
\(\ket{2s}=\ket{n=2,l=0,m=0}\)は空間反転に対して、式(4.69)より \begin{eqnarray} R_{\alpha}(r)Y_0^0(\pi-\theta,\phi+\pi) &=& R_{\alpha}(r)(-1)^0Y_0^0(\theta,\phi) \\ \\ &=& R_{\alpha}(r)Y_0^0(\theta,\phi) \end{eqnarray} となり、式(4.64)より偶パリティを持つことがわかる。
また、\(\ket{2p}=\ket{n=2,l=1,m}\)は空間反転に対して、式(4.69)より \begin{eqnarray} R_{\alpha}(r)Y_1^m(\pi-\theta,\phi+\pi) &=& R_{\alpha}(r)(-1)^1Y_1^m(\theta,\phi) \\ \\ &=& -R_{\alpha}(r)Y_1^m(\theta,\phi) \end{eqnarray} となり、式(4.64)より奇パリティを持つことがわかる。
これらを用いると\(\ket{\alpha}=c_p\ket{2p}+c_s\ket{2s}\)としたとき \begin{eqnarray} \pi\ket{\alpha} &=& \pi(c_p\ket{2p}+c_s\ket{2s}) \\ \\ &=& -c_p\ket{2p}+c_s\ket{2s}\neq \pm\ket{\alpha} \end{eqnarray} となり、パリティ固有ではないことがわかる。
-
基本的に数値計算で導出をする。
波動関数の計算はこちらなど参考。 波動関数の導出とともにエネルギー固有値を数値計算で求めることで比較できる。
実際のエネルギー固有値の比較については こちらのnoteも参考。
-
\begin{eqnarray}
\pi\ket{R}
&=&
\pi\frac{1}{\sqrt{2}}\left(\ket{S}+\ket{A}\right) \\ \\
&=&
\frac{1}{\sqrt{2}}\left(\pi\ket{S}+\pi\ket{A}\right) \\ \\
&=&
\frac{1}{\sqrt{2}}\left(1\ket{S}-1\ket{A}\right)&...&\text{p.356より対称状態と反対称状態であるため} \\ \\
&=&
\ket{L}\neq\pm\ket{R} \\ \\ \\
\pi\ket{L}
&=&
\pi\frac{1}{\sqrt{2}}\left(\ket{S}-\ket{A}\right) \\ \\
&=&
\frac{1}{\sqrt{2}}\left(\pi\ket{S}-\pi\ket{A}\right) \\ \\
&=&
\frac{1}{\sqrt{2}}\left(1\ket{S}+1\ket{A}\right)&...&\text{p.356より対称状態と反対称状態であるため} \\ \\
&=&
\ket{R}\neq\pm\ket{L} \\ \\
\end{eqnarray}
であるから、式(4.77a)(4.77b)がパリティ固有状態ではなく、空間反転によって入れ替わる。
-
式(2.38)を用いると
\begin{eqnarray}
\ket{R,t_0=0;t}
&=&
\exp\left(\frac{-iHt}{\hbar}\right)\ket{R,t_0=0} \\ \\
&=&
\exp\left(\frac{-iHt}{\hbar}\right)\frac{1}{\sqrt{2}}\left(\ket{S}+\ket{A}\right)&...&\text{式(4.77a)} \\ \\
&=&
\frac{1}{\sqrt{2}}\left(\exp\left(\frac{-iHt}{\hbar}\right)\ket{S}+\exp\left(\frac{-iHt}{\hbar}\right)\ket{A}\right) \\ \\
&=&
\frac{1}{\sqrt{2}}\left(\exp\left(\frac{-iE_St}{\hbar}\right)\ket{S}+\exp\left(\frac{-iE_At}{\hbar}\right)\ket{A}\right)&...&\text{p.356の議論より}H\ket{S}=E_S\ket{S},H\ket{A}=E_A\ket{A}\text{を利用} \\ \\
&=&
\frac{1}{\sqrt{2}}\exp\left(\frac{-iE_St}{\hbar}\right)\left(\ket{S}+\exp\left(\frac{-i(E_A-E_S)t}{\hbar}\right)\ket{A}\right) \\ \\
\end{eqnarray}
と導出できる。
統計学実践ワークブックの行間埋め 第16章
イメージとしては、16.3の左辺を展開して\(\beta\)について平方完成すること。
\begin{eqnarray}
\|\rm{Y}-\rm{X}\boldsymbol{\beta}\|^2
&=&
( \rm{Y}-\rm{X}\boldsymbol{\beta})^{\rm{T} }( \rm{Y}-\rm{X}\boldsymbol{\beta}) \\ \\
&=&
\rm{Y}^{\rm T}\rm{Y}-\rm{Y}^{\rm{T} }\rm{X}\boldsymbol{\beta}-(\rm{X}\boldsymbol{\beta})^{\rm{T} }\rm{Y}+(\rm{X}\boldsymbol{\beta})^{\rm T}\rm{X}\boldsymbol{\beta} \\ \\
&=&
\rm{Y}^{\rm T}\rm{Y}-\rm{Y}^{\rm{T} }\rm{X}\boldsymbol{\beta}-\boldsymbol{\beta}^\rm{T}\rm{X}^{\rm{T} }\rm{Y}+\boldsymbol{\beta}^{\rm T}\rm{X}^{\rm T}\rm{X}\boldsymbol{\beta} \tag{1} \\ \\
\end{eqnarray}
ここで、\(\boldsymbol{\beta}\)について平方完成(のようなものを)する。式を以下のように\(\boldsymbol{\beta} \)に依存しない行列\(\rm{A,\;B}\)を用いて変形することを考える。
\begin{eqnarray}
\|\rm{Y}-\rm{X}\boldsymbol{\beta}\|^2=((\rm{A}-\boldsymbol{\beta})^{\rm{T} }\rm{X^T)(X} (\rm{A}-\boldsymbol{\beta}))-\rm{B}\tag{2}
\end{eqnarray}
式を展開すると、
\begin{eqnarray}
((\rm{A}-\boldsymbol{\beta})^{\rm{T} }\rm{X^T)(X} (\rm{A}-\boldsymbol{\beta}))-\rm{B}
&=&
\rm{A^TX^TXA}-\boldsymbol{\beta}^{\rm{T} }\rm{X^TXA}-\rm{A^TX^TX}\boldsymbol{\beta}+\boldsymbol{\beta}^{\rm{T} }\rm{X^TX}\boldsymbol{\beta}-\rm{B}\tag{3} \\ \\
\end{eqnarray}
ここで式(1)(3)中の、先頭に\(\boldsymbol{\beta}^{\rm{T} }\)がつく項を比較すると、\(\rm{X^TY=\rm{X^TXA} }\)であることがわかる。従って、\(\rm{A}=(\rm{X^TX})^{-1}\rm{X^TY}\)が得られる。
式(2)に\(\rm{A}\)を代入して\(\rm{B}\)を求めると、 \begin{eqnarray} B&=&(((\rm{X^TX})^{-1}\rm{X^TY}-\boldsymbol{\beta})^{\rm{T} }\rm{X^T)(X} (\rm{(\rm{X^TX})^{-1}\rm{X^TY}}-\boldsymbol{\beta}))-\|\rm{Y}-\rm{X}\boldsymbol{\beta}\|^2\\ \\ &=& \rm{((\rm{X^TX})^{-1}\rm{X^TY})^T\:X^TX(\rm{X^TX})^{-1}\rm{X^TY}}-\boldsymbol{\beta}^{\rm{T} }\rm{X^TX(\rm{X^TX})^{-1}\rm{X^TY}}-\rm{((\rm{X^TX})^{-1}\rm{X^TY})^TX^TX}\boldsymbol{\beta}+\boldsymbol{\beta}^{\rm{T} }\rm{X^TX}\boldsymbol{\beta}-\|\rm{Y}-\rm{X}\boldsymbol{\beta}\|^2 \\ \\ &=& \rm{(Y^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}-\boldsymbol{\beta}^{\rm{T} }\rm{X^TY }-\rm{(X^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}\boldsymbol{\beta}+\boldsymbol{\beta}^{\rm{T} }\rm{X^TX}\boldsymbol{\beta}-\|\rm{Y}-\rm{X}\boldsymbol{\beta}\|^2 \\ \\ &=& \rm{(Y^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}-\boldsymbol{\beta}^{\rm{T} }\rm{X^TY }-\rm{(\rm{X^TY})^T}\boldsymbol{\beta}+\boldsymbol{\beta}^{\rm{T} }\rm{X^TX}\boldsymbol{\beta}-(\rm{Y}^{\rm T}\rm{Y}-\rm{Y}^{\rm{T} }\rm{X}\boldsymbol{\beta}-\boldsymbol{\beta}^\rm{T}\rm{X}^{\rm{T} }\rm{Y}+\boldsymbol{\beta}^{\rm T}\rm{X}^{\rm T}\rm{X}\boldsymbol{\beta}) \\ \\ &=& \rm{(Y^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}-\rm{Y^TX}\boldsymbol{\beta}-(\rm{Y}^{\rm T}\rm{Y}-\rm{Y}^{\rm{T} }\rm{X}\boldsymbol{\beta}) \\ \\ &=& \rm{(Y^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}-\rm{Y}^{\rm T}\rm{Y} \\ \\ &=& \rm{(Y^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}-\|\rm{Y}\|^2 \\ \\ \end{eqnarray} よって、\(A,\;B\)を式(2)に代入することで式(16.3)が導ける。
式(2)に\(\rm{A}\)を代入して\(\rm{B}\)を求めると、 \begin{eqnarray} B&=&(((\rm{X^TX})^{-1}\rm{X^TY}-\boldsymbol{\beta})^{\rm{T} }\rm{X^T)(X} (\rm{(\rm{X^TX})^{-1}\rm{X^TY}}-\boldsymbol{\beta}))-\|\rm{Y}-\rm{X}\boldsymbol{\beta}\|^2\\ \\ &=& \rm{((\rm{X^TX})^{-1}\rm{X^TY})^T\:X^TX(\rm{X^TX})^{-1}\rm{X^TY}}-\boldsymbol{\beta}^{\rm{T} }\rm{X^TX(\rm{X^TX})^{-1}\rm{X^TY}}-\rm{((\rm{X^TX})^{-1}\rm{X^TY})^TX^TX}\boldsymbol{\beta}+\boldsymbol{\beta}^{\rm{T} }\rm{X^TX}\boldsymbol{\beta}-\|\rm{Y}-\rm{X}\boldsymbol{\beta}\|^2 \\ \\ &=& \rm{(Y^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}-\boldsymbol{\beta}^{\rm{T} }\rm{X^TY }-\rm{(X^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}\boldsymbol{\beta}+\boldsymbol{\beta}^{\rm{T} }\rm{X^TX}\boldsymbol{\beta}-\|\rm{Y}-\rm{X}\boldsymbol{\beta}\|^2 \\ \\ &=& \rm{(Y^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}-\boldsymbol{\beta}^{\rm{T} }\rm{X^TY }-\rm{(\rm{X^TY})^T}\boldsymbol{\beta}+\boldsymbol{\beta}^{\rm{T} }\rm{X^TX}\boldsymbol{\beta}-(\rm{Y}^{\rm T}\rm{Y}-\rm{Y}^{\rm{T} }\rm{X}\boldsymbol{\beta}-\boldsymbol{\beta}^\rm{T}\rm{X}^{\rm{T} }\rm{Y}+\boldsymbol{\beta}^{\rm T}\rm{X}^{\rm T}\rm{X}\boldsymbol{\beta}) \\ \\ &=& \rm{(Y^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}-\rm{Y^TX}\boldsymbol{\beta}-(\rm{Y}^{\rm T}\rm{Y}-\rm{Y}^{\rm{T} }\rm{X}\boldsymbol{\beta}) \\ \\ &=& \rm{(Y^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}-\rm{Y}^{\rm T}\rm{Y} \\ \\ &=& \rm{(Y^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}-\|\rm{Y}\|^2 \\ \\ \end{eqnarray} よって、\(A,\;B\)を式(2)に代入することで式(16.3)が導ける。
\(\boldsymbol{\hat{\beta} }=(\rm{X^TX})^{-1}\rm{X^TY}\)であるから、
\begin{eqnarray}
\rm{\hat{Y}}
&=&
\rm{X}\boldsymbol{\hat{\beta} } \\ \\
&=&
\rm{X}(\rm{X^TX})^{-1}\rm{X^TY} \\ \\
&=&
P_X \rm{Y}
\end{eqnarray}
が得られる。
\(P_X=\rm{X(X^TX)^{-1}X^T}\)であるから、
\begin{eqnarray}
P_X^2
&=&
\rm{X(X^TX)^{-1}X^T}\rm{X(X^TX)^{-1}X^T} \\ \\
&=&
\rm{X(X^TX)^{-1}(X^TX)(X^TX)^{-1}X^T} \\ \\
&=&
\rm{X(X^TX)^{-1}X^T} \\ \\
&=&
P_X
\end{eqnarray}
\(P_X=\rm{X(X^TX)^{-1}X^T}\)であるから、
\begin{eqnarray}
P_X^{\rm{T}}
&=&
(\rm{X(X^TX)^{-1}X^T})^{\rm{T}} \\ \\
&=&
\rm{X((X^TX)^{-1})^TX^T} \\ \\
&=&
\rm{X((X^TX)^T)^{-1}X^T} \\ \\
&=&
\rm{X((X^TX))^{-1}X^T} \\ \\
&=&
P_X
\end{eqnarray}
途中で、転置行列の逆行列は逆行列の転置行列になることを用いた。
参考
参考
\begin{eqnarray}
\rm{X^T}e
&=&
\rm{X^T}(\rm{I}-P_X)\rm{Y} \\ \\
&=&
(\rm{X^T}-\rm{X^T}\rm{X}(\rm{X^TX})^{-1}\rm{X^T})\rm{Y} \\ \\
&=&
(\rm{X^T}-\rm{X^T})\rm{Y} \\ \\
&=&
0
\end{eqnarray}
\begin{eqnarray}
\rm{X} = \left(
\begin{array}{cccc}
1 & x_{ 1,1 } & x_{ 1,2 } & \ldots & x_{ 1,d } \\
1 & x_{ 2,1 } & x_{ 2,2 } & \ldots & x_{ 2,d } \\
\vdots & \vdots & \ddots & \vdots \\
1 & x_{ n,1 } & x_{ n,2 } & \ldots & x_{ n,d }
\end{array}
\right)
\end{eqnarray}
であり、
\(\boldsymbol{1}^{\rm{T}}=(1,\:1,\:1,\:...)\)であることから、\(\rm{X}\)の1列目は\(\boldsymbol{1}\)と置換できる。加えて、
\begin{eqnarray}
\rm{X^T}e
&=&
0
\end{eqnarray}
であることから、\(\boldsymbol{1}^{\rm{T}}e=0\)となる。
\begin{eqnarray}
\boldsymbol{1}^{\rm{T}}(\rm{Y-X}\boldsymbol{\beta})
&=&
(1,\:1,\:1,\:...)
\left(
\begin{array}{cccc}
y_1-(\beta _0+\beta _1x_{1,1}+\beta_2 x_{1,2}\ldots+\beta _dx_{1,d}) \\
y_2-(\beta _0+\beta _1x_{2,1}+\beta_2 x_{2,2}\ldots+\beta _dx_{2,d}) \\
\vdots \\
y_n-(\beta _0+\beta _1x_{n,1}+\beta_2 x_{n,2}\ldots+\beta _dx_{n,d})
\end{array}
\right) \\ \\
&=&
y_1-(\beta _0+\beta _1x_{1,1}+\beta_2 x_{1,2}\ldots+\beta _dx_{1,d}) \\
& &
+y_2-(\beta _0+\beta _1x_{2,1}+\beta_2 x_{2,2}\ldots+\beta _dx_{2,d}) \\
& &\vdots \\
& &+y_n-(\beta _0+\beta _1x_{n,1}+\beta_2 x_{n,2}\ldots+\beta _dx_{n,d})\\ \\
&=&n\overline{y}-n(\beta_0+\beta_1\overline{x}_1+\ldots +\beta_d\overline{x}_d) \\ \\
&=&n(\overline{y}-(1,\overline{x}^{\rm{T}})\hat{\boldsymbol{\beta}})
\end{eqnarray}
p.128の下部に導出の記載がある。
二行目の左側の式において、\(I-P_X\)と\(\rm{X}\boldsymbol{\beta}^*\)の積は0になるので、 \begin{eqnarray} E[\|(I-P_X)(\rm{X}\boldsymbol{\beta}^*+\boldsymbol{\varepsilon}) \|^2]=E[\| (I-P_X)\boldsymbol{\varepsilon} \|^2] \end{eqnarray} になる。 ここで、 \begin{eqnarray} \boldsymbol{\varepsilon}^{\rm{T}}&=&(\varepsilon_1,\:\varepsilon_2,\:\ldots,\: \varepsilon_n) \\ \\ I -P_X&=& \left( \begin{array}{cccc} P_{1,1} & P_{ 1,2 } & \ldots & P_{ 1,n } \\ P_{ 2,1 } & P_{ 2,2 } & \ldots & P_{ 2,n } \\ \vdots & \vdots & \ddots & \vdots \\ P_{ n,1 } & P_{ n,2 } & \ldots & P_{ n,n } \end{array} \right)\\ \\ \end{eqnarray} と書くことにすると、 \begin{eqnarray} E[\|(I-P_X)\boldsymbol{\varepsilon} \|^2]&=&E\left[((I-P_X)\boldsymbol{\varepsilon})^{\rm{T} }((I-P_X)\boldsymbol{\varepsilon}) \right] \\ \\ &=& E\left[\boldsymbol{\varepsilon}^{\rm{T} }(I-P_X)^{\rm{T} }(I-P_X)\boldsymbol{\varepsilon} \right] \\ \\ &=& E\left[(\varepsilon_1,\:\varepsilon_2,\:\ldots,\: \varepsilon_n)( I^{\rm{T} }I-I^{\rm{T} }P_X-P_X^{\rm{T} }I+P_X^{\rm{T} }P_X )\left( \begin{array}{cccc} \varepsilon_1\\ \varepsilon_2 \\ \vdots\\ \varepsilon_n \end{array} \right) \right] \\ \\ &=& E\left[(\varepsilon_1,\:\varepsilon_2,\:\ldots,\: \varepsilon_n)(I-P_X-P_X+P_X )\left( \begin{array}{cccc} \varepsilon_1\\ \varepsilon_2 \\ \vdots\\ \varepsilon_n \end{array} \right) \right] \;\;\;...P_X^{\rm{T}}=P_X,\;P_X^2=P_Xを利用した。\\ \\ &=& E\left[(\varepsilon_1,\:\varepsilon_2,\:\ldots,\: \varepsilon_n)(I-P_X )\left( \begin{array}{cccc} \varepsilon_1\\ \varepsilon_2 \\ \vdots\\ \varepsilon_n \end{array} \right) \right] \\ \\ &=& E\left[(\varepsilon_1,\:\varepsilon_2,\:\ldots,\: \varepsilon_n)\left( \begin{array}{cccc} P_{1,1} & P_{ 1,2 } & \ldots & P_{ 1,n } \\ P_{ 2,1 } & P_{ 2,2 } & \ldots & P_{ 2,n } \\ \vdots & \vdots & \ddots & \vdots \\ P_{ n,1 } & P_{ n,2 } & \ldots & P_{ n,n } \end{array} \right)\left( \begin{array}{cccc} \varepsilon_1\\ \varepsilon_2 \\ \vdots\\ \varepsilon_n \end{array} \right) \right] \\ \\ &=& E\left[\left( \begin{array}{cccc} P_{1,1}\varepsilon_1+P_{2,1}\varepsilon_2+\ldots +P_{n,1}\varepsilon_n\\ P_{1,2}\varepsilon_1+P_{2,2}\varepsilon_2+\ldots +P_{n,2}\varepsilon_n\\ \vdots\\ P_{1,n}\varepsilon_1+P_{2,n}\varepsilon_2+\ldots +P_{n,n}\varepsilon_n\\ \end{array} \right)^{\rm{T}} \left( \begin{array}{cccc} \varepsilon_1\\ \varepsilon_2 \\ \vdots\\ \varepsilon_n \end{array} \right) \right] \\ \\ &=& E[ (P_{1,1}\varepsilon_1+P_{2,1}\varepsilon_2+\ldots +P_{n,1}\varepsilon_n)\varepsilon_1 \\ &&+ (P_{1,2}\varepsilon_1+P_{2,2}\varepsilon_2+\ldots +P_{n,2}\varepsilon_n)\varepsilon_2 \\ &&\;\;\;\;\;\;\;\;\;\;\vdots \\ &&+ (P_{1,n}\varepsilon_1+P_{2,n}\varepsilon_2+\ldots +P_{n,n}\varepsilon_n)\varepsilon_n ] \\ \\ &=& E\left[ P_{1,1}\varepsilon_1^2+P_{2,2}\varepsilon_2^2+\ldots +P_{n,n}\varepsilon_n^2\right] \\ \\ &=& \sigma^2\left( P_{1,1}+P_{2,2}+\ldots +P_{n,n}\right) \\ \\ &=& \sigma^2\rm{Tr}[(I_n-P_X)] \\ \\ &=& \sigma^2(\rm{Tr}[I_n]-\rm{Tr}[P_X]) \\ \\ &=& \sigma^2(1*n-\rm{Tr}[\rm{X}(\rm{X^TX})^{-1}\rm{X^T}]) \\ \\ &=& \sigma^2(n-\rm{Tr}[\rm{X^TX}(\rm{X^TX})^{-1}]) \;\;\;...\rm{Tr}[\rm{AB}]=\rm{Tr}[\rm{BA}]を利用した。\\ \\ &=& \sigma^2(n-\rm{Tr}[I_{d+1}]) \\ \\ &=& \sigma^2(n-(d+1)) \\ \\ &=& (n-d-1)\sigma^2 \\ \\ \end{eqnarray} トレースの性質を利用している参考：トレースについて
二行目の左側の式において、\(I-P_X\)と\(\rm{X}\boldsymbol{\beta}^*\)の積は0になるので、 \begin{eqnarray} E[\|(I-P_X)(\rm{X}\boldsymbol{\beta}^*+\boldsymbol{\varepsilon}) \|^2]=E[\| (I-P_X)\boldsymbol{\varepsilon} \|^2] \end{eqnarray} になる。 ここで、 \begin{eqnarray} \boldsymbol{\varepsilon}^{\rm{T}}&=&(\varepsilon_1,\:\varepsilon_2,\:\ldots,\: \varepsilon_n) \\ \\ I -P_X&=& \left( \begin{array}{cccc} P_{1,1} & P_{ 1,2 } & \ldots & P_{ 1,n } \\ P_{ 2,1 } & P_{ 2,2 } & \ldots & P_{ 2,n } \\ \vdots & \vdots & \ddots & \vdots \\ P_{ n,1 } & P_{ n,2 } & \ldots & P_{ n,n } \end{array} \right)\\ \\ \end{eqnarray} と書くことにすると、 \begin{eqnarray} E[\|(I-P_X)\boldsymbol{\varepsilon} \|^2]&=&E\left[((I-P_X)\boldsymbol{\varepsilon})^{\rm{T} }((I-P_X)\boldsymbol{\varepsilon}) \right] \\ \\ &=& E\left[\boldsymbol{\varepsilon}^{\rm{T} }(I-P_X)^{\rm{T} }(I-P_X)\boldsymbol{\varepsilon} \right] \\ \\ &=& E\left[(\varepsilon_1,\:\varepsilon_2,\:\ldots,\: \varepsilon_n)( I^{\rm{T} }I-I^{\rm{T} }P_X-P_X^{\rm{T} }I+P_X^{\rm{T} }P_X )\left( \begin{array}{cccc} \varepsilon_1\\ \varepsilon_2 \\ \vdots\\ \varepsilon_n \end{array} \right) \right] \\ \\ &=& E\left[(\varepsilon_1,\:\varepsilon_2,\:\ldots,\: \varepsilon_n)(I-P_X-P_X+P_X )\left( \begin{array}{cccc} \varepsilon_1\\ \varepsilon_2 \\ \vdots\\ \varepsilon_n \end{array} \right) \right] \;\;\;...P_X^{\rm{T}}=P_X,\;P_X^2=P_Xを利用した。\\ \\ &=& E\left[(\varepsilon_1,\:\varepsilon_2,\:\ldots,\: \varepsilon_n)(I-P_X )\left( \begin{array}{cccc} \varepsilon_1\\ \varepsilon_2 \\ \vdots\\ \varepsilon_n \end{array} \right) \right] \\ \\ &=& E\left[(\varepsilon_1,\:\varepsilon_2,\:\ldots,\: \varepsilon_n)\left( \begin{array}{cccc} P_{1,1} & P_{ 1,2 } & \ldots & P_{ 1,n } \\ P_{ 2,1 } & P_{ 2,2 } & \ldots & P_{ 2,n } \\ \vdots & \vdots & \ddots & \vdots \\ P_{ n,1 } & P_{ n,2 } & \ldots & P_{ n,n } \end{array} \right)\left( \begin{array}{cccc} \varepsilon_1\\ \varepsilon_2 \\ \vdots\\ \varepsilon_n \end{array} \right) \right] \\ \\ &=& E\left[\left( \begin{array}{cccc} P_{1,1}\varepsilon_1+P_{2,1}\varepsilon_2+\ldots +P_{n,1}\varepsilon_n\\ P_{1,2}\varepsilon_1+P_{2,2}\varepsilon_2+\ldots +P_{n,2}\varepsilon_n\\ \vdots\\ P_{1,n}\varepsilon_1+P_{2,n}\varepsilon_2+\ldots +P_{n,n}\varepsilon_n\\ \end{array} \right)^{\rm{T}} \left( \begin{array}{cccc} \varepsilon_1\\ \varepsilon_2 \\ \vdots\\ \varepsilon_n \end{array} \right) \right] \\ \\ &=& E[ (P_{1,1}\varepsilon_1+P_{2,1}\varepsilon_2+\ldots +P_{n,1}\varepsilon_n)\varepsilon_1 \\ &&+ (P_{1,2}\varepsilon_1+P_{2,2}\varepsilon_2+\ldots +P_{n,2}\varepsilon_n)\varepsilon_2 \\ &&\;\;\;\;\;\;\;\;\;\;\vdots \\ &&+ (P_{1,n}\varepsilon_1+P_{2,n}\varepsilon_2+\ldots +P_{n,n}\varepsilon_n)\varepsilon_n ] \\ \\ &=& E\left[ P_{1,1}\varepsilon_1^2+P_{2,2}\varepsilon_2^2+\ldots +P_{n,n}\varepsilon_n^2\right] \\ \\ &=& \sigma^2\left( P_{1,1}+P_{2,2}+\ldots +P_{n,n}\right) \\ \\ &=& \sigma^2\rm{Tr}[(I_n-P_X)] \\ \\ &=& \sigma^2(\rm{Tr}[I_n]-\rm{Tr}[P_X]) \\ \\ &=& \sigma^2(1*n-\rm{Tr}[\rm{X}(\rm{X^TX})^{-1}\rm{X^T}]) \\ \\ &=& \sigma^2(n-\rm{Tr}[\rm{X^TX}(\rm{X^TX})^{-1}]) \;\;\;...\rm{Tr}[\rm{AB}]=\rm{Tr}[\rm{BA}]を利用した。\\ \\ &=& \sigma^2(n-\rm{Tr}[I_{d+1}]) \\ \\ &=& \sigma^2(n-(d+1)) \\ \\ &=& (n-d-1)\sigma^2 \\ \\ \end{eqnarray} トレースの性質を利用している参考：トレースについて
\begin{eqnarray}
E[\hat{\boldsymbol{\beta} }]
&=&
E[(\rm{X^TX})^{-1}\rm{X^TY}] \\ \\
&=&
(\rm{X^TX})^{-1}\rm{X^T}E[\rm{Y}] \\ \\
&=&
(\rm{X^TX})^{-1}\rm{X^T}E[\rm{X}\boldsymbol{\beta}^*+\varepsilon] \\ \\
&=&
(\rm{X^TX})^{-1}\rm{X^T}E[\rm{X}\boldsymbol{\beta}^*]+\rm{X^TX}^{-1}\rm{X^T}E[\varepsilon] \\ \\
&=&
(\rm{X^TX})^{-1}\rm{X^T}\rm{X}\boldsymbol{\beta}^*+\rm{X^TX}^{-1}\rm{X^T}0 \\ \\
&=&
(\rm{X^TX})^{-1}\rm{X^T}\rm{X}\boldsymbol{\beta}^* \\ \\
&=&
\boldsymbol{\beta}^* \\ \\
\end{eqnarray}
参考：回帰分析:p.42, 68
\begin{eqnarray}
Cov[\hat{\boldsymbol{\beta} }]
&=&
E[((\rm{X^TX})^{-1}\rm{X^TY}-E[\hat{\boldsymbol{\beta} }])((\rm{X^TX})^{-1}\rm{X^TY}-E[\hat{\boldsymbol{\beta} }])^{\rm{T}}] \\ \\
&=&
E[((\rm{X^TX})^{-1}\rm{X^T}(\rm{X}\boldsymbol{\beta}^* +\boldsymbol{\varepsilon})-\boldsymbol{\beta}^*)((\rm{X^TX})^{-1}\rm{X^T}(\rm{X}\boldsymbol{\beta}^* +\boldsymbol{\varepsilon})-\boldsymbol{\beta}^*)^{\rm{T}}] \\ \\
&=&
E[((\rm{X^TX})^{-1}\rm{X^T}\boldsymbol{\varepsilon})((\rm{X^TX})^{-1}\rm{X^T}\boldsymbol{\varepsilon})^{\rm{T}}] \\ \\
&=&
E[((\rm{X^TX})^{-1}\rm{X^T}\boldsymbol{\varepsilon}\boldsymbol{\varepsilon}^{\rm{T}}((\rm{X^TX})^{-1}\rm{X^T})^{\rm{T}}] \\ \\
&=&
(\rm{X^TX})^{-1}\rm{X^T}E[\boldsymbol{\varepsilon}\boldsymbol{\varepsilon}^{\rm{T}}]((\rm{X^TX})^{-1}\rm{X^T})^{\rm{T}} \\ \\
&=&
(\rm{X^TX})^{-1}\rm{X^T}E\left[ \left(
\begin{array}{cccc}
\varepsilon_1\\
\varepsilon_2 \\
\vdots\\
\varepsilon_n
\end{array}
\right)(\varepsilon_1,\;\varepsilon_2,\ldots,\varepsilon_n) \right]\rm{X} (\rm{X^TX})^{-1} \\ \\
&=&
(\rm{X^TX})^{-1}\rm{X^T}E\left[ \left(
\begin{array}{cccc}
\varepsilon_1^2 & \varepsilon_1\varepsilon_2 & \ldots & \varepsilon_1\varepsilon_n \\
\varepsilon_2\varepsilon_1 & \varepsilon_2^2 & \ldots & \varepsilon_2\varepsilon_n \\
\vdots & \vdots & \ddots & \vdots \\
\varepsilon_n\varepsilon_1 & \varepsilon_n\varepsilon_2 & \ldots & \varepsilon_n^2
\end{array}
\right) \right]\rm{X} (\rm{X^TX})^{-1} \\ \\
&=&
(\rm{X^TX})^{-1}\rm{X^T}\left(
\begin{array}{cccc}
\sigma^2 & 0 & \ldots & 0 \\
0 & \sigma^2 & \ldots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \ldots & \sigma^2
\end{array}
\right)\rm{X} (\rm{X^TX})^{-1} \\ \\
&=&
(\rm{X^TX})^{-1}\rm{X^T}
\sigma^2\rm{I}_n
\rm{X} (\rm{X^TX})^{-1} \\ \\
&=&
\sigma^2(\rm{X^TX})^{-1}\rm{X^T}\rm{X} (\rm{X^TX})^{-1} \\ \\
&=&
\sigma^2(\rm{X^TX})^{-1}(\rm{X^T}\rm{X}) (\rm{X^TX})^{-1} \\ \\
&=&
\sigma^2(\rm{X^TX})^{-1} \\ \\
\end{eqnarray}
参考：回帰分析:p.68
参考：ベクトルを伴う微分
回帰分析の尤度関数\(l(\hat{\boldsymbol{\beta}})\)を求めると、 \begin{eqnarray} l(\hat{\boldsymbol{\beta} })=\frac{1}{(2\pi\sigma^2)^\frac{n}{2} }\exp \left(-\frac{(\rm{Y-X}\hat{\boldsymbol{\beta} })^{\rm{T} }(\rm{Y-X}\hat{\boldsymbol{\beta} }) }{2\sigma^2}\right) \end{eqnarray} 対数尤度を求めると、 \begin{eqnarray} \log l(\hat{\boldsymbol{\beta} })=-\frac{n}{2}\log (2\pi\sigma^2)-\frac{1}{2\sigma^2}\rm{Y^TY}+\frac{1}{2\sigma^2}(\hat{\boldsymbol{\beta} }^\rm{T}\rm{X}^{\rm{T}}\rm{Y}+\rm{Y^TX}\hat{\boldsymbol{\beta}})-\frac{1}{2\sigma^2}\hat{\boldsymbol{\beta}}^{\rm{T}}\rm{X^TX}\hat{\boldsymbol{\beta}}\\ \\ \end{eqnarray} が得られる。ここで\(\hat{\boldsymbol{\beta} }\)についてのFisherの情報量を求めると、 \begin{eqnarray} I(\hat{\boldsymbol{\beta} }) &=& -E \left[ \frac{\partial^2 \log l}{\partial\hat{\boldsymbol{\beta} }\partial\hat{\boldsymbol{\beta} }^{\rm{T} } } \right] \\ \\ &=& -E \left[ -\frac{1}{\sigma^2}\rm{X^TX}\right] \\ \\ &=& \frac{1}{\sigma^2}\rm{X^TX} \\ \\ I(\hat{\boldsymbol{\beta} })^{-1}&=&\sigma^2(\rm{X^TX})^{-1} \end{eqnarray} となり、これが分散の最小値であり、\(Cov[\hat{\boldsymbol{\beta} }]\)と一致している。
参考：ベクトルを伴う微分
回帰分析の尤度関数\(l(\hat{\boldsymbol{\beta}})\)を求めると、 \begin{eqnarray} l(\hat{\boldsymbol{\beta} })=\frac{1}{(2\pi\sigma^2)^\frac{n}{2} }\exp \left(-\frac{(\rm{Y-X}\hat{\boldsymbol{\beta} })^{\rm{T} }(\rm{Y-X}\hat{\boldsymbol{\beta} }) }{2\sigma^2}\right) \end{eqnarray} 対数尤度を求めると、 \begin{eqnarray} \log l(\hat{\boldsymbol{\beta} })=-\frac{n}{2}\log (2\pi\sigma^2)-\frac{1}{2\sigma^2}\rm{Y^TY}+\frac{1}{2\sigma^2}(\hat{\boldsymbol{\beta} }^\rm{T}\rm{X}^{\rm{T}}\rm{Y}+\rm{Y^TX}\hat{\boldsymbol{\beta}})-\frac{1}{2\sigma^2}\hat{\boldsymbol{\beta}}^{\rm{T}}\rm{X^TX}\hat{\boldsymbol{\beta}}\\ \\ \end{eqnarray} が得られる。ここで\(\hat{\boldsymbol{\beta} }\)についてのFisherの情報量を求めると、 \begin{eqnarray} I(\hat{\boldsymbol{\beta} }) &=& -E \left[ \frac{\partial^2 \log l}{\partial\hat{\boldsymbol{\beta} }\partial\hat{\boldsymbol{\beta} }^{\rm{T} } } \right] \\ \\ &=& -E \left[ -\frac{1}{\sigma^2}\rm{X^TX}\right] \\ \\ &=& \frac{1}{\sigma^2}\rm{X^TX} \\ \\ I(\hat{\boldsymbol{\beta} })^{-1}&=&\sigma^2(\rm{X^TX})^{-1} \end{eqnarray} となり、これが分散の最小値であり、\(Cov[\hat{\boldsymbol{\beta} }]\)と一致している。
統計量が\(F\)分布で判定されることと、\(R_1^2=\|e\|^2\)であることから、分母は分散の不偏推定量となっている。
分子については、行列\(\rm{A}\)のrankの数が、帰無仮説として0にする\(\beta_k\)の数になる。
\(\rm{X^T}\boldsymbol{\beta}\)の計算において、例えば\(\beta_k=0\)としておくと、 \begin{eqnarray} \rm{X}\boldsymbol{\beta}&=& \left( \begin{array}{cccc} 1 & X_{1,1} & \ldots & X_{ 1,k-1 } & X_{ 1,k } & X_{ 1,k+1 } & \ldots & X_{ 1,d } \\ 1 & X_{2,1} & \ldots & X_{ 2,k-1 } & X_{ 2,k } & X_{ 2,k+1 } & \ldots & X_{ 2,d } \\ &\vdots & & \vdots & & \ddots & &\vdots \\ 1 & X_{n,1} & \ldots & X_{ n,k-1 } & X_{ n,k } & X_{ n,k+1 } & \ldots & X_{ n,d } \end{array} \right) \left( \begin{array}{cccc} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_{k-1} \\ 0 \\ \beta_{k+1} \\ \vdots \\ \beta_d \\ \end{array} \right) \\ \\ &=& \left( \begin{array}{cccc} \beta_0 + \beta_1X_{1,1} + \ldots + \beta_{k-1}X_{ 1,k-1 } &+&0+\beta_{k+1} X_{ 1,k+1 } & \ldots & \beta_dX_{ 1,d } \\ \beta_0 + \beta_1X_{2,1} + \ldots + \beta_{k-1}X_{ 2,k-1 } &+&0+\beta_{k+1} X_{ 2,k+1 } & \ldots & \beta_dX_{ 2,d } \\ &\vdots& \\ \beta_0 + \beta_1X_{n,1} + \ldots + \beta_{k-1}X_{ n,k-1 } &+&0+\beta_{k+1} X_{ n,k+1 } & \ldots & \beta_dX_{ n,d } \\ \end{array} \right) \end{eqnarray} となり、計算上、\(X_{i,k}\;\;(1\leq i \leq n)\)と\(\beta_k\)を除去しても計算上、変化はない。そのため、\(\rm{A}\boldsymbol{\beta}=0\)によって制限された\(\boldsymbol{\beta}, \rm{X}\)はそれぞれ、 \begin{eqnarray} \beta &\in& \mathbb{R}^{d+1-q} \\ \\ \rm{X} &\in& \mathbb{R}^{n\times (d+1-q)} \end{eqnarray} と表すことができる。この条件のもと、分散\(E[\|e\|^2]\)を求めると、 \begin{eqnarray} E[\|e\|^2] &=& E[\|\rm{Y}-\hat{\rm{Y} } \|^2] \\ \\ &=& E[\| (I-P_X) \rm{Y} \|^2] \\ \\ &=& \sigma^2\rm{Tr}[(I_n-P_X)] \\ \\ &=& \sigma^2(n-(d+1-q)) \\ \\ \end{eqnarray} が得らえる(参考)。ここで、\(E[(R_0^2-R_1^2)]\)を求めると、 \begin{eqnarray} E[\|R_0^2-R_1^2\|^2] &=& \sigma^2(n-(d+1-q))-\sigma^2(n-(d+1)) \\ \\ &=& q\sigma^2 \end{eqnarray} が得られることから、統計量\(T\)として\(T=\frac{(R_0^2-R_1^2)/q}{R_1^2/(n-d-1)}\)が得られる。
分子については、行列\(\rm{A}\)のrankの数が、帰無仮説として0にする\(\beta_k\)の数になる。
\(\rm{X^T}\boldsymbol{\beta}\)の計算において、例えば\(\beta_k=0\)としておくと、 \begin{eqnarray} \rm{X}\boldsymbol{\beta}&=& \left( \begin{array}{cccc} 1 & X_{1,1} & \ldots & X_{ 1,k-1 } & X_{ 1,k } & X_{ 1,k+1 } & \ldots & X_{ 1,d } \\ 1 & X_{2,1} & \ldots & X_{ 2,k-1 } & X_{ 2,k } & X_{ 2,k+1 } & \ldots & X_{ 2,d } \\ &\vdots & & \vdots & & \ddots & &\vdots \\ 1 & X_{n,1} & \ldots & X_{ n,k-1 } & X_{ n,k } & X_{ n,k+1 } & \ldots & X_{ n,d } \end{array} \right) \left( \begin{array}{cccc} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_{k-1} \\ 0 \\ \beta_{k+1} \\ \vdots \\ \beta_d \\ \end{array} \right) \\ \\ &=& \left( \begin{array}{cccc} \beta_0 + \beta_1X_{1,1} + \ldots + \beta_{k-1}X_{ 1,k-1 } &+&0+\beta_{k+1} X_{ 1,k+1 } & \ldots & \beta_dX_{ 1,d } \\ \beta_0 + \beta_1X_{2,1} + \ldots + \beta_{k-1}X_{ 2,k-1 } &+&0+\beta_{k+1} X_{ 2,k+1 } & \ldots & \beta_dX_{ 2,d } \\ &\vdots& \\ \beta_0 + \beta_1X_{n,1} + \ldots + \beta_{k-1}X_{ n,k-1 } &+&0+\beta_{k+1} X_{ n,k+1 } & \ldots & \beta_dX_{ n,d } \\ \end{array} \right) \end{eqnarray} となり、計算上、\(X_{i,k}\;\;(1\leq i \leq n)\)と\(\beta_k\)を除去しても計算上、変化はない。そのため、\(\rm{A}\boldsymbol{\beta}=0\)によって制限された\(\boldsymbol{\beta}, \rm{X}\)はそれぞれ、 \begin{eqnarray} \beta &\in& \mathbb{R}^{d+1-q} \\ \\ \rm{X} &\in& \mathbb{R}^{n\times (d+1-q)} \end{eqnarray} と表すことができる。この条件のもと、分散\(E[\|e\|^2]\)を求めると、 \begin{eqnarray} E[\|e\|^2] &=& E[\|\rm{Y}-\hat{\rm{Y} } \|^2] \\ \\ &=& E[\| (I-P_X) \rm{Y} \|^2] \\ \\ &=& \sigma^2\rm{Tr}[(I_n-P_X)] \\ \\ &=& \sigma^2(n-(d+1-q)) \\ \\ \end{eqnarray} が得らえる(参考)。ここで、\(E[(R_0^2-R_1^2)]\)を求めると、 \begin{eqnarray} E[\|R_0^2-R_1^2\|^2] &=& \sigma^2(n-(d+1-q))-\sigma^2(n-(d+1)) \\ \\ &=& q\sigma^2 \end{eqnarray} が得られることから、統計量\(T\)として\(T=\frac{(R_0^2-R_1^2)/q}{R_1^2/(n-d-1)}\)が得られる。
こちらのp.83に詳しい解説が載っている。
要約すると、\(X\)と\(\beta\)を比較したい二つの部分1,2に分割し、 \begin{eqnarray} \text{X}=[X_1, X_2]\\ \beta^{\text{T} }=[\beta_1^{\text{T}},\beta_2^{\text{T}}] \end{eqnarray} とする。この時、\(X_2,\beta_2^{\text{T}}\)の列の数をqとする。
この時、 \begin{eqnarray} \frac{R_1^2}{\hat{\sigma}^2}\sim\chi^2(q) \end{eqnarray} となる。ここで、 \begin{eqnarray} &&(\text{X}^{\text{T}}\text{X})^{-1} \\ \\ &=& \left( \left( \begin{array}{cccc} \text{X}_1^{\text{T}} \\ \text{X}_2^{\text{T}}\\ \end{array} \right) (\text{X}_1,\text{X}_2)\right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} \text{X}_1^{\text{T}}\text{X}_1 &\text{X}_1^{\text{T}}\text{X}_2 \\ \text{X}_2^{\text{T}}\text{X}_1 &\text{X}_2^{\text{T}}\text{X}_2 \\ \end{array} \right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} (\text{X}_1^{\text{T}}\text{X}_1)^{-1} &(\text{X}_1^{\text{T}}\text{X}_2)^{-1} \\ (\text{X}_2^{\text{T}}\text{X}_1)^{-1} &(\text{X}_2^{\text{T}}\text{X}_2)^{-1} \\ \end{array} \right) \\ \\ \end{eqnarray} となる\((\text{X}_2^{\text{T}}\text{X}_2)^{-1}\)を導入すると、 \begin{eqnarray} R_0^2-R_1^2 &=& \beta_2^{\text{T} }(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\beta_2 \end{eqnarray} となる。これを用いて、 \begin{eqnarray} \beta_2\sim N(\beta_2, \hat{\sigma}^2(\text{X}_2^{\text{T}}\text{X}_2)^{-1}) \end{eqnarray} と書けることから、 \begin{eqnarray} \frac{\beta_2(\text{X}_2^{\text{T}}\text{X}_2)\beta_2}{\sigma^2}\sim \chi^2(q) \end{eqnarray} が得られる。これを用いて、 \begin{eqnarray} T&=& \frac{(R_0^2-R_1^2)/q}{R_1^2/(n-d-1)} \\ \\ &=& \frac{\beta_2^{\text{T} }(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\beta_2/q}{R_1^2/(n-d-1)} \\ \\ &=& \frac{\beta_2^{\text{T} }(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\beta_2/\hat{\sigma}^2q}{R_1^2/\hat{\sigma}^2(n-d-1)} \\ \\ &\sim& \frac{\chi^2(q)/q}{\chi^2(n-d-1)/(n-d-1)} \\ \\ &=& F(q,n-d-1) \end{eqnarray} となる。
要約すると、\(X\)と\(\beta\)を比較したい二つの部分1,2に分割し、 \begin{eqnarray} \text{X}=[X_1, X_2]\\ \beta^{\text{T} }=[\beta_1^{\text{T}},\beta_2^{\text{T}}] \end{eqnarray} とする。この時、\(X_2,\beta_2^{\text{T}}\)の列の数をqとする。
この時、 \begin{eqnarray} \frac{R_1^2}{\hat{\sigma}^2}\sim\chi^2(q) \end{eqnarray} となる。ここで、 \begin{eqnarray} &&(\text{X}^{\text{T}}\text{X})^{-1} \\ \\ &=& \left( \left( \begin{array}{cccc} \text{X}_1^{\text{T}} \\ \text{X}_2^{\text{T}}\\ \end{array} \right) (\text{X}_1,\text{X}_2)\right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} \text{X}_1^{\text{T}}\text{X}_1 &\text{X}_1^{\text{T}}\text{X}_2 \\ \text{X}_2^{\text{T}}\text{X}_1 &\text{X}_2^{\text{T}}\text{X}_2 \\ \end{array} \right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} (\text{X}_1^{\text{T}}\text{X}_1)^{-1} &(\text{X}_1^{\text{T}}\text{X}_2)^{-1} \\ (\text{X}_2^{\text{T}}\text{X}_1)^{-1} &(\text{X}_2^{\text{T}}\text{X}_2)^{-1} \\ \end{array} \right) \\ \\ \end{eqnarray} となる\((\text{X}_2^{\text{T}}\text{X}_2)^{-1}\)を導入すると、 \begin{eqnarray} R_0^2-R_1^2 &=& \beta_2^{\text{T} }(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\beta_2 \end{eqnarray} となる。これを用いて、 \begin{eqnarray} \beta_2\sim N(\beta_2, \hat{\sigma}^2(\text{X}_2^{\text{T}}\text{X}_2)^{-1}) \end{eqnarray} と書けることから、 \begin{eqnarray} \frac{\beta_2(\text{X}_2^{\text{T}}\text{X}_2)\beta_2}{\sigma^2}\sim \chi^2(q) \end{eqnarray} が得られる。これを用いて、 \begin{eqnarray} T&=& \frac{(R_0^2-R_1^2)/q}{R_1^2/(n-d-1)} \\ \\ &=& \frac{\beta_2^{\text{T} }(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\beta_2/q}{R_1^2/(n-d-1)} \\ \\ &=& \frac{\beta_2^{\text{T} }(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\beta_2/\hat{\sigma}^2q}{R_1^2/\hat{\sigma}^2(n-d-1)} \\ \\ &\sim& \frac{\chi^2(q)/q}{\chi^2(n-d-1)/(n-d-1)} \\ \\ &=& F(q,n-d-1) \end{eqnarray} となる。
ここでは、以下で示す\(\text{A}_{22}^{-1}\)を使うことで、
\begin{eqnarray}
\hat{\beta}_k^{\text{T} }\text{A}_{22}^{-1}\hat{\beta}_k=R_0^2-R_1^2
\end{eqnarray}
であることを示す。その後、
\begin{eqnarray} \frac{\hat{\beta}_k^{\text{T} }\text{A}_{22}^{-1}\hat{\beta}_k}{\hat{\sigma}^2}=\frac{\hat{\beta}_k^2}{\hat{\sigma}^2S^{k,k}/n} \end{eqnarray} であることを示す。 はじめに\(\text{X}\)の列を入れ替える。 \begin{eqnarray}\hat{\text{X}}&=& \left( \begin{array}{cccc} 1 & x_{1,1} & \ldots & x_{1,k-1} & x_{1,k+1} & \ldots & x_{1,d} & x_{1,k} \\ \vdots & & \ddots &\\ 1 & x_{n,1} & \ldots & x_{n,k-1} & x_{n,k+1} & \ldots & x_{n,d} & x_{n,k} \\ \end{array} \right) \end{eqnarray} として、 \begin{eqnarray} \hat{\text{X}}&=&[X_1,X_2] \\ \\ X_1&=& \left( \begin{array}{cccc} 1 & x_{1,1} & \ldots & x_{1,k-1} & x_{1,k+1} & \ldots & x_{1,d}\\ \vdots & & \ddots &\\ 1 & x_{n,1} & \ldots & x_{n,k-1} & x_{n,k+1} & \ldots & x_{n,d}\\ \end{array} \right) \\ \\ X_2&=& \left( \begin{array}{cccc} x_{1,k}\\ \vdots \\ x_{n,k}\\ \end{array} \right) \\ \\ \end{eqnarray} とする。また、\(\beta\)についても同様にして、 \begin{eqnarray} \beta^{\text{T}}&=&[\beta_1^{\text{T}},\beta_2^{\text{T}}] \\ \\ \beta_1^{\text{T}} &=& \left(\beta_0,\beta_1,\ldots,\beta_{k-1},\beta_{k+1},\ldots,\beta_d \right) \\ \\ \beta_2^{\text{T}} &=& \beta_k \end{eqnarray} とすることで、線形回帰モデルは \begin{eqnarray} \text{Y}=\text{X}_1\beta_1+\text{X}_2\beta_2 \end{eqnarray} と書くことができる。
ここで、\(\text{A}=(\hat{\text{X}}^{\text{T}}\hat{\text{X}})^{-1}\)を考える。 \begin{eqnarray} \text{A} &=& (\hat{\text{X} }^{\text{T} }\hat{\text{X} })^{-1} \\ \\ &=& \left( \left( \begin{array}{cccc} \text{X}_1^{\text{T}} \\ \text{X}_2^{\text{T}}\\ \end{array} \right) (\text{X}_1,\text{X}_2)\right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} \text{X}_1^{\text{T}}\text{X}_1 &\text{X}_1^{\text{T}}\text{X}_2 \\ \text{X}_2^{\text{T}}\text{X}_1 &\text{X}_2^{\text{T}}\text{X}_2 \\ \end{array} \right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} \text{A}_{11} &\text{A}_{12} \\ \text{A}_{21} &\text{A}_{22} \\ \end{array} \right) \end{eqnarray} とする。それぞれの成分は、「分割行列の逆行列」や「ブロック行列の逆行列」を参考にし(こちらの解説や、こちらのp.152、こちらのp.26)などを参考)、
\((\text{X}_2^{\text{T}}\text{X}_1)^{-1}=(\text{X}_1^{\text{T}}\text{X}_2)^{-1}\)のときに \begin{eqnarray} && \left( \begin{array}{cccc} \text{X}_{1}^{\text{T}}\text{X}_{1} &\text{X}_{1}^{\text{T}}\text{X}_{2} \\ \text{X}_{2}^{\text{T}}\text{X}_{1} &\text{X}_{2}^{\text{T}}\text{X}_{2} \\ \end{array} \right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} \text{A}_{11} &\text{A}_{12} \\ \text{A}_{21} &\text{A}_{22} \\ \end{array} \right) \\ \\ &=& \left( \begin{array}{cccc} (\text{X}_{1}^{\text{T}}\text{X}_{1}-\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1})^{-1}=\text{E}&-(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2}\text{F} \\ -(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E} & (\text{X}_{2}^{\text{T}}\text{X}_{2}-\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2})^{-1}=\text{F}\\ \end{array} \right)&...(1) \\ \\ &=& \left( \begin{array}{cccc} (\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}+(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2}\text{F}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1} &-\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1} \\ -\text{F}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1} & (\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}+(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\\ \end{array} \right)&...(2) \\ \\ \end{eqnarray} となる。(1)(2)は等価なのでどちらを用いても良い。また、逆に \begin{eqnarray} &&\hat{\text{X}}^{\text{T}}\hat{\text{X}} \\ \\ &=& \text{A}^{-1}\\ \\ &=& \left( \begin{array}{cccc} \text{A}_{11} &\text{A}_{12} \\ \text{A}_{21} &\text{A}_{22} \\ \end{array} \right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} (\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21})^{-1} & -(\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21})^{-1}\text{A}_{12}(\text{A}_{22})^{-1}\\ -(\text{A}_{22})^{-1}\text{A}_{21}(\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21})^{-1} & (\text{A}_{22})^{-1}+(\text{A}_{22})^{-1}\text{A}_{21}(\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21})^{-1}\text{A}_{21}(\text{A}_{22})^{-1}\\ \end{array} \right) \\ \\ &\Rightarrow& \text{X}_1^{\text{T}}\text{X}_1=(\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21})^{-1} \\ \\ &\Rightarrow& (\text{X}_1^{\text{T}}\text{X}_1)^{-1}=\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21} \\ \\ \end{eqnarray} も得られる。
線形モデルを考える際に\(\beta_2=0\)の検定であるため、\(\text{Y}=\text{X}_1\beta_1\)となることを鑑みると、 \begin{eqnarray} &&\text{Y}=\text{X}_1\beta_1 \\ \\ &\Leftrightarrow& \text{X}_1^{\text{T}}\text{Y}=\text{X}_1^{\text{T}}\text{X}_1\beta_1 \\ \\ &\Leftrightarrow& (\text{X}_1^{\text{T}}\text{X}_1)^{-1}\text{X}_1^{\text{T}}\text{Y}=\beta_1 \\ \\ \end{eqnarray} である。これを先ほどの式に代入し、 \begin{eqnarray} &&\text{Y}=\text{X}_1\beta_1+\text{X}_2\beta_2 \\ \\ &\Leftrightarrow& \text{Y}=\text{X}_1(\text{X}_1^{\text{T}}\text{X}_1)^{-1}\text{X}_1^{\text{T}}\text{Y}+\text{X}_2\beta_2 \\ \\ &\Leftrightarrow& \text{X}_2^{\text{T}}\text{Y}=\text{X}_2^{\text{T}}\text{X}_1(\text{X}_1^{\text{T}}\text{X}_1)^{-1}\text{X}_1^{\text{T}}\text{Y}+\text{X}_2^{\text{T}}\text{X}_2\beta_2 \\ \\ &\Leftrightarrow& (\text{X}_2^{\text{T}}\text{X}_2)^{-1}\text{X}_2^{\text{T}}\text{Y}=(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\text{X}_2^{\text{T}}\text{X}_1(\text{X}_1^{\text{T}}\text{X}_1)^{-1}\text{X}_1^{\text{T}}\text{Y}+\beta_2 \\ \\ &\Leftrightarrow& \beta_2=(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\text{X}_2^{\text{T}}\text{Y}-(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\text{X}_2^{\text{T}}\text{X}_1(\text{X}_1^{\text{T}}\text{X}_1)^{-1}\text{X}_1^{\text{T}}\text{Y} \\ \\ \end{eqnarray} が得られる。ここで\((A_{21}\text{X}_1^{\text{T}}+A_{22}\text{X}_2^{\text{T}})\text{Y}\)を計算すると、 \begin{eqnarray} &&(A_{21}\text{X}_1^{\text{T}}+A_{22}\text{X}_2^{\text{T}})\text{Y} &=& \beta_2 \\ \\ \end{eqnarray} が得られる。
ここで、 \begin{eqnarray} \hat{\text{T}}&=& \left( \begin{array}{cccc} \displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})^2&\displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})(x_{i,2}-\overline{x_{2}})&\ldots&\displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})(x_{i,d}-\overline{x_{d}})\\ \displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})(x_{i,1}-\overline{x_{1}})&\displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})^2&\ldots&\displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})(x_{i,d}-\overline{x_{d}})\\ \vdots&\ddots& \\ \displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})(x_{i,1}-\overline{x_{1}})&\displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})(x_{i,2}-\overline{x_{2}})&\ldots&\displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})^2\\ \end{array} \right)\\ \\ \end{eqnarray} としたとき、\(\text{A}_{22}\)は\((\text{X}^{\text{T}}\text{X})^{-1}\)の\((k+1,k+1)\)成分になり、さらに、\(\hat{\text{T} }^{-1}\)の\((k,k)\)成分となる。
ここで、文字を参考書と比較する。\(\boldsymbol{x}=(x_{i,1},x_{i,2},\ldots,x_{i,d})^{\text{T}}\)を用いると、 \begin{eqnarray} \hat{\text{T}} &=& \displaystyle\sum_{i=1}^n(\boldsymbol{x}-\overline{\boldsymbol{x}})(\boldsymbol{x}-\overline{\boldsymbol{x}})^{\text{T}} \\ \\ &=& \displaystyle\sum_{i=1}^n\left( \begin{array}{cccc} x_{i,1}-\overline{x}_{1} \\ x_{i,2}-\overline{x}_{2} \\ \vdots \\ x_{i,d}-\overline{x}_{d} \\ \end{array} \right)(x_{i,1}-\overline{x}_{1},\;x_{i,2}-\overline{x}_{2},\ldots,\;x_{i,d}-\overline{x}_{d}) \\ \\ &=& \displaystyle\sum_{i=1}^n\left( \begin{array}{cccc} (x_{i,1}-\overline{x}_{1})(x_{i,1}-\overline{x}_{1}) &(x_{i,1}-\overline{x}_{1})(x_{i,2}-\overline{x}_{2}) &\ldots &(x_{i,1}-\overline{x}_{1})(x_{i,1}-\overline{x}_{d})\\ (x_{i,2}-\overline{x}_{2})(x_{i,1}-\overline{x}_{1}) &(x_{i,2}-\overline{x}_{2})(x_{i,2}-\overline{x}_{2}) &\ldots& (x_{i,2}-\overline{x}_{2})(x_{i,2}-\overline{x}_{d}) \\ \vdots &\ddots &\\ (x_{i,d}-\overline{x}_{d})(x_{i,1}-\overline{x}_{1}) &(x_{i,d}-\overline{x}_{d})(x_{i,2}-\overline{x}_{2})&\ldots&(x_{i,d}-\overline{x}_{d})(x_{i,1}-\overline{x}_{d}) \\ \end{array} \right) \\ \\ \end{eqnarray} であるから、 \begin{eqnarray} \hat{\text{T}}^{-1}&=&(n\text{S})^{-1} \\ \\ &=& \frac{1}{n}\text{S}^{-1} \end{eqnarray} となる。\(\hat{\text{T}}^{-1}\)の\((k,k')\)成分、つまり\(\frac 1n\text{S}^{-1}\)の\((k,k')\)成分を\(S^{k,k'}\)と書ける((-1)は付随していないが、\(\text{S}\)の逆行列の成分を表す)。
\(\hat{\beta_k}^2/\text{A}_{22}\)を求めると、 \begin{eqnarray} &&\frac{\hat{\beta_k}^2}{\text{A}_{22}}\\ \\ &=& \frac{\hat{\beta}_k^2}{(\text{X}^{\text{T}}\text{X})^{-1}_{k+1,k+1} } \\ \\ &=& \frac{\hat{\beta}_k^2}{\hat{\text{T}}^{-1}_{k,k} } \\ \\ &=& \frac{\hat{\beta}_k^2}{\text{S}^{k,k}/n } \\ \\ \end{eqnarray} が得られる。p.130の\(\sigma^2\)の不偏推定量\(\hat{\sigma}^2=R_1^2/(n-d-1)\)より、 \begin{eqnarray} T&=& \frac{(R_0^2-R_1^2)/1}{R_1^2/(n-d-1)} \\ \\ &=& \frac{\hat{\beta}_k^2}{\text{S}^{k,k}/n}\frac{1}{\hat{\sigma}^2} \\ \\ &=& \frac{\hat{\beta}_k^2}{\hat{\sigma}^2 \text{S}^{k,k}/n}\\ \\ \end{eqnarray} が得られる。
\begin{eqnarray} \frac{\hat{\beta}_k^{\text{T} }\text{A}_{22}^{-1}\hat{\beta}_k}{\hat{\sigma}^2}=\frac{\hat{\beta}_k^2}{\hat{\sigma}^2S^{k,k}/n} \end{eqnarray} であることを示す。 はじめに\(\text{X}\)の列を入れ替える。 \begin{eqnarray}\hat{\text{X}}&=& \left( \begin{array}{cccc} 1 & x_{1,1} & \ldots & x_{1,k-1} & x_{1,k+1} & \ldots & x_{1,d} & x_{1,k} \\ \vdots & & \ddots &\\ 1 & x_{n,1} & \ldots & x_{n,k-1} & x_{n,k+1} & \ldots & x_{n,d} & x_{n,k} \\ \end{array} \right) \end{eqnarray} として、 \begin{eqnarray} \hat{\text{X}}&=&[X_1,X_2] \\ \\ X_1&=& \left( \begin{array}{cccc} 1 & x_{1,1} & \ldots & x_{1,k-1} & x_{1,k+1} & \ldots & x_{1,d}\\ \vdots & & \ddots &\\ 1 & x_{n,1} & \ldots & x_{n,k-1} & x_{n,k+1} & \ldots & x_{n,d}\\ \end{array} \right) \\ \\ X_2&=& \left( \begin{array}{cccc} x_{1,k}\\ \vdots \\ x_{n,k}\\ \end{array} \right) \\ \\ \end{eqnarray} とする。また、\(\beta\)についても同様にして、 \begin{eqnarray} \beta^{\text{T}}&=&[\beta_1^{\text{T}},\beta_2^{\text{T}}] \\ \\ \beta_1^{\text{T}} &=& \left(\beta_0,\beta_1,\ldots,\beta_{k-1},\beta_{k+1},\ldots,\beta_d \right) \\ \\ \beta_2^{\text{T}} &=& \beta_k \end{eqnarray} とすることで、線形回帰モデルは \begin{eqnarray} \text{Y}=\text{X}_1\beta_1+\text{X}_2\beta_2 \end{eqnarray} と書くことができる。
ここで、\(\text{A}=(\hat{\text{X}}^{\text{T}}\hat{\text{X}})^{-1}\)を考える。 \begin{eqnarray} \text{A} &=& (\hat{\text{X} }^{\text{T} }\hat{\text{X} })^{-1} \\ \\ &=& \left( \left( \begin{array}{cccc} \text{X}_1^{\text{T}} \\ \text{X}_2^{\text{T}}\\ \end{array} \right) (\text{X}_1,\text{X}_2)\right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} \text{X}_1^{\text{T}}\text{X}_1 &\text{X}_1^{\text{T}}\text{X}_2 \\ \text{X}_2^{\text{T}}\text{X}_1 &\text{X}_2^{\text{T}}\text{X}_2 \\ \end{array} \right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} \text{A}_{11} &\text{A}_{12} \\ \text{A}_{21} &\text{A}_{22} \\ \end{array} \right) \end{eqnarray} とする。それぞれの成分は、「分割行列の逆行列」や「ブロック行列の逆行列」を参考にし(こちらの解説や、こちらのp.152、こちらのp.26)などを参考)、
\((\text{X}_2^{\text{T}}\text{X}_1)^{-1}=(\text{X}_1^{\text{T}}\text{X}_2)^{-1}\)のときに \begin{eqnarray} && \left( \begin{array}{cccc} \text{X}_{1}^{\text{T}}\text{X}_{1} &\text{X}_{1}^{\text{T}}\text{X}_{2} \\ \text{X}_{2}^{\text{T}}\text{X}_{1} &\text{X}_{2}^{\text{T}}\text{X}_{2} \\ \end{array} \right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} \text{A}_{11} &\text{A}_{12} \\ \text{A}_{21} &\text{A}_{22} \\ \end{array} \right) \\ \\ &=& \left( \begin{array}{cccc} (\text{X}_{1}^{\text{T}}\text{X}_{1}-\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1})^{-1}=\text{E}&-(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2}\text{F} \\ -(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E} & (\text{X}_{2}^{\text{T}}\text{X}_{2}-\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2})^{-1}=\text{F}\\ \end{array} \right)&...(1) \\ \\ &=& \left( \begin{array}{cccc} (\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}+(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2}\text{F}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1} &-\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1} \\ -\text{F}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1} & (\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}+(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\\ \end{array} \right)&...(2) \\ \\ \end{eqnarray} となる。(1)(2)は等価なのでどちらを用いても良い。また、逆に \begin{eqnarray} &&\hat{\text{X}}^{\text{T}}\hat{\text{X}} \\ \\ &=& \text{A}^{-1}\\ \\ &=& \left( \begin{array}{cccc} \text{A}_{11} &\text{A}_{12} \\ \text{A}_{21} &\text{A}_{22} \\ \end{array} \right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} (\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21})^{-1} & -(\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21})^{-1}\text{A}_{12}(\text{A}_{22})^{-1}\\ -(\text{A}_{22})^{-1}\text{A}_{21}(\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21})^{-1} & (\text{A}_{22})^{-1}+(\text{A}_{22})^{-1}\text{A}_{21}(\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21})^{-1}\text{A}_{21}(\text{A}_{22})^{-1}\\ \end{array} \right) \\ \\ &\Rightarrow& \text{X}_1^{\text{T}}\text{X}_1=(\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21})^{-1} \\ \\ &\Rightarrow& (\text{X}_1^{\text{T}}\text{X}_1)^{-1}=\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21} \\ \\ \end{eqnarray} も得られる。
線形モデルを考える際に\(\beta_2=0\)の検定であるため、\(\text{Y}=\text{X}_1\beta_1\)となることを鑑みると、 \begin{eqnarray} &&\text{Y}=\text{X}_1\beta_1 \\ \\ &\Leftrightarrow& \text{X}_1^{\text{T}}\text{Y}=\text{X}_1^{\text{T}}\text{X}_1\beta_1 \\ \\ &\Leftrightarrow& (\text{X}_1^{\text{T}}\text{X}_1)^{-1}\text{X}_1^{\text{T}}\text{Y}=\beta_1 \\ \\ \end{eqnarray} である。これを先ほどの式に代入し、 \begin{eqnarray} &&\text{Y}=\text{X}_1\beta_1+\text{X}_2\beta_2 \\ \\ &\Leftrightarrow& \text{Y}=\text{X}_1(\text{X}_1^{\text{T}}\text{X}_1)^{-1}\text{X}_1^{\text{T}}\text{Y}+\text{X}_2\beta_2 \\ \\ &\Leftrightarrow& \text{X}_2^{\text{T}}\text{Y}=\text{X}_2^{\text{T}}\text{X}_1(\text{X}_1^{\text{T}}\text{X}_1)^{-1}\text{X}_1^{\text{T}}\text{Y}+\text{X}_2^{\text{T}}\text{X}_2\beta_2 \\ \\ &\Leftrightarrow& (\text{X}_2^{\text{T}}\text{X}_2)^{-1}\text{X}_2^{\text{T}}\text{Y}=(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\text{X}_2^{\text{T}}\text{X}_1(\text{X}_1^{\text{T}}\text{X}_1)^{-1}\text{X}_1^{\text{T}}\text{Y}+\beta_2 \\ \\ &\Leftrightarrow& \beta_2=(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\text{X}_2^{\text{T}}\text{Y}-(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\text{X}_2^{\text{T}}\text{X}_1(\text{X}_1^{\text{T}}\text{X}_1)^{-1}\text{X}_1^{\text{T}}\text{Y} \\ \\ \end{eqnarray} が得られる。ここで\((A_{21}\text{X}_1^{\text{T}}+A_{22}\text{X}_2^{\text{T}})\text{Y}\)を計算すると、 \begin{eqnarray} &&(A_{21}\text{X}_1^{\text{T}}+A_{22}\text{X}_2^{\text{T}})\text{Y} &=& \beta_2 \\ \\ \end{eqnarray} が得られる。
\begin{eqnarray}
&&(A_{21}\text{X}_1^{\text{T}}+A_{22}\text{X}_2^{\text{T}})\text{Y} \\ \\
&=&
((-((\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}+(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1})\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1})\text{X}_{1}^{\text{T}}+((\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}+(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1})\text{X}_2^{\text{T}})\text{Y} \\ \\
&=&
(-(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T} }-(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}+(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}+(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_2^{\text{T}})\text{Y} \\ \\
&=&
(-(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}+(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_2^{\text{T}})\text{Y}+((\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}-(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T} })\text{Y} \\ \\
&=&
(-(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}+(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_2^{\text{T}})\text{Y}+\beta_2 \\ \\
&=&
(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}(\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_2^{\text{T}}-\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}})\text{Y}+\beta_2 \\ \\
&=&
(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}(\text{X}_{1}^{\text{T}}\text{P}_{X_2}-\text{X}_{1}^{\text{T}}\text{P}_{X_2}\text{P}_{X_1})\text{Y}+\beta_2 \\ \\
&=&
(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}(\text{P}_{X_2}(\text{I}-\text{P}_{X_1}))\text{Y}+\beta_2 \\ \\
&=&
(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}M_{\perp X_1}\text{Y}+\beta_2 \\ \\
&=&
(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}0\text{Y}+\beta_2 \\ \\
&=&
\beta_2 \\ \\
\end{eqnarray}
が得られる。
また、\(\hat{\beta}_k^{\text{T} }\text{A}_{22}^{-1}\hat{\beta}_k\)を計算すると、 \begin{eqnarray} &&\hat{\beta}_k^{\text{T} }\text{A}_{22}^{-1}\hat{\beta}&=& R_0^2-R_1^2 \\ \\ \end{eqnarray} が得られる。
はじめに
\begin{eqnarray}
\text{A}_{12}^{\text{T}}
&=&
((\text{X}_1^{\text{T}}\text{X}_2)^{-1})^{\text{T}} \\ \\
&=&
((\text{X}_1^{\text{T}}\text{X}_2)^{\text{T}})^{-1} \\ \\
&=&
((\text{X}_2^{\text{T}}\text{X}_1))^{-1} \\ \\
&=&
\text{A}_{21}
\end{eqnarray}
が成り立つため。。これを用いる。
\begin{eqnarray}
&&\hat{\beta}_k^{\text{T} }\text{A}_{22}^{-1}\hat{\beta}_k\\ \\
&=&
((\text{A}_{21}\text{X}_1^{\text{T}}+\text{A}_{22}\text{X}_2^{\text{T}})\text{Y})^{\text{T} }\text{A}_{22}^{-1}((\text{A}_{21}\text{X}_1^{\text{T}}+\text{A}_{22}\text{X}_2^{\text{T}})\text{Y}) \\ \\
&=&
\text{Y}^{\text{T} }(\text{A}_{21}\text{X}_1^{\text{T}}+\text{A}_{22}\text{X}_2^{\text{T}})^{\text{T} }\text{A}_{22}^{-1}((\text{A}_{21}\text{X}_1^{\text{T}}+\text{A}_{22}\text{X}_2^{\text{T}})\text{Y}) \\ \\
&=&
\text{Y}^{\text{T} }(\text{X}_1\text{A}_{21}^{\text{T}}+\text{X}_2\text{A}_{22}^{\text{T}})\text{A}_{22}^{-1}((\text{A}_{21}\text{X}_1^{\text{T}}+\text{A}_{22}\text{X}_2^{\text{T}})\text{Y}) \\ \\
&=&
\text{Y}^{\text{T} }(\text{X}_1\text{A}_{21}^{\text{T}}\text{A}_{22}^{-1}\text{A}_{21}\text{X}_1^{\text{T}}+\text{X}_1\text{A}_{21}^{\text{T}}\text{A}_{22}^{-1}\text{A}_{22}\text{X}_2^{\text{T}}+\text{X}_2\text{A}_{22}^{\text{T}}\text{A}_{22}^{-1}\text{A}_{21}\text{X}_1^{\text{T}}+\text{X}_2\text{A}_{22}^{\text{T}}\text{A}_{22}^{-1}\text{A}_{22}\text{X}_2^{\text{T}})\text{Y}) \\ \\
&=&
\text{Y}^{\text{T} }(\text{X}_1\text{A}_{12}\text{A}_{22}^{-1}\text{A}_{21}\text{X}_1^{\text{T}}+\text{X}_1\text{A}_{12}\text{X}_2^{\text{T}}+\text{X}_2\text{A}_{21}\text{X}_1^{\text{T}}+\text{X}_2\text{A}_{22}^{\text{T}}\text{X}_2^{\text{T}})\text{Y})& \\ \\
&=&
\text{Y}^{\text{T} }(\text{X}_1(\text{A}_{11}-(\text{X}_1^{\text{T}}\text{X}_1)^{-1})\text{X}_1^{\text{T}}+\text{X}_1\text{A}_{12}\text{X}_2^{\text{T}}+\text{X}_2\text{A}_{21}\text{X}_1^{\text{T}}+\text{X}_2\text{A}_{22}\text{X}_2^{\text{T}})\text{Y}) &...\text{A}_{22}^{\text{T}}=\text{A}_{22}\\ \\
&=&
\text{Y}^{\text{T} }(-\text{P}_{\text{X}_1}+\text{X}_1\text{A}_{11}\text{X}_1^{\text{T}}+\text{X}_1\text{A}_{12}\text{X}_2^{\text{T}}+\text{X}_2\text{A}_{21}\text{X}_1^{\text{T}}+\text{X}_2\text{A}_{22}\text{X}_2^{\text{T}})\text{Y}) \\ \\
&=&
\text{Y}^{\text{T} }(-\text{P}_{\text{X}_1}+(\text{X}_1,\;\text{X}_2 )
\left(
\begin{array}{cccc}
\text{A}_{11} &\text{A}_{12} \\
\text{A}_{21} &\text{A}_{22} \\
\end{array}
\right)\left(
\begin{array}{cccc}
\text{X}_1^{\text{T}} \\
\text{X}_2^{\text{T}} \\
\end{array}
\right))\text{Y} \\ \\
&=&
\text{Y}^{\text{T} }(-\text{P}_{\text{X}_1}+\hat{\text{X}}\text{A}\hat{\text{X}}^{\text{T}})\text{Y} \\ \\
&=&
\text{Y}^{\text{T} }(\text{I}-\text{P}_{\text{X}_1}-(\text{I}-\hat{\text{X}}\text{A}\hat{\text{X}}^{\text{T} }))\text{Y} \\ \\
&=&
\text{Y}^{\text{T} }(\text{I}-\text{P}_{\text{X}_1})\text{Y}-\text{Y}^{\text{T} }(\text{I}-\hat{\text{X}}\text{A}\hat{\text{X}}^{\text{T} })\text{Y} \\ \\
&=&
\text{Y}^{\text{T} }(\text{I}-\text{P}_{\text{X}_1})\text{Y}-\text{Y}^{\text{T} }(\text{I}-\hat{\text{X}}(\hat{\text{X}}^{\text{T} }\hat{\text{X}})^{-1}\hat{\text{X}}^{\text{T} })\text{Y} \\ \\
&=&
\text{Y}^{\text{T} }(\text{I}-\text{P}_{\text{X}_1})\text{Y}-\text{Y}^{\text{T} }(\text{I}-\text{P}_{\hat{\text{X} } })\text{Y} \\ \\
&=&
\text{Y}^{\text{T} }(\text{I}-\text{P}_{\text{X}_1})(\text{I}-\text{P}_{\text{X}_1})\text{Y}-\text{Y}^{\text{T} }(\text{I}-\text{P}_{\hat{\text{X} } })(\text{I}-\text{P}_{\hat{\text{X} } })\text{Y} \\ \\
&=&
\|(\text{I}-\text{P}_{\text{X}_1})\text{Y}\|^2-\|(\text{I}-\text{P}_{\hat{\text{X} } })\text{Y}\|^2 \\ \\
&=&
\|\text{Y}-\text{X}_1\beta_1\|^2-\|\text{Y}-\hat{\text{X}}\beta\|^2 \\ \\
&=&
R_0^2-R_1^2 \\ \\
\end{eqnarray}
が得られる。
従って、p.129の下部を用いて、検定量\(T\)は
\begin{eqnarray}
T&=&\frac{(R_0^2-R_1^2)/q}{R_1^2/(n-d-1)}\\ \\
&=&
\frac{\hat{\beta}_k^{\text{T}}A_{22}^{-1}\hat{\beta}_k/1}{R_1^2/(n-d-1)}
\end{eqnarray}
を計算すればよいことがわかる。
一方で、\(\hat{\beta}_k,A_{22}\)がスカラーであることを利用して\(\hat{\beta}_k^{\text{T} }\text{A}_{22}^{-1}\hat{\beta}_k\)を計算すると、 \begin{eqnarray} &&\hat{\beta}_k^{\text{T} }\text{A}_{22}^{-1}\hat{\beta}_k\\ \\ &=& \hat{\beta}_k^2\text{A}_{22}^{-1} &...\beta_kはスカラーであるため。\\ \\ &=& \frac{\hat{\beta}_k^2}{\text{A}_{22}} \\ \\ \end{eqnarray} が得られる。ここで、\(\text{A}_{22}\)は、行列 \begin{eqnarray} (\hat{\text{X}}^{\text{T}}\hat{\text{X}})^{-1} &=& \left( \begin{array}{cccc} \text{X}_1^{\text{T}}\text{X}_1&\text{X}_1^{\text{T}}\text{X}_2 \\ \text{X}_2^{\text{T}}\text{X}_1&\text{X}_2^{\text{T}}\text{X}_2 \\ \end{array} \right)^{-1} \end{eqnarray} の右下の成分である。 ここで、\(\hat{\text{X}}\)の列成分について、 \begin{eqnarray} \text{X}= \left( \begin{array}{cccc} 1&\ldots&x_{1,k-1}&x_{1,k}&x_{1,k+1}&\ldots&x_{1,d} \\ \vdots \\ 1&\ldots&x_{n,k-1}&x_{n,k}&x_{n,k+1}&\ldots&x_{n,d} \\ \end{array} \right) \end{eqnarray} と、元の位置に戻す。この時、行列 \begin{eqnarray} \left( \begin{array}{cccc} \text{X}_1^{\text{T}}\text{X}_1&\text{X}_1^{\text{T}}\text{X}_2 \\ \text{X}_2^{\text{T}}\text{X}_1&\text{X}_2^{\text{T}}\text{X}_2 \\ \end{array} \right)^{-1} \end{eqnarray} の右下の成分は、行列 \begin{eqnarray} (\text{X}^{\text{T}}\text{X})^{-1} \end{eqnarray} の\( (k+1,k+1) \)成分と等しくなる。そのため、\(\text{A}_{22}\)を求めるときは、\((\text{X}^{\text{T}}\text{X})^{-1}\)の\((k+1,k+1)\)成分を求める。
ここで、 \begin{eqnarray} \text{Z}_1&=& \left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \\ \end{array} \right)\\ \\ \text{Z}_2&=& \left( \begin{array}{cccc} x_{1,1}&x_{1,2}&\ldots&x_{1,d} \\ x_{2,1}&x_{2,2}&\ldots&x_{2,d} \\ \vdots \\ x_{n,1}&x_{n,2}&\ldots&x_{n,d} \\ \end{array} \right)\\ \\ \text{X}&=&[\text{Z}_1,\text{Z}_2] \end{eqnarray} とする。この条件下で\((\text{X}^{\text{T}}\text{X})^{-1}\)を考えると、 \begin{eqnarray} (\text{X}^{\text{T}}\text{X})^{-1} &=& \left( \begin{array}{cccc} \text{Z}_1^{\text{T}}\text{Z}_1&\text{Z}_1^{\text{T}}\text{Z}_2 \\ \text{Z}_2^{\text{T}}\text{Z}_1&\text{Z}_2^{\text{T}}\text{Z}_2 \\ \end{array} \right)^{-1} &=& \left( \begin{array}{cccc} \text{E}&-(\text{Z}_{1}^{\text{T}}\text{Z}_{1})^{-1}\text{Z}_{1}^{\text{T}}\text{Z}_{2}\text{F} \\ -(\text{Z}_{2}^{\text{T}}\text{Z}_{2})^{-1}\text{Z}_{2}^{\text{T}}\text{Z}_{1}\text{E} & (\text{Z}_{2}^{\text{T}}\text{Z}_{2}-\text{Z}_{2}^{\text{T}}\text{Z}_{1}(\text{Z}_{1}^{\text{T}}\text{Z}_{1})^{-1}\text{Z}_{1}^{\text{T}}\text{Z}_{2})^{-1}=\text{F}\\ \end{array} \right)&...(1)より \\ \\ \end{eqnarray} が得られる。この中の右下の成分\(F\)を計算すると、 \begin{eqnarray} \text{F} &=& \left( \begin{array}{cccc} \displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})^2&\displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})(x_{i,2}-\overline{x_{2}})&\ldots&\displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})(x_{i,d}-\overline{x_{d}})\\ \displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})(x_{i,1}-\overline{x_{1}})&\displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})^2&\ldots&\displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})(x_{i,d}-\overline{x_{d}})\\ \vdots&\ddots& \\ \displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})(x_{i,1}-\overline{x_{1}})&\displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})(x_{i,2}-\overline{x_{2}})&\ldots&\displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})^2\\ \end{array} \right)^{-1} \end{eqnarray} が得られる。
\begin{eqnarray}
\text{F}
&=&
(\text{Z}_{2}^{\text{T}}\text{Z}_{2}-\text{Z}_{2}^{\text{T}}\text{Z}_{1}(\text{Z}_{1}^{\text{T}}\text{Z}_{1})^{-1}\text{Z}_{1}^{\text{T}}\text{Z}_{2})^{-1} \\ \\
&=&
(\text{Z}_{2}^{\text{T}}\left(\text{I}-\text{Z}_{1}(\text{Z}_{1}^{\text{T}}\text{Z}_{1})^{-1}\text{Z}_{1}^{\text{T}}\right)\text{Z}_{2})^{-1} \\ \\
&=&
(\text{Z}_{2}^{\text{T}}\left(\text{I}-\text{P}_{\text{Z}_1}\right)\text{Z}_{2})^{-1} \\ \\
&=&
(\text{Z}_{2}^{\text{T}}\left(\text{I}-\text{P}_{\text{Z}_1}\right)\left(\text{I}-\text{P}_{\text{Z}_1}\right)\text{Z}_{2})^{-1} \\ \\
&=&
(\text{Z}_{2}^{\text{T}}\left(\text{I}-\text{P}_{\text{Z}_1}\right)^{\text{T} }\left(\text{I}-\text{P}_{\text{Z}_1}\right)\text{Z}_{2})^{-1} \\ \\
&=&
(\left(\left(\text{I}-\text{P}_{\text{Z}_1}\right)\text{Z}_{2}\right)^2)^{-1} \\ \\
&=&
(\left(\text{Z}_{2}-\text{P}_{\text{Z}_1}\text{Z}_{2}\right)^2)^{-1} \\ \\
&=&
(\left(\text{Z}_{2}-
\left(
\begin{array}{cccc}
1\\
1\\
\vdots \\
1
\end{array}
\right)
((1, 1, \ldots,1)
\left(
\begin{array}{cccc}
1\\
1\\
\vdots \\
1
\end{array}
\right))^{-1}
(1, 1, \ldots,1)
\left(
\begin{array}{cccc}
x_{1,1}&x_{1,2}&\ldots&x_{1,d} \\
x_{2,1}&x_{2,2}&\ldots&x_{2,d} \\
\vdots \\
x_{n,1}&x_{n,2}&\ldots&x_{n,d} \\
\end{array}
\right)\right)^2)^{-1} \\ \\
&=&
(\left(\text{Z}_{2}-
\left(
\begin{array}{cccc}
1\\
1\\
\vdots \\
1
\end{array}
\right)
(n)^{-1}
(\displaystyle\sum_{i=1}^n x_{i,1}, \displaystyle\sum_{i=1}^n x_{i,2}, \ldots,\displaystyle\sum_{i=1}^n x_{i,d})
\right)^2)^{-1} \\ \\
&=&
( \left(\text{Z}_{2}-
\left(
\begin{array}{cccc}
1\\
1\\
\vdots \\
1
\end{array}
\right)
\overline{\boldsymbol{Z} }^{\text{T} }
\right)^2 )^{-1} \\ \\
&=&
( \left(\text{Z}_{2}-
\left(
\begin{array}{cccc}
1\\
1\\
\vdots \\
1
\end{array}
\right)
(\overline{x_{1}},\overline{x_{2}},\ldots,\overline{x_{d}})
\right)^2 )^{-1} \\ \\
&=&
( \left(\text{Z}_{2}-
\left(
\begin{array}{cccc}
\overline{x_{1}}&\overline{x_{2}}&\ldots&\overline{x_{d}}\\
\overline{x_{1}}&\overline{x_{2}}&\ldots&\overline{x_{d}}\\
\vdots \\
\overline{x_{1}}&\overline{x_{2}}&\ldots&\overline{x_{d}}\\
\end{array}
\right)
\right)^2 )^{-1} \\ \\
&=&
(
\left(
\begin{array}{cccc}
x_{1,1}-\overline{x_{1}}&x_{1,2}-\overline{x_{2}}&\ldots&x_{1,d}-\overline{x_{d}}\\
x_{2,1}-\overline{x_{1}}&x_{2,2}-\overline{x_{2}}&\ldots&x_{2,d}-\overline{x_{d}}\\
\vdots \\
x_{n,1}-\overline{x_{1}}&x_{n,2}-\overline{x_{2}}&\ldots&x_{n,d}-\overline{x_{d}}\\
\end{array}
\right)^2 )^{-1} \\ \\
&=&
\left(
\begin{array}{cccc}
\displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})^2&\displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})(x_{i,2}-\overline{x_{2}})&\ldots&\displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})(x_{i,d}-\overline{x_{d}})\\
\displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})(x_{i,1}-\overline{x_{1}})&\displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})^2&\ldots&\displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})(x_{i,d}-\overline{x_{d}})\\
\vdots&\ddots& \\
\displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})(x_{i,1}-\overline{x_{1}})&\displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})(x_{i,2}-\overline{x_{2}})&\ldots&\displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})^2\\
\end{array}
\right)^{-1}
\end{eqnarray}
ここで、 \begin{eqnarray} \hat{\text{T}}&=& \left( \begin{array}{cccc} \displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})^2&\displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})(x_{i,2}-\overline{x_{2}})&\ldots&\displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})(x_{i,d}-\overline{x_{d}})\\ \displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})(x_{i,1}-\overline{x_{1}})&\displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})^2&\ldots&\displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})(x_{i,d}-\overline{x_{d}})\\ \vdots&\ddots& \\ \displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})(x_{i,1}-\overline{x_{1}})&\displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})(x_{i,2}-\overline{x_{2}})&\ldots&\displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})^2\\ \end{array} \right)\\ \\ \end{eqnarray} としたとき、\(\text{A}_{22}\)は\((\text{X}^{\text{T}}\text{X})^{-1}\)の\((k+1,k+1)\)成分になり、さらに、\(\hat{\text{T} }^{-1}\)の\((k,k)\)成分となる。
ここで、文字を参考書と比較する。\(\boldsymbol{x}=(x_{i,1},x_{i,2},\ldots,x_{i,d})^{\text{T}}\)を用いると、 \begin{eqnarray} \hat{\text{T}} &=& \displaystyle\sum_{i=1}^n(\boldsymbol{x}-\overline{\boldsymbol{x}})(\boldsymbol{x}-\overline{\boldsymbol{x}})^{\text{T}} \\ \\ &=& \displaystyle\sum_{i=1}^n\left( \begin{array}{cccc} x_{i,1}-\overline{x}_{1} \\ x_{i,2}-\overline{x}_{2} \\ \vdots \\ x_{i,d}-\overline{x}_{d} \\ \end{array} \right)(x_{i,1}-\overline{x}_{1},\;x_{i,2}-\overline{x}_{2},\ldots,\;x_{i,d}-\overline{x}_{d}) \\ \\ &=& \displaystyle\sum_{i=1}^n\left( \begin{array}{cccc} (x_{i,1}-\overline{x}_{1})(x_{i,1}-\overline{x}_{1}) &(x_{i,1}-\overline{x}_{1})(x_{i,2}-\overline{x}_{2}) &\ldots &(x_{i,1}-\overline{x}_{1})(x_{i,1}-\overline{x}_{d})\\ (x_{i,2}-\overline{x}_{2})(x_{i,1}-\overline{x}_{1}) &(x_{i,2}-\overline{x}_{2})(x_{i,2}-\overline{x}_{2}) &\ldots& (x_{i,2}-\overline{x}_{2})(x_{i,2}-\overline{x}_{d}) \\ \vdots &\ddots &\\ (x_{i,d}-\overline{x}_{d})(x_{i,1}-\overline{x}_{1}) &(x_{i,d}-\overline{x}_{d})(x_{i,2}-\overline{x}_{2})&\ldots&(x_{i,d}-\overline{x}_{d})(x_{i,1}-\overline{x}_{d}) \\ \end{array} \right) \\ \\ \end{eqnarray} であるから、 \begin{eqnarray} \hat{\text{T}}^{-1}&=&(n\text{S})^{-1} \\ \\ &=& \frac{1}{n}\text{S}^{-1} \end{eqnarray} となる。\(\hat{\text{T}}^{-1}\)の\((k,k')\)成分、つまり\(\frac 1n\text{S}^{-1}\)の\((k,k')\)成分を\(S^{k,k'}\)と書ける((-1)は付随していないが、\(\text{S}\)の逆行列の成分を表す)。
\(\hat{\beta_k}^2/\text{A}_{22}\)を求めると、 \begin{eqnarray} &&\frac{\hat{\beta_k}^2}{\text{A}_{22}}\\ \\ &=& \frac{\hat{\beta}_k^2}{(\text{X}^{\text{T}}\text{X})^{-1}_{k+1,k+1} } \\ \\ &=& \frac{\hat{\beta}_k^2}{\hat{\text{T}}^{-1}_{k,k} } \\ \\ &=& \frac{\hat{\beta}_k^2}{\text{S}^{k,k}/n } \\ \\ \end{eqnarray} が得られる。p.130の\(\sigma^2\)の不偏推定量\(\hat{\sigma}^2=R_1^2/(n-d-1)\)より、 \begin{eqnarray} T&=& \frac{(R_0^2-R_1^2)/1}{R_1^2/(n-d-1)} \\ \\ &=& \frac{\hat{\beta}_k^2}{\text{S}^{k,k}/n}\frac{1}{\hat{\sigma}^2} \\ \\ &=& \frac{\hat{\beta}_k^2}{\hat{\sigma}^2 \text{S}^{k,k}/n}\\ \\ \end{eqnarray} が得られる。
内容について一名に議論していただいた。Zennリンク
上記の\(\beta_k=0\)における議論において、\(\text{X}^{\text{T}}\text{X}\)の\((1,1)\)成分を求める。 \begin{eqnarray} \text{X}_1&=& \left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \\ \end{array} \right)\\ \\ \text{X}_2&=& \left( \begin{array}{cccc} x_{1,1}&x_{1,2}&\ldots&x_{1,d} \\ x_{2,1}&x_{2,2}&\ldots&x_{2,d} \\ \vdots \\ x_{n,1}&x_{n,2}&\ldots&x_{n,d} \\ \end{array} \right)\\ \\ \text{X}&=&[\text{X}_1,\text{X}_2] \end{eqnarray} として\((\text{X}^{\text{T}}\text{X})^{-1}\)を考えると、 \begin{eqnarray} (\text{X}^{\text{T}}\text{X})^{-1} &=& \left( \begin{array}{cccc} \text{X}_1^{\text{T}}\text{X}_1&\text{X}_1^{\text{T}}\text{X}_2 \\ \text{X}_2^{\text{T}}\text{X}_1&\text{X}_2^{\text{T}}\text{X}_2 \\ \end{array} \right)^{-1} &=& \left( \begin{array}{cccc} (\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}+(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2}\text{F}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1} &-\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1} \\ -\text{F}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1} & (\text{X}_{2}^{\text{T}}\text{X}_{2}-\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2}=\text{F}\\ \end{array} \right)&...(1)(2)より \\ \\ \end{eqnarray} ここで、\(\text{X}^{\text{T}}\text{X}\)の\((1,1)\)成分を求める。 \begin{eqnarray} &&(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}+(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2}\text{F}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1} \\ \\ &=& ((1,1,\ldots,1) \left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \\ \end{array} \right))^{-1}+((1,1,\ldots,1)\left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \\ \end{array} \right))^{-1}(1,1,\ldots,1)\left( \begin{array}{cccc} x_{1,1}&x_{1,2}&\ldots&x_{1,d} \\ x_{2,1}&x_{2,2}&\ldots&x_{2,d} \\ \vdots \\ x_{n,1}&x_{n,2}&\ldots&x_{n,d} \\ \end{array} \right)\text{F}\left( \begin{array}{cccc} x_{1,1}&x_{2,1}&\ldots&x_{n,1} \\ x_{1,2}&x_{2,2}&\ldots&x_{n,2} \\ \vdots \\ x_{1,d}&x_{2,d}&\ldots&x_{n,d} \\ \end{array} \right)\left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \\ \end{array} \right)((1,1,\ldots,1)\left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \\ \end{array} \right))^{-1} \\ \\ &=& n^{-1}+n^{-1} (\displaystyle\sum_{i=1}^nx_{i,1},\displaystyle\sum_{i=1}^nx_{i,2},\ldots,\displaystyle\sum_{i=1}^nx_{i,d})\text{F}\left( \begin{array}{cccc} \displaystyle\sum_{i=1}^nx_{i,1} \\ \displaystyle\sum_{i=1}^nx_{i,2} \\ \vdots \\ \displaystyle\sum_{i=1}^nx_{i,d} \\ \end{array} \right)n^{-1} \\ \\ &=& n^{-1}+ (\overline{x}_1,\overline{x}_2,\ldots,\overline{x}_d)\hat{\text{T} }^{-1}\left( \begin{array}{cccc} \overline{x}_1 \\ \overline{x}_2 \\ \vdots \\ \overline{x}_d \\ \end{array} \right) \\ \\ &=& n^{-1}+ (\overline{x}_1,\overline{x}_2,\ldots,\overline{x}_d)\frac 1n\text{S}^{-1} \left( \begin{array}{cccc} \overline{x}_1 \\ \overline{x}_2 \\ \vdots \\ \overline{x}_d \\ \end{array} \right) \\ \\ &=& \frac{1}{n}\left(1+ (\overline{x}_1,\overline{x}_2,\ldots,\overline{x}_d)\text{S}^{-1} \left( \begin{array}{cccc} \overline{x}_1 \\ \overline{x}_2 \\ \vdots \\ \overline{x}_d \\ \end{array} \right)\right) \\ \\ &=& \frac{1}{n}\left(1+ (\displaystyle\sum_{k=1}^d \overline{x}_{k}\text{S}^{k1},\displaystyle\sum_{k=1}^d\overline{x}_{k}\text{S}^{k2},\ldots,\displaystyle\sum_{k=1}^d\overline{x}_{k}\text{S}^{kd}) \left( \begin{array}{cccc} \overline{x}_{1} \\ \overline{x}_{2} \\ \vdots \\ \overline{x}_{d} \\ \end{array} \right)\right) \\ \\ &=& \frac{1}{n}\left(1+ (\displaystyle\sum_{k=1}^d \overline{x}_{k}\text{S}^{k1}\overline{x}_{1}+\displaystyle\sum_{k=1}^d\overline{x}_{k}\text{S}^{k2}\overline{x}_{2}+\ldots+\displaystyle\sum_{k=1}^d\overline{x}_{k}\text{S}^{kd}\overline{x}_{d}) \right) \\ \\ &=& \frac{1}{n}\left(1+ \displaystyle\sum_{k,k'=1}^d \overline{x}_{k}\text{S}^{kk'}\overline{x}_{k'} \right) \\ \\ \end{eqnarray} が得られる。 そのため、 \begin{eqnarray} \frac{\hat{\beta}_0^2}{A_{22}} &=& \frac{\hat{\beta}_0^2}{\left(1+ \displaystyle\sum_{k,k'=1}^d \overline{x}_{k}\text{S}^{kk'}\overline{x}_{k'}\right)/n}\\ \\ \end{eqnarray} が得られる。これを用いて\(T\)を求めると、 \begin{eqnarray} T&=& \frac{(R_0^2-R_1^2)}{R_1/(n-d-1)} \\ \\ &=& \frac{\beta_0^2/\text{A }_{22} }{R_1^2/(n-d-1)} \\ \\ &=& \frac{\hat{\beta}_0^2}{\hat{\sigma}^2\left(1+ \displaystyle\sum_{k,k'=1}^d \overline{x}_{k}\text{S}^{kk'}\overline{x}_{k'}\right)/n} \\ \\ \end{eqnarray} が得られる。
上記の\(\beta_k=0\)における議論において、\(\text{X}^{\text{T}}\text{X}\)の\((1,1)\)成分を求める。 \begin{eqnarray} \text{X}_1&=& \left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \\ \end{array} \right)\\ \\ \text{X}_2&=& \left( \begin{array}{cccc} x_{1,1}&x_{1,2}&\ldots&x_{1,d} \\ x_{2,1}&x_{2,2}&\ldots&x_{2,d} \\ \vdots \\ x_{n,1}&x_{n,2}&\ldots&x_{n,d} \\ \end{array} \right)\\ \\ \text{X}&=&[\text{X}_1,\text{X}_2] \end{eqnarray} として\((\text{X}^{\text{T}}\text{X})^{-1}\)を考えると、 \begin{eqnarray} (\text{X}^{\text{T}}\text{X})^{-1} &=& \left( \begin{array}{cccc} \text{X}_1^{\text{T}}\text{X}_1&\text{X}_1^{\text{T}}\text{X}_2 \\ \text{X}_2^{\text{T}}\text{X}_1&\text{X}_2^{\text{T}}\text{X}_2 \\ \end{array} \right)^{-1} &=& \left( \begin{array}{cccc} (\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}+(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2}\text{F}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1} &-\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1} \\ -\text{F}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1} & (\text{X}_{2}^{\text{T}}\text{X}_{2}-\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2}=\text{F}\\ \end{array} \right)&...(1)(2)より \\ \\ \end{eqnarray} ここで、\(\text{X}^{\text{T}}\text{X}\)の\((1,1)\)成分を求める。 \begin{eqnarray} &&(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}+(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2}\text{F}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1} \\ \\ &=& ((1,1,\ldots,1) \left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \\ \end{array} \right))^{-1}+((1,1,\ldots,1)\left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \\ \end{array} \right))^{-1}(1,1,\ldots,1)\left( \begin{array}{cccc} x_{1,1}&x_{1,2}&\ldots&x_{1,d} \\ x_{2,1}&x_{2,2}&\ldots&x_{2,d} \\ \vdots \\ x_{n,1}&x_{n,2}&\ldots&x_{n,d} \\ \end{array} \right)\text{F}\left( \begin{array}{cccc} x_{1,1}&x_{2,1}&\ldots&x_{n,1} \\ x_{1,2}&x_{2,2}&\ldots&x_{n,2} \\ \vdots \\ x_{1,d}&x_{2,d}&\ldots&x_{n,d} \\ \end{array} \right)\left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \\ \end{array} \right)((1,1,\ldots,1)\left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \\ \end{array} \right))^{-1} \\ \\ &=& n^{-1}+n^{-1} (\displaystyle\sum_{i=1}^nx_{i,1},\displaystyle\sum_{i=1}^nx_{i,2},\ldots,\displaystyle\sum_{i=1}^nx_{i,d})\text{F}\left( \begin{array}{cccc} \displaystyle\sum_{i=1}^nx_{i,1} \\ \displaystyle\sum_{i=1}^nx_{i,2} \\ \vdots \\ \displaystyle\sum_{i=1}^nx_{i,d} \\ \end{array} \right)n^{-1} \\ \\ &=& n^{-1}+ (\overline{x}_1,\overline{x}_2,\ldots,\overline{x}_d)\hat{\text{T} }^{-1}\left( \begin{array}{cccc} \overline{x}_1 \\ \overline{x}_2 \\ \vdots \\ \overline{x}_d \\ \end{array} \right) \\ \\ &=& n^{-1}+ (\overline{x}_1,\overline{x}_2,\ldots,\overline{x}_d)\frac 1n\text{S}^{-1} \left( \begin{array}{cccc} \overline{x}_1 \\ \overline{x}_2 \\ \vdots \\ \overline{x}_d \\ \end{array} \right) \\ \\ &=& \frac{1}{n}\left(1+ (\overline{x}_1,\overline{x}_2,\ldots,\overline{x}_d)\text{S}^{-1} \left( \begin{array}{cccc} \overline{x}_1 \\ \overline{x}_2 \\ \vdots \\ \overline{x}_d \\ \end{array} \right)\right) \\ \\ &=& \frac{1}{n}\left(1+ (\displaystyle\sum_{k=1}^d \overline{x}_{k}\text{S}^{k1},\displaystyle\sum_{k=1}^d\overline{x}_{k}\text{S}^{k2},\ldots,\displaystyle\sum_{k=1}^d\overline{x}_{k}\text{S}^{kd}) \left( \begin{array}{cccc} \overline{x}_{1} \\ \overline{x}_{2} \\ \vdots \\ \overline{x}_{d} \\ \end{array} \right)\right) \\ \\ &=& \frac{1}{n}\left(1+ (\displaystyle\sum_{k=1}^d \overline{x}_{k}\text{S}^{k1}\overline{x}_{1}+\displaystyle\sum_{k=1}^d\overline{x}_{k}\text{S}^{k2}\overline{x}_{2}+\ldots+\displaystyle\sum_{k=1}^d\overline{x}_{k}\text{S}^{kd}\overline{x}_{d}) \right) \\ \\ &=& \frac{1}{n}\left(1+ \displaystyle\sum_{k,k'=1}^d \overline{x}_{k}\text{S}^{kk'}\overline{x}_{k'} \right) \\ \\ \end{eqnarray} が得られる。 そのため、 \begin{eqnarray} \frac{\hat{\beta}_0^2}{A_{22}} &=& \frac{\hat{\beta}_0^2}{\left(1+ \displaystyle\sum_{k,k'=1}^d \overline{x}_{k}\text{S}^{kk'}\overline{x}_{k'}\right)/n}\\ \\ \end{eqnarray} が得られる。これを用いて\(T\)を求めると、 \begin{eqnarray} T&=& \frac{(R_0^2-R_1^2)}{R_1/(n-d-1)} \\ \\ &=& \frac{\beta_0^2/\text{A }_{22} }{R_1^2/(n-d-1)} \\ \\ &=& \frac{\hat{\beta}_0^2}{\hat{\sigma}^2\left(1+ \displaystyle\sum_{k,k'=1}^d \overline{x}_{k}\text{S}^{kk'}\overline{x}_{k'}\right)/n} \\ \\ \end{eqnarray} が得られる。
\(R_0^2\)の導出において、\(\beta_0\)のみが値を持ち、上記の議論から、\(\rm{X}, \boldsymbol{\beta}\)は、
\begin{eqnarray}
\boldsymbol{\beta}&=&\beta_0 \\ \\
\rm{X}&=&\left(
\begin{array}{cccc}
1 \\
1 \\
\vdots \\
1
\end{array}
\right)=\rm{X}_1
\end{eqnarray}
と書き直せる。\(P_{X_1}=\rm{X_1(X_1^TX_1)^{-1}X_1^T }\)を求める。
\begin{eqnarray}
\rm{X_1^TX_1}
&=&
(1,\;1,\;\ldots,1)\left(
\begin{array}{cccc}
1 \\
1 \\
\vdots \\
1
\end{array}
\right) \\ \\
&=&
n\\ \\
(X_1^TX_1)^{-1}
&=&
\frac{1}{n} \\ \\
P_{X_1}
&=&
\rm{X_1(X_1^TX_1)^{-1}X_1^T } \\ \\
&=&
\left(
\begin{array}{cccc}
1 \\
1 \\
\vdots \\
1
\end{array}
\right)\frac{1}{n}(1,\;1,\;\ldots,1) \\ \\
&=&
\frac{1}{n}\left(
\begin{array}{cccc}
1&1&\ldots&1 \\
1&1&\ldots&1 \\
\vdots&&\ddots&\vdots \\
1 &1&\ldots&1
\end{array}
\right)
\end{eqnarray}
となる。\(R_0^2\)を求めると
\begin{eqnarray}
R_0^2
&=&
\|\rm{Y}-\rm{X_1}\beta_0 \|^2 \\ \\
&=&
\|\rm{Y}-\hat{\rm{Y} }_1 \|^2 \\ \\
&=&
\| (I-P_{X_1}) \rm{Y} \|^2 \\ \\
&=&
\| (\rm{Y}-P_{X_1}\rm{Y}) \|^2 \\ \\
&=&
\| \rm{Y}-\frac{1}{n}\left(
\begin{array}{cccc}
1&1&\ldots&1 \\
1&1&\ldots&1 \\
\vdots&&\ddots&\vdots \\
1 &1&\ldots&1
\end{array}
\right)\left(
\begin{array}{cccc}
y_1 \\
y_2 \\
\vdots \\
y_n
\end{array}
\right) \|^2 \\ \\
&=&
\| \rm{Y}-\frac{1}{n}\left(
\begin{array}{cccc}
y_1+y_2+\ldots+y_n \\
y_1+y_2+\ldots+y_n \\
\vdots \\
y_1+y_2+\ldots+y_n
\end{array}
\right)\|^2 \\ \\
&=&
\| \rm{Y}-\left(
\begin{array}{cccc}
\overline{y} \\
\overline{y} \\
\vdots \\
\overline{y}
\end{array}
\right)\|^2 \\ \\
&=&
\| \rm{Y}-\boldsymbol{1}\overline{y}\|^2 \\ \\
\end{eqnarray}
が得らえる。\(R_0^2-R_1^2\)を求める。その際に「全変動の平方和」=「回帰変動の平方和」+「残差変動の平方和」であることを利用する。
参考1
参考2:回帰分析 \begin{eqnarray} R_0^2-R_1^2 &=& \|\rm{Y}-\boldsymbol{1}\overline{y}\|^2-\|\rm{Y}-\hat{\rm{Y}}\|^2 \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}+\rm{Y}-\hat{\rm{Y} }\|^2-\|\rm{Y}-\hat{\rm{Y}}\|^2 \\ \\ &=& (\hat{\rm{Y} }-\boldsymbol{1}\overline{y}+\rm{Y}-\hat{\rm{Y} })^{\rm{T} }(\hat{\rm{Y} }-\boldsymbol{1}\overline{y}+\rm{Y}-\hat{\rm{Y} })-\|\rm{Y}-\hat{\rm{Y}}\|^2 \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+(\rm{Y}-\hat{\rm{Y} })^{\rm{T} }(\hat{\rm{Y} }-\boldsymbol{1}\overline{y})+(\hat{\rm{Y} }-\boldsymbol{1}\overline{y})^{\rm{T} }(\rm{Y}-\hat{\rm{Y} })+\|\rm{Y}-\hat{\rm{Y} }\|^2-\|\rm{Y}-\hat{\rm{Y}}\|^2 \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y}-\hat{\rm{Y} })^{\rm{T} }(\hat{\rm{Y} }-\boldsymbol{1}\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2((I-P_X)\rm{Y})^{\rm{T} }(P_X\rm{Y}-\boldsymbol{1}\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y^T}(I^{\rm{T}}-P_X^{\rm{T}}))(P_X\rm{Y}-\boldsymbol{1}\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y^T}(I-P_X))(P_X\rm{Y}-\boldsymbol{1}\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y^T}(I-P_X)P_X\rm{Y})-2(\rm{Y^T}(I-P_X)\boldsymbol{1}\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y^T}(P_X-P_X^2)\rm{Y})-2(\rm{Y^T}(I-P_X)\left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \end{array} \right)\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y^T}(P_X-P_X)\rm{Y})-2(\rm{Y^T}0\overline{y}) \;\;\;...\rm{X^T}e=e\rm{X}=0より\\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2\\ \\ &=& \|\rm{X}\hat{\boldsymbol{\beta} }-\boldsymbol{1}\overline{y}\|^2\\ \\ \end{eqnarray} が得られる。p.129における\(\rm{A}\)のランクが\(d\)なので、検定量\(T\)は、 \begin{eqnarray} T=\frac{\|\rm{X}\boldsymbol{\hat{\beta}}-\boldsymbol{1}\overline{y}\|^2/d}{\hat{\sigma}^2} \end{eqnarray} となる。
参考1
参考2:回帰分析 \begin{eqnarray} R_0^2-R_1^2 &=& \|\rm{Y}-\boldsymbol{1}\overline{y}\|^2-\|\rm{Y}-\hat{\rm{Y}}\|^2 \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}+\rm{Y}-\hat{\rm{Y} }\|^2-\|\rm{Y}-\hat{\rm{Y}}\|^2 \\ \\ &=& (\hat{\rm{Y} }-\boldsymbol{1}\overline{y}+\rm{Y}-\hat{\rm{Y} })^{\rm{T} }(\hat{\rm{Y} }-\boldsymbol{1}\overline{y}+\rm{Y}-\hat{\rm{Y} })-\|\rm{Y}-\hat{\rm{Y}}\|^2 \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+(\rm{Y}-\hat{\rm{Y} })^{\rm{T} }(\hat{\rm{Y} }-\boldsymbol{1}\overline{y})+(\hat{\rm{Y} }-\boldsymbol{1}\overline{y})^{\rm{T} }(\rm{Y}-\hat{\rm{Y} })+\|\rm{Y}-\hat{\rm{Y} }\|^2-\|\rm{Y}-\hat{\rm{Y}}\|^2 \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y}-\hat{\rm{Y} })^{\rm{T} }(\hat{\rm{Y} }-\boldsymbol{1}\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2((I-P_X)\rm{Y})^{\rm{T} }(P_X\rm{Y}-\boldsymbol{1}\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y^T}(I^{\rm{T}}-P_X^{\rm{T}}))(P_X\rm{Y}-\boldsymbol{1}\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y^T}(I-P_X))(P_X\rm{Y}-\boldsymbol{1}\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y^T}(I-P_X)P_X\rm{Y})-2(\rm{Y^T}(I-P_X)\boldsymbol{1}\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y^T}(P_X-P_X^2)\rm{Y})-2(\rm{Y^T}(I-P_X)\left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \end{array} \right)\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y^T}(P_X-P_X)\rm{Y})-2(\rm{Y^T}0\overline{y}) \;\;\;...\rm{X^T}e=e\rm{X}=0より\\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2\\ \\ &=& \|\rm{X}\hat{\boldsymbol{\beta} }-\boldsymbol{1}\overline{y}\|^2\\ \\ \end{eqnarray} が得られる。p.129における\(\rm{A}\)のランクが\(d\)なので、検定量\(T\)は、 \begin{eqnarray} T=\frac{\|\rm{X}\boldsymbol{\hat{\beta}}-\boldsymbol{1}\overline{y}\|^2/d}{\hat{\sigma}^2} \end{eqnarray} となる。