統計学実践ワークブックの行間埋め　第16章

イメージとしては、16.3の左辺を展開して\(\beta\)について平方完成すること。 \begin{eqnarray} \|\rm{Y}-\rm{X}\boldsymbol{\beta}\|^2 &=& ( \rm{Y}-\rm{X}\boldsymbol{\beta})^{\rm{T} }( \rm{Y}-\rm{X}\boldsymbol{\beta}) \\ \\ &=& \rm{Y}^{\rm T}\rm{Y}-\rm{Y}^{\rm{T} }\rm{X}\boldsymbol{\beta}-(\rm{X}\boldsymbol{\beta})^{\rm{T} }\rm{Y}+(\rm{X}\boldsymbol{\beta})^{\rm T}\rm{X}\boldsymbol{\beta} \\ \\ &=& \rm{Y}^{\rm T}\rm{Y}-\rm{Y}^{\rm{T} }\rm{X}\boldsymbol{\beta}-\boldsymbol{\beta}^\rm{T}\rm{X}^{\rm{T} }\rm{Y}+\boldsymbol{\beta}^{\rm T}\rm{X}^{\rm T}\rm{X}\boldsymbol{\beta} \tag{1} \\ \\ \end{eqnarray} ここで、\(\boldsymbol{\beta}\)について平方完成(のようなものを)する。式を以下のように\(\boldsymbol{\beta} \)に依存しない行列\(\rm{A,\;B}\)を用いて変形することを考える。 \begin{eqnarray} \|\rm{Y}-\rm{X}\boldsymbol{\beta}\|^2=((\rm{A}-\boldsymbol{\beta})^{\rm{T} }\rm{X^T)(X} (\rm{A}-\boldsymbol{\beta}))-\rm{B}\tag{2} \end{eqnarray} 式を展開すると、 \begin{eqnarray} ((\rm{A}-\boldsymbol{\beta})^{\rm{T} }\rm{X^T)(X} (\rm{A}-\boldsymbol{\beta}))-\rm{B} &=& \rm{A^TX^TXA}-\boldsymbol{\beta}^{\rm{T} }\rm{X^TXA}-\rm{A^TX^TX}\boldsymbol{\beta}+\boldsymbol{\beta}^{\rm{T} }\rm{X^TX}\boldsymbol{\beta}-\rm{B}\tag{3} \\ \\ \end{eqnarray} ここで式(1)(3)中の、先頭に\(\boldsymbol{\beta}^{\rm{T} }\)がつく項を比較すると、\(\rm{X^TY=\rm{X^TXA} }\)であることがわかる。従って、\(\rm{A}=(\rm{X^TX})^{-1}\rm{X^TY}\)が得られる。
式(2)に\(\rm{A}\)を代入して\(\rm{B}\)を求めると、 \begin{eqnarray} B&=&(((\rm{X^TX})^{-1}\rm{X^TY}-\boldsymbol{\beta})^{\rm{T} }\rm{X^T)(X} (\rm{(\rm{X^TX})^{-1}\rm{X^TY}}-\boldsymbol{\beta}))-\|\rm{Y}-\rm{X}\boldsymbol{\beta}\|^2\\ \\ &=& \rm{((\rm{X^TX})^{-1}\rm{X^TY})^T\:X^TX(\rm{X^TX})^{-1}\rm{X^TY}}-\boldsymbol{\beta}^{\rm{T} }\rm{X^TX(\rm{X^TX})^{-1}\rm{X^TY}}-\rm{((\rm{X^TX})^{-1}\rm{X^TY})^TX^TX}\boldsymbol{\beta}+\boldsymbol{\beta}^{\rm{T} }\rm{X^TX}\boldsymbol{\beta}-\|\rm{Y}-\rm{X}\boldsymbol{\beta}\|^2 \\ \\ &=& \rm{(Y^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}-\boldsymbol{\beta}^{\rm{T} }\rm{X^TY }-\rm{(X^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}\boldsymbol{\beta}+\boldsymbol{\beta}^{\rm{T} }\rm{X^TX}\boldsymbol{\beta}-\|\rm{Y}-\rm{X}\boldsymbol{\beta}\|^2 \\ \\ &=& \rm{(Y^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}-\boldsymbol{\beta}^{\rm{T} }\rm{X^TY }-\rm{(\rm{X^TY})^T}\boldsymbol{\beta}+\boldsymbol{\beta}^{\rm{T} }\rm{X^TX}\boldsymbol{\beta}-(\rm{Y}^{\rm T}\rm{Y}-\rm{Y}^{\rm{T} }\rm{X}\boldsymbol{\beta}-\boldsymbol{\beta}^\rm{T}\rm{X}^{\rm{T} }\rm{Y}+\boldsymbol{\beta}^{\rm T}\rm{X}^{\rm T}\rm{X}\boldsymbol{\beta}) \\ \\ &=& \rm{(Y^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}-\rm{Y^TX}\boldsymbol{\beta}-(\rm{Y}^{\rm T}\rm{Y}-\rm{Y}^{\rm{T} }\rm{X}\boldsymbol{\beta}) \\ \\ &=& \rm{(Y^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}-\rm{Y}^{\rm T}\rm{Y} \\ \\ &=& \rm{(Y^TX(\rm{X^TX})^{-1}\rm{X^TY})^T}-\|\rm{Y}\|^2 \\ \\ \end{eqnarray} よって、\(A,\;B\)を式(2)に代入することで式(16.3)が導ける。

\(\boldsymbol{\hat{\beta} }=(\rm{X^TX})^{-1}\rm{X^TY}\)であるから、 \begin{eqnarray} \rm{\hat{Y}} &=& \rm{X}\boldsymbol{\hat{\beta} } \\ \\ &=& \rm{X}(\rm{X^TX})^{-1}\rm{X^TY} \\ \\ &=& P_X \rm{Y} \end{eqnarray} が得られる。

\(P_X=\rm{X(X^TX)^{-1}X^T}\)であるから、 \begin{eqnarray} P_X^2 &=& \rm{X(X^TX)^{-1}X^T}\rm{X(X^TX)^{-1}X^T} \\ \\ &=& \rm{X(X^TX)^{-1}(X^TX)(X^TX)^{-1}X^T} \\ \\ &=& \rm{X(X^TX)^{-1}X^T} \\ \\ &=& P_X \end{eqnarray}

\(P_X=\rm{X(X^TX)^{-1}X^T}\)であるから、 \begin{eqnarray} P_X^{\rm{T}} &=& (\rm{X(X^TX)^{-1}X^T})^{\rm{T}} \\ \\ &=& \rm{X((X^TX)^{-1})^TX^T} \\ \\ &=& \rm{X((X^TX)^T)^{-1}X^T} \\ \\ &=& \rm{X((X^TX))^{-1}X^T} \\ \\ &=& P_X \end{eqnarray} 途中で、転置行列の逆行列は逆行列の転置行列になることを用いた。
参考

\begin{eqnarray} \rm{X^T}e &=& \rm{X^T}(\rm{I}-P_X)\rm{Y} \\ \\ &=& (\rm{X^T}-\rm{X^T}\rm{X}(\rm{X^TX})^{-1}\rm{X^T})\rm{Y} \\ \\ &=& (\rm{X^T}-\rm{X^T})\rm{Y} \\ \\ &=& 0 \end{eqnarray}

\begin{eqnarray} \rm{X} = \left( \begin{array}{cccc} 1 & x_{ 1,1 } & x_{ 1,2 } & \ldots & x_{ 1,d } \\ 1 & x_{ 2,1 } & x_{ 2,2 } & \ldots & x_{ 2,d } \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{ n,1 } & x_{ n,2 } & \ldots & x_{ n,d } \end{array} \right) \end{eqnarray} であり、 \(\boldsymbol{1}^{\rm{T}}=(1,\:1,\:1,\:...)\)であることから、\(\rm{X}\)の1列目は\(\boldsymbol{1}\)と置換できる。加えて、 \begin{eqnarray} \rm{X^T}e &=& 0 \end{eqnarray} であることから、\(\boldsymbol{1}^{\rm{T}}e=0\)となる。

\begin{eqnarray} \boldsymbol{1}^{\rm{T}}(\rm{Y-X}\boldsymbol{\beta}) &=& (1,\:1,\:1,\:...) \left( \begin{array}{cccc} y_1-(\beta _0+\beta _1x_{1,1}+\beta_2 x_{1,2}\ldots+\beta _dx_{1,d}) \\ y_2-(\beta _0+\beta _1x_{2,1}+\beta_2 x_{2,2}\ldots+\beta _dx_{2,d}) \\ \vdots \\ y_n-(\beta _0+\beta _1x_{n,1}+\beta_2 x_{n,2}\ldots+\beta _dx_{n,d}) \end{array} \right) \\ \\ &=& y_1-(\beta _0+\beta _1x_{1,1}+\beta_2 x_{1,2}\ldots+\beta _dx_{1,d}) \\ & & +y_2-(\beta _0+\beta _1x_{2,1}+\beta_2 x_{2,2}\ldots+\beta _dx_{2,d}) \\ & &\vdots \\ & &+y_n-(\beta _0+\beta _1x_{n,1}+\beta_2 x_{n,2}\ldots+\beta _dx_{n,d})\\ \\ &=&n\overline{y}-n(\beta_0+\beta_1\overline{x}_1+\ldots +\beta_d\overline{x}_d) \\ \\ &=&n(\overline{y}-(1,\overline{x}^{\rm{T}})\hat{\boldsymbol{\beta}}) \end{eqnarray}

参考：射影行列について

p.128の下部に導出の記載がある。
二行目の左側の式において、\(I-P_X\)と\(\rm{X}\boldsymbol{\beta}^*\)の積は0になるので、 \begin{eqnarray} E[\|(I-P_X)(\rm{X}\boldsymbol{\beta}^*+\boldsymbol{\varepsilon}) \|^2]=E[\| (I-P_X)\boldsymbol{\varepsilon} \|^2] \end{eqnarray} になる。 ここで、 \begin{eqnarray} \boldsymbol{\varepsilon}^{\rm{T}}&=&(\varepsilon_1,\:\varepsilon_2,\:\ldots,\: \varepsilon_n) \\ \\ I -P_X&=& \left( \begin{array}{cccc} P_{1,1} & P_{ 1,2 } & \ldots & P_{ 1,n } \\ P_{ 2,1 } & P_{ 2,2 } & \ldots & P_{ 2,n } \\ \vdots & \vdots & \ddots & \vdots \\ P_{ n,1 } & P_{ n,2 } & \ldots & P_{ n,n } \end{array} \right)\\ \\ \end{eqnarray} と書くことにすると、 \begin{eqnarray} E[\|(I-P_X)\boldsymbol{\varepsilon} \|^2]&=&E\left[((I-P_X)\boldsymbol{\varepsilon})^{\rm{T} }((I-P_X)\boldsymbol{\varepsilon}) \right] \\ \\ &=& E\left[\boldsymbol{\varepsilon}^{\rm{T} }(I-P_X)^{\rm{T} }(I-P_X)\boldsymbol{\varepsilon} \right] \\ \\ &=& E\left[(\varepsilon_1,\:\varepsilon_2,\:\ldots,\: \varepsilon_n)( I^{\rm{T} }I-I^{\rm{T} }P_X-P_X^{\rm{T} }I+P_X^{\rm{T} }P_X )\left( \begin{array}{cccc} \varepsilon_1\\ \varepsilon_2 \\ \vdots\\ \varepsilon_n \end{array} \right) \right] \\ \\ &=& E\left[(\varepsilon_1,\:\varepsilon_2,\:\ldots,\: \varepsilon_n)(I-P_X-P_X+P_X )\left( \begin{array}{cccc} \varepsilon_1\\ \varepsilon_2 \\ \vdots\\ \varepsilon_n \end{array} \right) \right] \;\;\;...P_X^{\rm{T}}=P_X,\;P_X^2=P_Xを利用した。\\ \\ &=& E\left[(\varepsilon_1,\:\varepsilon_2,\:\ldots,\: \varepsilon_n)(I-P_X )\left( \begin{array}{cccc} \varepsilon_1\\ \varepsilon_2 \\ \vdots\\ \varepsilon_n \end{array} \right) \right] \\ \\ &=& E\left[(\varepsilon_1,\:\varepsilon_2,\:\ldots,\: \varepsilon_n)\left( \begin{array}{cccc} P_{1,1} & P_{ 1,2 } & \ldots & P_{ 1,n } \\ P_{ 2,1 } & P_{ 2,2 } & \ldots & P_{ 2,n } \\ \vdots & \vdots & \ddots & \vdots \\ P_{ n,1 } & P_{ n,2 } & \ldots & P_{ n,n } \end{array} \right)\left( \begin{array}{cccc} \varepsilon_1\\ \varepsilon_2 \\ \vdots\\ \varepsilon_n \end{array} \right) \right] \\ \\ &=& E\left[\left( \begin{array}{cccc} P_{1,1}\varepsilon_1+P_{2,1}\varepsilon_2+\ldots +P_{n,1}\varepsilon_n\\ P_{1,2}\varepsilon_1+P_{2,2}\varepsilon_2+\ldots +P_{n,2}\varepsilon_n\\ \vdots\\ P_{1,n}\varepsilon_1+P_{2,n}\varepsilon_2+\ldots +P_{n,n}\varepsilon_n\\ \end{array} \right)^{\rm{T}} \left( \begin{array}{cccc} \varepsilon_1\\ \varepsilon_2 \\ \vdots\\ \varepsilon_n \end{array} \right) \right] \\ \\ &=& E[ (P_{1,1}\varepsilon_1+P_{2,1}\varepsilon_2+\ldots +P_{n,1}\varepsilon_n)\varepsilon_1 \\ &&+ (P_{1,2}\varepsilon_1+P_{2,2}\varepsilon_2+\ldots +P_{n,2}\varepsilon_n)\varepsilon_2 \\ &&\;\;\;\;\;\;\;\;\;\;\vdots \\ &&+ (P_{1,n}\varepsilon_1+P_{2,n}\varepsilon_2+\ldots +P_{n,n}\varepsilon_n)\varepsilon_n ] \\ \\ &=& E\left[ P_{1,1}\varepsilon_1^2+P_{2,2}\varepsilon_2^2+\ldots +P_{n,n}\varepsilon_n^2\right] \\ \\ &=& \sigma^2\left( P_{1,1}+P_{2,2}+\ldots +P_{n,n}\right) \\ \\ &=& \sigma^2\rm{Tr}[(I_n-P_X)] \\ \\ &=& \sigma^2(\rm{Tr}[I_n]-\rm{Tr}[P_X]) \\ \\ &=& \sigma^2(1*n-\rm{Tr}[\rm{X}(\rm{X^TX})^{-1}\rm{X^T}]) \\ \\ &=& \sigma^2(n-\rm{Tr}[\rm{X^TX}(\rm{X^TX})^{-1}]) \;\;\;...\rm{Tr}[\rm{AB}]=\rm{Tr}[\rm{BA}]を利用した。\\ \\ &=& \sigma^2(n-\rm{Tr}[I_{d+1}]) \\ \\ &=& \sigma^2(n-(d+1)) \\ \\ &=& (n-d-1)\sigma^2 \\ \\ \end{eqnarray} トレースの性質を利用している参考：トレースについて

\begin{eqnarray} E[\hat{\boldsymbol{\beta} }] &=& E[(\rm{X^TX})^{-1}\rm{X^TY}] \\ \\ &=& (\rm{X^TX})^{-1}\rm{X^T}E[\rm{Y}] \\ \\ &=& (\rm{X^TX})^{-1}\rm{X^T}E[\rm{X}\boldsymbol{\beta}^*+\varepsilon] \\ \\ &=& (\rm{X^TX})^{-1}\rm{X^T}E[\rm{X}\boldsymbol{\beta}^*]+\rm{X^TX}^{-1}\rm{X^T}E[\varepsilon] \\ \\ &=& (\rm{X^TX})^{-1}\rm{X^T}\rm{X}\boldsymbol{\beta}^*+\rm{X^TX}^{-1}\rm{X^T}0 \\ \\ &=& (\rm{X^TX})^{-1}\rm{X^T}\rm{X}\boldsymbol{\beta}^* \\ \\ &=& \boldsymbol{\beta}^* \\ \\ \end{eqnarray}

参考：回帰分析:p.42, 68 \begin{eqnarray} Cov[\hat{\boldsymbol{\beta} }] &=& E[((\rm{X^TX})^{-1}\rm{X^TY}-E[\hat{\boldsymbol{\beta} }])((\rm{X^TX})^{-1}\rm{X^TY}-E[\hat{\boldsymbol{\beta} }])^{\rm{T}}] \\ \\ &=& E[((\rm{X^TX})^{-1}\rm{X^T}(\rm{X}\boldsymbol{\beta}^* +\boldsymbol{\varepsilon})-\boldsymbol{\beta}^*)((\rm{X^TX})^{-1}\rm{X^T}(\rm{X}\boldsymbol{\beta}^* +\boldsymbol{\varepsilon})-\boldsymbol{\beta}^*)^{\rm{T}}] \\ \\ &=& E[((\rm{X^TX})^{-1}\rm{X^T}\boldsymbol{\varepsilon})((\rm{X^TX})^{-1}\rm{X^T}\boldsymbol{\varepsilon})^{\rm{T}}] \\ \\ &=& E[((\rm{X^TX})^{-1}\rm{X^T}\boldsymbol{\varepsilon}\boldsymbol{\varepsilon}^{\rm{T}}((\rm{X^TX})^{-1}\rm{X^T})^{\rm{T}}] \\ \\ &=& (\rm{X^TX})^{-1}\rm{X^T}E[\boldsymbol{\varepsilon}\boldsymbol{\varepsilon}^{\rm{T}}]((\rm{X^TX})^{-1}\rm{X^T})^{\rm{T}} \\ \\ &=& (\rm{X^TX})^{-1}\rm{X^T}E\left[ \left( \begin{array}{cccc} \varepsilon_1\\ \varepsilon_2 \\ \vdots\\ \varepsilon_n \end{array} \right)(\varepsilon_1,\;\varepsilon_2,\ldots,\varepsilon_n) \right]\rm{X} (\rm{X^TX})^{-1} \\ \\ &=& (\rm{X^TX})^{-1}\rm{X^T}E\left[ \left( \begin{array}{cccc} \varepsilon_1^2 & \varepsilon_1\varepsilon_2 & \ldots & \varepsilon_1\varepsilon_n \\ \varepsilon_2\varepsilon_1 & \varepsilon_2^2 & \ldots & \varepsilon_2\varepsilon_n \\ \vdots & \vdots & \ddots & \vdots \\ \varepsilon_n\varepsilon_1 & \varepsilon_n\varepsilon_2 & \ldots & \varepsilon_n^2 \end{array} \right) \right]\rm{X} (\rm{X^TX})^{-1} \\ \\ &=& (\rm{X^TX})^{-1}\rm{X^T}\left( \begin{array}{cccc} \sigma^2 & 0 & \ldots & 0 \\ 0 & \sigma^2 & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \sigma^2 \end{array} \right)\rm{X} (\rm{X^TX})^{-1} \\ \\ &=& (\rm{X^TX})^{-1}\rm{X^T} \sigma^2\rm{I}_n \rm{X} (\rm{X^TX})^{-1} \\ \\ &=& \sigma^2(\rm{X^TX})^{-1}\rm{X^T}\rm{X} (\rm{X^TX})^{-1} \\ \\ &=& \sigma^2(\rm{X^TX})^{-1}(\rm{X^T}\rm{X}) (\rm{X^TX})^{-1} \\ \\ &=& \sigma^2(\rm{X^TX})^{-1} \\ \\ \end{eqnarray}

参考：回帰分析:p.68
参考：ベクトルを伴う微分
回帰分析の尤度関数\(l(\hat{\boldsymbol{\beta}})\)を求めると、 \begin{eqnarray} l(\hat{\boldsymbol{\beta} })=\frac{1}{(2\pi\sigma^2)^\frac{n}{2} }\exp \left(-\frac{(\rm{Y-X}\hat{\boldsymbol{\beta} })^{\rm{T} }(\rm{Y-X}\hat{\boldsymbol{\beta} }) }{2\sigma^2}\right) \end{eqnarray} 対数尤度を求めると、 \begin{eqnarray} \log l(\hat{\boldsymbol{\beta} })=-\frac{n}{2}\log (2\pi\sigma^2)-\frac{1}{2\sigma^2}\rm{Y^TY}+\frac{1}{2\sigma^2}(\hat{\boldsymbol{\beta} }^\rm{T}\rm{X}^{\rm{T}}\rm{Y}+\rm{Y^TX}\hat{\boldsymbol{\beta}})-\frac{1}{2\sigma^2}\hat{\boldsymbol{\beta}}^{\rm{T}}\rm{X^TX}\hat{\boldsymbol{\beta}}\\ \\ \end{eqnarray} が得られる。ここで\(\hat{\boldsymbol{\beta} }\)についてのFisherの情報量を求めると、 \begin{eqnarray} I(\hat{\boldsymbol{\beta} }) &=& -E \left[ \frac{\partial^2 \log l}{\partial\hat{\boldsymbol{\beta} }\partial\hat{\boldsymbol{\beta} }^{\rm{T} } } \right] \\ \\ &=& -E \left[ -\frac{1}{\sigma^2}\rm{X^TX}\right] \\ \\ &=& \frac{1}{\sigma^2}\rm{X^TX} \\ \\ I(\hat{\boldsymbol{\beta} })^{-1}&=&\sigma^2(\rm{X^TX})^{-1} \end{eqnarray} となり、これが分散の最小値であり、\(Cov[\hat{\boldsymbol{\beta} }]\)と一致している。

統計量が\(F\)分布で判定されることと、\(R_1^2=\|e\|^2\)であることから、分母は分散の不偏推定量となっている。
分子については、行列\(\rm{A}\)のrankの数が、帰無仮説として0にする\(\beta_k\)の数になる。
\(\rm{X^T}\boldsymbol{\beta}\)の計算において、例えば\(\beta_k=0\)としておくと、 \begin{eqnarray} \rm{X}\boldsymbol{\beta}&=& \left( \begin{array}{cccc} 1 & X_{1,1} & \ldots & X_{ 1,k-1 } & X_{ 1,k } & X_{ 1,k+1 } & \ldots & X_{ 1,d } \\ 1 & X_{2,1} & \ldots & X_{ 2,k-1 } & X_{ 2,k } & X_{ 2,k+1 } & \ldots & X_{ 2,d } \\ &\vdots & & \vdots & & \ddots & &\vdots \\ 1 & X_{n,1} & \ldots & X_{ n,k-1 } & X_{ n,k } & X_{ n,k+1 } & \ldots & X_{ n,d } \end{array} \right) \left( \begin{array}{cccc} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_{k-1} \\ 0 \\ \beta_{k+1} \\ \vdots \\ \beta_d \\ \end{array} \right) \\ \\ &=& \left( \begin{array}{cccc} \beta_0 + \beta_1X_{1,1} + \ldots + \beta_{k-1}X_{ 1,k-1 } &+&0+\beta_{k+1} X_{ 1,k+1 } & \ldots & \beta_dX_{ 1,d } \\ \beta_0 + \beta_1X_{2,1} + \ldots + \beta_{k-1}X_{ 2,k-1 } &+&0+\beta_{k+1} X_{ 2,k+1 } & \ldots & \beta_dX_{ 2,d } \\ &\vdots& \\ \beta_0 + \beta_1X_{n,1} + \ldots + \beta_{k-1}X_{ n,k-1 } &+&0+\beta_{k+1} X_{ n,k+1 } & \ldots & \beta_dX_{ n,d } \\ \end{array} \right) \end{eqnarray} となり、計算上、\(X_{i,k}\;\;(1\leq i \leq n)\)と\(\beta_k\)を除去しても計算上、変化はない。そのため、\(\rm{A}\boldsymbol{\beta}=0\)によって制限された\(\boldsymbol{\beta}, \rm{X}\)はそれぞれ、 \begin{eqnarray} \beta &\in& \mathbb{R}^{d+1-q} \\ \\ \rm{X} &\in& \mathbb{R}^{n\times (d+1-q)} \end{eqnarray} と表すことができる。この条件のもと、分散\(E[\|e\|^2]\)を求めると、 \begin{eqnarray} E[\|e\|^2] &=& E[\|\rm{Y}-\hat{\rm{Y} } \|^2] \\ \\ &=& E[\| (I-P_X) \rm{Y} \|^2] \\ \\ &=& \sigma^2\rm{Tr}[(I_n-P_X)] \\ \\ &=& \sigma^2(n-(d+1-q)) \\ \\ \end{eqnarray} が得らえる(参考)。ここで、\(E[(R_0^2-R_1^2)]\)を求めると、 \begin{eqnarray} E[\|R_0^2-R_1^2\|^2] &=& \sigma^2(n-(d+1-q))-\sigma^2(n-(d+1)) \\ \\ &=& q\sigma^2 \end{eqnarray} が得られることから、統計量\(T\)として\(T=\frac{(R_0^2-R_1^2)/q}{R_1^2/(n-d-1)}\)が得られる。

こちらのp.83に詳しい解説が載っている。
要約すると、\(X\)と\(\beta\)を比較したい二つの部分1,2に分割し、 \begin{eqnarray} \text{X}=[X_1, X_2]\\ \beta^{\text{T} }=[\beta_1^{\text{T}},\beta_2^{\text{T}}] \end{eqnarray} とする。この時、\(X_2,\beta_2^{\text{T}}\)の列の数をqとする。
この時、 \begin{eqnarray} \frac{R_1^2}{\hat{\sigma}^2}\sim\chi^2(q) \end{eqnarray} となる。ここで、 \begin{eqnarray} &&(\text{X}^{\text{T}}\text{X})^{-1} \\ \\ &=& \left( \left( \begin{array}{cccc} \text{X}_1^{\text{T}} \\ \text{X}_2^{\text{T}}\\ \end{array} \right) (\text{X}_1,\text{X}_2)\right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} \text{X}_1^{\text{T}}\text{X}_1 &\text{X}_1^{\text{T}}\text{X}_2 \\ \text{X}_2^{\text{T}}\text{X}_1 &\text{X}_2^{\text{T}}\text{X}_2 \\ \end{array} \right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} (\text{X}_1^{\text{T}}\text{X}_1)^{-1} &(\text{X}_1^{\text{T}}\text{X}_2)^{-1} \\ (\text{X}_2^{\text{T}}\text{X}_1)^{-1} &(\text{X}_2^{\text{T}}\text{X}_2)^{-1} \\ \end{array} \right) \\ \\ \end{eqnarray} となる\((\text{X}_2^{\text{T}}\text{X}_2)^{-1}\)を導入すると、 \begin{eqnarray} R_0^2-R_1^2 &=& \beta_2^{\text{T} }(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\beta_2 \end{eqnarray} となる。これを用いて、 \begin{eqnarray} \beta_2\sim N(\beta_2, \hat{\sigma}^2(\text{X}_2^{\text{T}}\text{X}_2)^{-1}) \end{eqnarray} と書けることから、 \begin{eqnarray} \frac{\beta_2(\text{X}_2^{\text{T}}\text{X}_2)\beta_2}{\sigma^2}\sim \chi^2(q) \end{eqnarray} が得られる。これを用いて、 \begin{eqnarray} T&=& \frac{(R_0^2-R_1^2)/q}{R_1^2/(n-d-1)} \\ \\ &=& \frac{\beta_2^{\text{T} }(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\beta_2/q}{R_1^2/(n-d-1)} \\ \\ &=& \frac{\beta_2^{\text{T} }(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\beta_2/\hat{\sigma}^2q}{R_1^2/\hat{\sigma}^2(n-d-1)} \\ \\ &\sim& \frac{\chi^2(q)/q}{\chi^2(n-d-1)/(n-d-1)} \\ \\ &=& F(q,n-d-1) \end{eqnarray} となる。

ここでは、以下で示す\(\text{A}_{22}^{-1}\)を使うことで、 \begin{eqnarray} \hat{\beta}_k^{\text{T} }\text{A}_{22}^{-1}\hat{\beta}_k=R_0^2-R_1^2 \end{eqnarray} であることを示す。その後、
\begin{eqnarray} \frac{\hat{\beta}_k^{\text{T} }\text{A}_{22}^{-1}\hat{\beta}_k}{\hat{\sigma}^2}=\frac{\hat{\beta}_k^2}{\hat{\sigma}^2S^{k,k}/n} \end{eqnarray} であることを示す。 はじめに\(\text{X}\)の列を入れ替える。 \begin{eqnarray}\hat{\text{X}}&=& \left( \begin{array}{cccc} 1 & x_{1,1} & \ldots & x_{1,k-1} & x_{1,k+1} & \ldots & x_{1,d} & x_{1,k} \\ \vdots & & \ddots &\\ 1 & x_{n,1} & \ldots & x_{n,k-1} & x_{n,k+1} & \ldots & x_{n,d} & x_{n,k} \\ \end{array} \right) \end{eqnarray} として、 \begin{eqnarray} \hat{\text{X}}&=&[X_1,X_2] \\ \\ X_1&=& \left( \begin{array}{cccc} 1 & x_{1,1} & \ldots & x_{1,k-1} & x_{1,k+1} & \ldots & x_{1,d}\\ \vdots & & \ddots &\\ 1 & x_{n,1} & \ldots & x_{n,k-1} & x_{n,k+1} & \ldots & x_{n,d}\\ \end{array} \right) \\ \\ X_2&=& \left( \begin{array}{cccc} x_{1,k}\\ \vdots \\ x_{n,k}\\ \end{array} \right) \\ \\ \end{eqnarray} とする。また、\(\beta\)についても同様にして、 \begin{eqnarray} \beta^{\text{T}}&=&[\beta_1^{\text{T}},\beta_2^{\text{T}}] \\ \\ \beta_1^{\text{T}} &=& \left(\beta_0,\beta_1,\ldots,\beta_{k-1},\beta_{k+1},\ldots,\beta_d \right) \\ \\ \beta_2^{\text{T}} &=& \beta_k \end{eqnarray} とすることで、線形回帰モデルは \begin{eqnarray} \text{Y}=\text{X}_1\beta_1+\text{X}_2\beta_2 \end{eqnarray} と書くことができる。
ここで、\(\text{A}=(\hat{\text{X}}^{\text{T}}\hat{\text{X}})^{-1}\)を考える。 \begin{eqnarray} \text{A} &=& (\hat{\text{X} }^{\text{T} }\hat{\text{X} })^{-1} \\ \\ &=& \left( \left( \begin{array}{cccc} \text{X}_1^{\text{T}} \\ \text{X}_2^{\text{T}}\\ \end{array} \right) (\text{X}_1,\text{X}_2)\right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} \text{X}_1^{\text{T}}\text{X}_1 &\text{X}_1^{\text{T}}\text{X}_2 \\ \text{X}_2^{\text{T}}\text{X}_1 &\text{X}_2^{\text{T}}\text{X}_2 \\ \end{array} \right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} \text{A}_{11} &\text{A}_{12} \\ \text{A}_{21} &\text{A}_{22} \\ \end{array} \right) \end{eqnarray} とする。それぞれの成分は、「分割行列の逆行列」や「ブロック行列の逆行列」を参考にし(こちらの解説や、こちらのp.152、こちらのp.26)などを参考)、
\((\text{X}_2^{\text{T}}\text{X}_1)^{-1}=(\text{X}_1^{\text{T}}\text{X}_2)^{-1}\)のときに \begin{eqnarray} && \left( \begin{array}{cccc} \text{X}_{1}^{\text{T}}\text{X}_{1} &\text{X}_{1}^{\text{T}}\text{X}_{2} \\ \text{X}_{2}^{\text{T}}\text{X}_{1} &\text{X}_{2}^{\text{T}}\text{X}_{2} \\ \end{array} \right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} \text{A}_{11} &\text{A}_{12} \\ \text{A}_{21} &\text{A}_{22} \\ \end{array} \right) \\ \\ &=& \left( \begin{array}{cccc} (\text{X}_{1}^{\text{T}}\text{X}_{1}-\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1})^{-1}=\text{E}&-(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2}\text{F} \\ -(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E} & (\text{X}_{2}^{\text{T}}\text{X}_{2}-\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2})^{-1}=\text{F}\\ \end{array} \right)&...(1) \\ \\ &=& \left( \begin{array}{cccc} (\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}+(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2}\text{F}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1} &-\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1} \\ -\text{F}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1} & (\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}+(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\\ \end{array} \right)&...(2) \\ \\ \end{eqnarray} となる。(1)(2)は等価なのでどちらを用いても良い。また、逆に \begin{eqnarray} &&\hat{\text{X}}^{\text{T}}\hat{\text{X}} \\ \\ &=& \text{A}^{-1}\\ \\ &=& \left( \begin{array}{cccc} \text{A}_{11} &\text{A}_{12} \\ \text{A}_{21} &\text{A}_{22} \\ \end{array} \right)^{-1} \\ \\ &=& \left( \begin{array}{cccc} (\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21})^{-1} & -(\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21})^{-1}\text{A}_{12}(\text{A}_{22})^{-1}\\ -(\text{A}_{22})^{-1}\text{A}_{21}(\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21})^{-1} & (\text{A}_{22})^{-1}+(\text{A}_{22})^{-1}\text{A}_{21}(\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21})^{-1}\text{A}_{21}(\text{A}_{22})^{-1}\\ \end{array} \right) \\ \\ &\Rightarrow& \text{X}_1^{\text{T}}\text{X}_1=(\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21})^{-1} \\ \\ &\Rightarrow& (\text{X}_1^{\text{T}}\text{X}_1)^{-1}=\text{A}_{11}-\text{A}_{12}(\text{A}_{22})^{-1}\text{A}_{21} \\ \\ \end{eqnarray} も得られる。

線形モデルを考える際に\(\beta_2=0\)の検定であるため、\(\text{Y}=\text{X}_1\beta_1\)となることを鑑みると、 \begin{eqnarray} &&\text{Y}=\text{X}_1\beta_1 \\ \\ &\Leftrightarrow& \text{X}_1^{\text{T}}\text{Y}=\text{X}_1^{\text{T}}\text{X}_1\beta_1 \\ \\ &\Leftrightarrow& (\text{X}_1^{\text{T}}\text{X}_1)^{-1}\text{X}_1^{\text{T}}\text{Y}=\beta_1 \\ \\ \end{eqnarray} である。これを先ほどの式に代入し、 \begin{eqnarray} &&\text{Y}=\text{X}_1\beta_1+\text{X}_2\beta_2 \\ \\ &\Leftrightarrow& \text{Y}=\text{X}_1(\text{X}_1^{\text{T}}\text{X}_1)^{-1}\text{X}_1^{\text{T}}\text{Y}+\text{X}_2\beta_2 \\ \\ &\Leftrightarrow& \text{X}_2^{\text{T}}\text{Y}=\text{X}_2^{\text{T}}\text{X}_1(\text{X}_1^{\text{T}}\text{X}_1)^{-1}\text{X}_1^{\text{T}}\text{Y}+\text{X}_2^{\text{T}}\text{X}_2\beta_2 \\ \\ &\Leftrightarrow& (\text{X}_2^{\text{T}}\text{X}_2)^{-1}\text{X}_2^{\text{T}}\text{Y}=(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\text{X}_2^{\text{T}}\text{X}_1(\text{X}_1^{\text{T}}\text{X}_1)^{-1}\text{X}_1^{\text{T}}\text{Y}+\beta_2 \\ \\ &\Leftrightarrow& \beta_2=(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\text{X}_2^{\text{T}}\text{Y}-(\text{X}_2^{\text{T}}\text{X}_2)^{-1}\text{X}_2^{\text{T}}\text{X}_1(\text{X}_1^{\text{T}}\text{X}_1)^{-1}\text{X}_1^{\text{T}}\text{Y} \\ \\ \end{eqnarray} が得られる。ここで\((A_{21}\text{X}_1^{\text{T}}+A_{22}\text{X}_2^{\text{T}})\text{Y}\)を計算すると、 \begin{eqnarray} &&(A_{21}\text{X}_1^{\text{T}}+A_{22}\text{X}_2^{\text{T}})\text{Y} &=& \beta_2 \\ \\ \end{eqnarray} が得られる。

1. \((A_{21}\text{X}_1^{\text{T}}+A_{22}\text{X}_2^{\text{T}})\text{Y}=\beta_2\)の計算
▼ 詳細を開く
\begin{eqnarray} &&(A_{21}\text{X}_1^{\text{T}}+A_{22}\text{X}_2^{\text{T}})\text{Y} \\ \\ &=& ((-((\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}+(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1})\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1})\text{X}_{1}^{\text{T}}+((\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}+(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1})\text{X}_2^{\text{T}})\text{Y} \\ \\ &=& (-(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T} }-(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}+(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}+(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_2^{\text{T}})\text{Y} \\ \\ &=& (-(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}+(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_2^{\text{T}})\text{Y}+((\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}-(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T} })\text{Y} \\ \\ &=& (-(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}+(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_2^{\text{T}})\text{Y}+\beta_2 \\ \\ &=& (\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}(\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_2^{\text{T}}-\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}})\text{Y}+\beta_2 \\ \\ &=& (\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}(\text{X}_{1}^{\text{T}}\text{P}_{X_2}-\text{X}_{1}^{\text{T}}\text{P}_{X_2}\text{P}_{X_1})\text{Y}+\beta_2 \\ \\ &=& (\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}(\text{P}_{X_2}(\text{I}-\text{P}_{X_1}))\text{Y}+\beta_2 \\ \\ &=& (\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}\text{X}_{1}^{\text{T}}M_{\perp X_1}\text{Y}+\beta_2 \\ \\ &=& (\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1}\text{X}_{2}^{\text{T}}\text{X}_{1}\text{E}0\text{Y}+\beta_2 \\ \\ &=& \beta_2 \\ \\ \end{eqnarray} が得られる。

また、\(\hat{\beta}_k^{\text{T} }\text{A}_{22}^{-1}\hat{\beta}_k\)を計算すると、 \begin{eqnarray} &&\hat{\beta}_k^{\text{T} }\text{A}_{22}^{-1}\hat{\beta}&=& R_0^2-R_1^2 \\ \\ \end{eqnarray} が得られる。


2. \(\hat{\beta}_k^{\text{T} }\text{A}_{22}^{-1}\hat{\beta}_k=R_0^2-R_1^2\)の計算
▼ 詳細を開く
はじめに \begin{eqnarray} \text{A}_{12}^{\text{T}} &=& ((\text{X}_1^{\text{T}}\text{X}_2)^{-1})^{\text{T}} \\ \\ &=& ((\text{X}_1^{\text{T}}\text{X}_2)^{\text{T}})^{-1} \\ \\ &=& ((\text{X}_2^{\text{T}}\text{X}_1))^{-1} \\ \\ &=& \text{A}_{21} \end{eqnarray} が成り立つため。。これを用いる。 \begin{eqnarray} &&\hat{\beta}_k^{\text{T} }\text{A}_{22}^{-1}\hat{\beta}_k\\ \\ &=& ((\text{A}_{21}\text{X}_1^{\text{T}}+\text{A}_{22}\text{X}_2^{\text{T}})\text{Y})^{\text{T} }\text{A}_{22}^{-1}((\text{A}_{21}\text{X}_1^{\text{T}}+\text{A}_{22}\text{X}_2^{\text{T}})\text{Y}) \\ \\ &=& \text{Y}^{\text{T} }(\text{A}_{21}\text{X}_1^{\text{T}}+\text{A}_{22}\text{X}_2^{\text{T}})^{\text{T} }\text{A}_{22}^{-1}((\text{A}_{21}\text{X}_1^{\text{T}}+\text{A}_{22}\text{X}_2^{\text{T}})\text{Y}) \\ \\ &=& \text{Y}^{\text{T} }(\text{X}_1\text{A}_{21}^{\text{T}}+\text{X}_2\text{A}_{22}^{\text{T}})\text{A}_{22}^{-1}((\text{A}_{21}\text{X}_1^{\text{T}}+\text{A}_{22}\text{X}_2^{\text{T}})\text{Y}) \\ \\ &=& \text{Y}^{\text{T} }(\text{X}_1\text{A}_{21}^{\text{T}}\text{A}_{22}^{-1}\text{A}_{21}\text{X}_1^{\text{T}}+\text{X}_1\text{A}_{21}^{\text{T}}\text{A}_{22}^{-1}\text{A}_{22}\text{X}_2^{\text{T}}+\text{X}_2\text{A}_{22}^{\text{T}}\text{A}_{22}^{-1}\text{A}_{21}\text{X}_1^{\text{T}}+\text{X}_2\text{A}_{22}^{\text{T}}\text{A}_{22}^{-1}\text{A}_{22}\text{X}_2^{\text{T}})\text{Y}) \\ \\ &=& \text{Y}^{\text{T} }(\text{X}_1\text{A}_{12}\text{A}_{22}^{-1}\text{A}_{21}\text{X}_1^{\text{T}}+\text{X}_1\text{A}_{12}\text{X}_2^{\text{T}}+\text{X}_2\text{A}_{21}\text{X}_1^{\text{T}}+\text{X}_2\text{A}_{22}^{\text{T}}\text{X}_2^{\text{T}})\text{Y})& \\ \\ &=& \text{Y}^{\text{T} }(\text{X}_1(\text{A}_{11}-(\text{X}_1^{\text{T}}\text{X}_1)^{-1})\text{X}_1^{\text{T}}+\text{X}_1\text{A}_{12}\text{X}_2^{\text{T}}+\text{X}_2\text{A}_{21}\text{X}_1^{\text{T}}+\text{X}_2\text{A}_{22}\text{X}_2^{\text{T}})\text{Y}) &...\text{A}_{22}^{\text{T}}=\text{A}_{22}\\ \\ &=& \text{Y}^{\text{T} }(-\text{P}_{\text{X}_1}+\text{X}_1\text{A}_{11}\text{X}_1^{\text{T}}+\text{X}_1\text{A}_{12}\text{X}_2^{\text{T}}+\text{X}_2\text{A}_{21}\text{X}_1^{\text{T}}+\text{X}_2\text{A}_{22}\text{X}_2^{\text{T}})\text{Y}) \\ \\ &=& \text{Y}^{\text{T} }(-\text{P}_{\text{X}_1}+(\text{X}_1,\;\text{X}_2 ) \left( \begin{array}{cccc} \text{A}_{11} &\text{A}_{12} \\ \text{A}_{21} &\text{A}_{22} \\ \end{array} \right)\left( \begin{array}{cccc} \text{X}_1^{\text{T}} \\ \text{X}_2^{\text{T}} \\ \end{array} \right))\text{Y} \\ \\ &=& \text{Y}^{\text{T} }(-\text{P}_{\text{X}_1}+\hat{\text{X}}\text{A}\hat{\text{X}}^{\text{T}})\text{Y} \\ \\ &=& \text{Y}^{\text{T} }(\text{I}-\text{P}_{\text{X}_1}-(\text{I}-\hat{\text{X}}\text{A}\hat{\text{X}}^{\text{T} }))\text{Y} \\ \\ &=& \text{Y}^{\text{T} }(\text{I}-\text{P}_{\text{X}_1})\text{Y}-\text{Y}^{\text{T} }(\text{I}-\hat{\text{X}}\text{A}\hat{\text{X}}^{\text{T} })\text{Y} \\ \\ &=& \text{Y}^{\text{T} }(\text{I}-\text{P}_{\text{X}_1})\text{Y}-\text{Y}^{\text{T} }(\text{I}-\hat{\text{X}}(\hat{\text{X}}^{\text{T} }\hat{\text{X}})^{-1}\hat{\text{X}}^{\text{T} })\text{Y} \\ \\ &=& \text{Y}^{\text{T} }(\text{I}-\text{P}_{\text{X}_1})\text{Y}-\text{Y}^{\text{T} }(\text{I}-\text{P}_{\hat{\text{X} } })\text{Y} \\ \\ &=& \text{Y}^{\text{T} }(\text{I}-\text{P}_{\text{X}_1})(\text{I}-\text{P}_{\text{X}_1})\text{Y}-\text{Y}^{\text{T} }(\text{I}-\text{P}_{\hat{\text{X} } })(\text{I}-\text{P}_{\hat{\text{X} } })\text{Y} \\ \\ &=& \|(\text{I}-\text{P}_{\text{X}_1})\text{Y}\|^2-\|(\text{I}-\text{P}_{\hat{\text{X} } })\text{Y}\|^2 \\ \\ &=& \|\text{Y}-\text{X}_1\beta_1\|^2-\|\text{Y}-\hat{\text{X}}\beta\|^2 \\ \\ &=& R_0^2-R_1^2 \\ \\ \end{eqnarray} が得られる。
従って、p.129の下部を用いて、検定量\(T\)は \begin{eqnarray} T&=&\frac{(R_0^2-R_1^2)/q}{R_1^2/(n-d-1)}\\ \\ &=& \frac{\hat{\beta}_k^{\text{T}}A_{22}^{-1}\hat{\beta}_k/1}{R_1^2/(n-d-1)} \end{eqnarray} を計算すればよいことがわかる。
一方で、\(\hat{\beta}_k,A_{22}\)がスカラーであることを利用して\(\hat{\beta}_k^{\text{T} }\text{A}_{22}^{-1}\hat{\beta}_k\)を計算すると、 \begin{eqnarray} &&\hat{\beta}_k^{\text{T} }\text{A}_{22}^{-1}\hat{\beta}_k\\ \\ &=& \hat{\beta}_k^2\text{A}_{22}^{-1} &...\beta_kはスカラーであるため。\\ \\ &=& \frac{\hat{\beta}_k^2}{\text{A}_{22}} \\ \\ \end{eqnarray} が得られる。ここで、\(\text{A}_{22}\)は、行列 \begin{eqnarray} (\hat{\text{X}}^{\text{T}}\hat{\text{X}})^{-1} &=& \left( \begin{array}{cccc} \text{X}_1^{\text{T}}\text{X}_1&\text{X}_1^{\text{T}}\text{X}_2 \\ \text{X}_2^{\text{T}}\text{X}_1&\text{X}_2^{\text{T}}\text{X}_2 \\ \end{array} \right)^{-1} \end{eqnarray} の右下の成分である。 ここで、\(\hat{\text{X}}\)の列成分について、 \begin{eqnarray} \text{X}= \left( \begin{array}{cccc} 1&\ldots&x_{1,k-1}&x_{1,k}&x_{1,k+1}&\ldots&x_{1,d} \\ \vdots \\ 1&\ldots&x_{n,k-1}&x_{n,k}&x_{n,k+1}&\ldots&x_{n,d} \\ \end{array} \right) \end{eqnarray} と、元の位置に戻す。この時、行列 \begin{eqnarray} \left( \begin{array}{cccc} \text{X}_1^{\text{T}}\text{X}_1&\text{X}_1^{\text{T}}\text{X}_2 \\ \text{X}_2^{\text{T}}\text{X}_1&\text{X}_2^{\text{T}}\text{X}_2 \\ \end{array} \right)^{-1} \end{eqnarray} の右下の成分は、行列 \begin{eqnarray} (\text{X}^{\text{T}}\text{X})^{-1} \end{eqnarray} の\( (k+1,k+1) \)成分と等しくなる。そのため、\(\text{A}_{22}\)を求めるときは、\((\text{X}^{\text{T}}\text{X})^{-1}\)の\((k+1,k+1)\)成分を求める。
ここで、 \begin{eqnarray} \text{Z}_1&=& \left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \\ \end{array} \right)\\ \\ \text{Z}_2&=& \left( \begin{array}{cccc} x_{1,1}&x_{1,2}&\ldots&x_{1,d} \\ x_{2,1}&x_{2,2}&\ldots&x_{2,d} \\ \vdots \\ x_{n,1}&x_{n,2}&\ldots&x_{n,d} \\ \end{array} \right)\\ \\ \text{X}&=&[\text{Z}_1,\text{Z}_2] \end{eqnarray} とする。この条件下で\((\text{X}^{\text{T}}\text{X})^{-1}\)を考えると、 \begin{eqnarray} (\text{X}^{\text{T}}\text{X})^{-1} &=& \left( \begin{array}{cccc} \text{Z}_1^{\text{T}}\text{Z}_1&\text{Z}_1^{\text{T}}\text{Z}_2 \\ \text{Z}_2^{\text{T}}\text{Z}_1&\text{Z}_2^{\text{T}}\text{Z}_2 \\ \end{array} \right)^{-1} &=& \left( \begin{array}{cccc} \text{E}&-(\text{Z}_{1}^{\text{T}}\text{Z}_{1})^{-1}\text{Z}_{1}^{\text{T}}\text{Z}_{2}\text{F} \\ -(\text{Z}_{2}^{\text{T}}\text{Z}_{2})^{-1}\text{Z}_{2}^{\text{T}}\text{Z}_{1}\text{E} & (\text{Z}_{2}^{\text{T}}\text{Z}_{2}-\text{Z}_{2}^{\text{T}}\text{Z}_{1}(\text{Z}_{1}^{\text{T}}\text{Z}_{1})^{-1}\text{Z}_{1}^{\text{T}}\text{Z}_{2})^{-1}=\text{F}\\ \end{array} \right)&...(1)より \\ \\ \end{eqnarray} が得られる。この中の右下の成分\(F\)を計算すると、 \begin{eqnarray} \text{F} &=& \left( \begin{array}{cccc} \displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})^2&\displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})(x_{i,2}-\overline{x_{2}})&\ldots&\displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})(x_{i,d}-\overline{x_{d}})\\ \displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})(x_{i,1}-\overline{x_{1}})&\displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})^2&\ldots&\displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})(x_{i,d}-\overline{x_{d}})\\ \vdots&\ddots& \\ \displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})(x_{i,1}-\overline{x_{1}})&\displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})(x_{i,2}-\overline{x_{2}})&\ldots&\displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})^2\\ \end{array} \right)^{-1} \end{eqnarray} が得られる。


3. \(\text{F}\)の計算
▼ 詳細を開く
\begin{eqnarray} \text{F} &=& (\text{Z}_{2}^{\text{T}}\text{Z}_{2}-\text{Z}_{2}^{\text{T}}\text{Z}_{1}(\text{Z}_{1}^{\text{T}}\text{Z}_{1})^{-1}\text{Z}_{1}^{\text{T}}\text{Z}_{2})^{-1} \\ \\ &=& (\text{Z}_{2}^{\text{T}}\left(\text{I}-\text{Z}_{1}(\text{Z}_{1}^{\text{T}}\text{Z}_{1})^{-1}\text{Z}_{1}^{\text{T}}\right)\text{Z}_{2})^{-1} \\ \\ &=& (\text{Z}_{2}^{\text{T}}\left(\text{I}-\text{P}_{\text{Z}_1}\right)\text{Z}_{2})^{-1} \\ \\ &=& (\text{Z}_{2}^{\text{T}}\left(\text{I}-\text{P}_{\text{Z}_1}\right)\left(\text{I}-\text{P}_{\text{Z}_1}\right)\text{Z}_{2})^{-1} \\ \\ &=& (\text{Z}_{2}^{\text{T}}\left(\text{I}-\text{P}_{\text{Z}_1}\right)^{\text{T} }\left(\text{I}-\text{P}_{\text{Z}_1}\right)\text{Z}_{2})^{-1} \\ \\ &=& (\left(\left(\text{I}-\text{P}_{\text{Z}_1}\right)\text{Z}_{2}\right)^2)^{-1} \\ \\ &=& (\left(\text{Z}_{2}-\text{P}_{\text{Z}_1}\text{Z}_{2}\right)^2)^{-1} \\ \\ &=& (\left(\text{Z}_{2}- \left( \begin{array}{cccc} 1\\ 1\\ \vdots \\ 1 \end{array} \right) ((1, 1, \ldots,1) \left( \begin{array}{cccc} 1\\ 1\\ \vdots \\ 1 \end{array} \right))^{-1} (1, 1, \ldots,1) \left( \begin{array}{cccc} x_{1,1}&x_{1,2}&\ldots&x_{1,d} \\ x_{2,1}&x_{2,2}&\ldots&x_{2,d} \\ \vdots \\ x_{n,1}&x_{n,2}&\ldots&x_{n,d} \\ \end{array} \right)\right)^2)^{-1} \\ \\ &=& (\left(\text{Z}_{2}- \left( \begin{array}{cccc} 1\\ 1\\ \vdots \\ 1 \end{array} \right) (n)^{-1} (\displaystyle\sum_{i=1}^n x_{i,1}, \displaystyle\sum_{i=1}^n x_{i,2}, \ldots,\displaystyle\sum_{i=1}^n x_{i,d}) \right)^2)^{-1} \\ \\ &=& ( \left(\text{Z}_{2}- \left( \begin{array}{cccc} 1\\ 1\\ \vdots \\ 1 \end{array} \right) \overline{\boldsymbol{Z} }^{\text{T} } \right)^2 )^{-1} \\ \\ &=& ( \left(\text{Z}_{2}- \left( \begin{array}{cccc} 1\\ 1\\ \vdots \\ 1 \end{array} \right) (\overline{x_{1}},\overline{x_{2}},\ldots,\overline{x_{d}}) \right)^2 )^{-1} \\ \\ &=& ( \left(\text{Z}_{2}- \left( \begin{array}{cccc} \overline{x_{1}}&\overline{x_{2}}&\ldots&\overline{x_{d}}\\ \overline{x_{1}}&\overline{x_{2}}&\ldots&\overline{x_{d}}\\ \vdots \\ \overline{x_{1}}&\overline{x_{2}}&\ldots&\overline{x_{d}}\\ \end{array} \right) \right)^2 )^{-1} \\ \\ &=& ( \left( \begin{array}{cccc} x_{1,1}-\overline{x_{1}}&x_{1,2}-\overline{x_{2}}&\ldots&x_{1,d}-\overline{x_{d}}\\ x_{2,1}-\overline{x_{1}}&x_{2,2}-\overline{x_{2}}&\ldots&x_{2,d}-\overline{x_{d}}\\ \vdots \\ x_{n,1}-\overline{x_{1}}&x_{n,2}-\overline{x_{2}}&\ldots&x_{n,d}-\overline{x_{d}}\\ \end{array} \right)^2 )^{-1} \\ \\ &=& \left( \begin{array}{cccc} \displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})^2&\displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})(x_{i,2}-\overline{x_{2}})&\ldots&\displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})(x_{i,d}-\overline{x_{d}})\\ \displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})(x_{i,1}-\overline{x_{1}})&\displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})^2&\ldots&\displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})(x_{i,d}-\overline{x_{d}})\\ \vdots&\ddots& \\ \displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})(x_{i,1}-\overline{x_{1}})&\displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})(x_{i,2}-\overline{x_{2}})&\ldots&\displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})^2\\ \end{array} \right)^{-1} \end{eqnarray}

ここで、 \begin{eqnarray} \hat{\text{T}}&=& \left( \begin{array}{cccc} \displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})^2&\displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})(x_{i,2}-\overline{x_{2}})&\ldots&\displaystyle\sum_{i=1}^n(x_{i,1}-\overline{x_{1}})(x_{i,d}-\overline{x_{d}})\\ \displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})(x_{i,1}-\overline{x_{1}})&\displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})^2&\ldots&\displaystyle\sum_{i=1}^n(x_{i,2}-\overline{x_{2}})(x_{i,d}-\overline{x_{d}})\\ \vdots&\ddots& \\ \displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})(x_{i,1}-\overline{x_{1}})&\displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})(x_{i,2}-\overline{x_{2}})&\ldots&\displaystyle\sum_{i=1}^n(x_{i,d}-\overline{x_{d}})^2\\ \end{array} \right)\\ \\ \end{eqnarray} としたとき、\(\text{A}_{22}\)は\((\text{X}^{\text{T}}\text{X})^{-1}\)の\((k+1,k+1)\)成分になり、さらに、\(\hat{\text{T} }^{-1}\)の\((k,k)\)成分となる。
ここで、文字を参考書と比較する。\(\boldsymbol{x}=(x_{i,1},x_{i,2},\ldots,x_{i,d})^{\text{T}}\)を用いると、 \begin{eqnarray} \hat{\text{T}} &=& \displaystyle\sum_{i=1}^n(\boldsymbol{x}-\overline{\boldsymbol{x}})(\boldsymbol{x}-\overline{\boldsymbol{x}})^{\text{T}} \\ \\ &=& \displaystyle\sum_{i=1}^n\left( \begin{array}{cccc} x_{i,1}-\overline{x}_{1} \\ x_{i,2}-\overline{x}_{2} \\ \vdots \\ x_{i,d}-\overline{x}_{d} \\ \end{array} \right)(x_{i,1}-\overline{x}_{1},\;x_{i,2}-\overline{x}_{2},\ldots,\;x_{i,d}-\overline{x}_{d}) \\ \\ &=& \displaystyle\sum_{i=1}^n\left( \begin{array}{cccc} (x_{i,1}-\overline{x}_{1})(x_{i,1}-\overline{x}_{1}) &(x_{i,1}-\overline{x}_{1})(x_{i,2}-\overline{x}_{2}) &\ldots &(x_{i,1}-\overline{x}_{1})(x_{i,1}-\overline{x}_{d})\\ (x_{i,2}-\overline{x}_{2})(x_{i,1}-\overline{x}_{1}) &(x_{i,2}-\overline{x}_{2})(x_{i,2}-\overline{x}_{2}) &\ldots& (x_{i,2}-\overline{x}_{2})(x_{i,2}-\overline{x}_{d}) \\ \vdots &\ddots &\\ (x_{i,d}-\overline{x}_{d})(x_{i,1}-\overline{x}_{1}) &(x_{i,d}-\overline{x}_{d})(x_{i,2}-\overline{x}_{2})&\ldots&(x_{i,d}-\overline{x}_{d})(x_{i,1}-\overline{x}_{d}) \\ \end{array} \right) \\ \\ \end{eqnarray} であるから、 \begin{eqnarray} \hat{\text{T}}^{-1}&=&(n\text{S})^{-1} \\ \\ &=& \frac{1}{n}\text{S}^{-1} \end{eqnarray} となる。\(\hat{\text{T}}^{-1}\)の\((k,k')\)成分、つまり\(\frac 1n\text{S}^{-1}\)の\((k,k')\)成分を\(S^{k,k'}\)と書ける((-1)は付随していないが、\(\text{S}\)の逆行列の成分を表す)。
\(\hat{\beta_k}^2/\text{A}_{22}\)を求めると、 \begin{eqnarray} &&\frac{\hat{\beta_k}^2}{\text{A}_{22}}\\ \\ &=& \frac{\hat{\beta}_k^2}{(\text{X}^{\text{T}}\text{X})^{-1}_{k+1,k+1} } \\ \\ &=& \frac{\hat{\beta}_k^2}{\hat{\text{T}}^{-1}_{k,k} } \\ \\ &=& \frac{\hat{\beta}_k^2}{\text{S}^{k,k}/n } \\ \\ \end{eqnarray} が得られる。p.130の\(\sigma^2\)の不偏推定量\(\hat{\sigma}^2=R_1^2/(n-d-1)\)より、 \begin{eqnarray} T&=& \frac{(R_0^2-R_1^2)/1}{R_1^2/(n-d-1)} \\ \\ &=& \frac{\hat{\beta}_k^2}{\text{S}^{k,k}/n}\frac{1}{\hat{\sigma}^2} \\ \\ &=& \frac{\hat{\beta}_k^2}{\hat{\sigma}^2 \text{S}^{k,k}/n}\\ \\ \end{eqnarray} が得られる。

内容について一名に議論していただいた。Zennリンク
上記の\(\beta_k=0\)における議論において、\(\text{X}^{\text{T}}\text{X}\)の\((1,1)\)成分を求める。 \begin{eqnarray} \text{X}_1&=& \left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \\ \end{array} \right)\\ \\ \text{X}_2&=& \left( \begin{array}{cccc} x_{1,1}&x_{1,2}&\ldots&x_{1,d} \\ x_{2,1}&x_{2,2}&\ldots&x_{2,d} \\ \vdots \\ x_{n,1}&x_{n,2}&\ldots&x_{n,d} \\ \end{array} \right)\\ \\ \text{X}&=&[\text{X}_1,\text{X}_2] \end{eqnarray} として\((\text{X}^{\text{T}}\text{X})^{-1}\)を考えると、 \begin{eqnarray} (\text{X}^{\text{T}}\text{X})^{-1} &=& \left( \begin{array}{cccc} \text{X}_1^{\text{T}}\text{X}_1&\text{X}_1^{\text{T}}\text{X}_2 \\ \text{X}_2^{\text{T}}\text{X}_1&\text{X}_2^{\text{T}}\text{X}_2 \\ \end{array} \right)^{-1} &=& \left( \begin{array}{cccc} (\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}+(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2}\text{F}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1} &-\text{E}\text{X}_{1}^{\text{T}}\text{X}_{2}(\text{X}_{2}^{\text{T}}\text{X}_{2})^{-1} \\ -\text{F}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1} & (\text{X}_{2}^{\text{T}}\text{X}_{2}-\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2}=\text{F}\\ \end{array} \right)&...(1)(2)より \\ \\ \end{eqnarray} ここで、\(\text{X}^{\text{T}}\text{X}\)の\((1,1)\)成分を求める。 \begin{eqnarray} &&(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}+(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1}\text{X}_{1}^{\text{T}}\text{X}_{2}\text{F}\text{X}_{2}^{\text{T}}\text{X}_{1}(\text{X}_{1}^{\text{T}}\text{X}_{1})^{-1} \\ \\ &=& ((1,1,\ldots,1) \left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \\ \end{array} \right))^{-1}+((1,1,\ldots,1)\left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \\ \end{array} \right))^{-1}(1,1,\ldots,1)\left( \begin{array}{cccc} x_{1,1}&x_{1,2}&\ldots&x_{1,d} \\ x_{2,1}&x_{2,2}&\ldots&x_{2,d} \\ \vdots \\ x_{n,1}&x_{n,2}&\ldots&x_{n,d} \\ \end{array} \right)\text{F}\left( \begin{array}{cccc} x_{1,1}&x_{2,1}&\ldots&x_{n,1} \\ x_{1,2}&x_{2,2}&\ldots&x_{n,2} \\ \vdots \\ x_{1,d}&x_{2,d}&\ldots&x_{n,d} \\ \end{array} \right)\left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \\ \end{array} \right)((1,1,\ldots,1)\left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \\ \end{array} \right))^{-1} \\ \\ &=& n^{-1}+n^{-1} (\displaystyle\sum_{i=1}^nx_{i,1},\displaystyle\sum_{i=1}^nx_{i,2},\ldots,\displaystyle\sum_{i=1}^nx_{i,d})\text{F}\left( \begin{array}{cccc} \displaystyle\sum_{i=1}^nx_{i,1} \\ \displaystyle\sum_{i=1}^nx_{i,2} \\ \vdots \\ \displaystyle\sum_{i=1}^nx_{i,d} \\ \end{array} \right)n^{-1} \\ \\ &=& n^{-1}+ (\overline{x}_1,\overline{x}_2,\ldots,\overline{x}_d)\hat{\text{T} }^{-1}\left( \begin{array}{cccc} \overline{x}_1 \\ \overline{x}_2 \\ \vdots \\ \overline{x}_d \\ \end{array} \right) \\ \\ &=& n^{-1}+ (\overline{x}_1,\overline{x}_2,\ldots,\overline{x}_d)\frac 1n\text{S}^{-1} \left( \begin{array}{cccc} \overline{x}_1 \\ \overline{x}_2 \\ \vdots \\ \overline{x}_d \\ \end{array} \right) \\ \\ &=& \frac{1}{n}\left(1+ (\overline{x}_1,\overline{x}_2,\ldots,\overline{x}_d)\text{S}^{-1} \left( \begin{array}{cccc} \overline{x}_1 \\ \overline{x}_2 \\ \vdots \\ \overline{x}_d \\ \end{array} \right)\right) \\ \\ &=& \frac{1}{n}\left(1+ (\displaystyle\sum_{k=1}^d \overline{x}_{k}\text{S}^{k1},\displaystyle\sum_{k=1}^d\overline{x}_{k}\text{S}^{k2},\ldots,\displaystyle\sum_{k=1}^d\overline{x}_{k}\text{S}^{kd}) \left( \begin{array}{cccc} \overline{x}_{1} \\ \overline{x}_{2} \\ \vdots \\ \overline{x}_{d} \\ \end{array} \right)\right) \\ \\ &=& \frac{1}{n}\left(1+ (\displaystyle\sum_{k=1}^d \overline{x}_{k}\text{S}^{k1}\overline{x}_{1}+\displaystyle\sum_{k=1}^d\overline{x}_{k}\text{S}^{k2}\overline{x}_{2}+\ldots+\displaystyle\sum_{k=1}^d\overline{x}_{k}\text{S}^{kd}\overline{x}_{d}) \right) \\ \\ &=& \frac{1}{n}\left(1+ \displaystyle\sum_{k,k'=1}^d \overline{x}_{k}\text{S}^{kk'}\overline{x}_{k'} \right) \\ \\ \end{eqnarray} が得られる。 そのため、 \begin{eqnarray} \frac{\hat{\beta}_0^2}{A_{22}} &=& \frac{\hat{\beta}_0^2}{\left(1+ \displaystyle\sum_{k,k'=1}^d \overline{x}_{k}\text{S}^{kk'}\overline{x}_{k'}\right)/n}\\ \\ \end{eqnarray} が得られる。これを用いて\(T\)を求めると、 \begin{eqnarray} T&=& \frac{(R_0^2-R_1^2)}{R_1/(n-d-1)} \\ \\ &=& \frac{\beta_0^2/\text{A }_{22} }{R_1^2/(n-d-1)} \\ \\ &=& \frac{\hat{\beta}_0^2}{\hat{\sigma}^2\left(1+ \displaystyle\sum_{k,k'=1}^d \overline{x}_{k}\text{S}^{kk'}\overline{x}_{k'}\right)/n} \\ \\ \end{eqnarray} が得られる。

\(R_0^2\)の導出において、\(\beta_0\)のみが値を持ち、上記の議論から、\(\rm{X}, \boldsymbol{\beta}\)は、 \begin{eqnarray} \boldsymbol{\beta}&=&\beta_0 \\ \\ \rm{X}&=&\left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \end{array} \right)=\rm{X}_1 \end{eqnarray} と書き直せる。\(P_{X_1}=\rm{X_1(X_1^TX_1)^{-1}X_1^T }\)を求める。 \begin{eqnarray} \rm{X_1^TX_1} &=& (1,\;1,\;\ldots,1)\left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \end{array} \right) \\ \\ &=& n\\ \\ (X_1^TX_1)^{-1} &=& \frac{1}{n} \\ \\ P_{X_1} &=& \rm{X_1(X_1^TX_1)^{-1}X_1^T } \\ \\ &=& \left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \end{array} \right)\frac{1}{n}(1,\;1,\;\ldots,1) \\ \\ &=& \frac{1}{n}\left( \begin{array}{cccc} 1&1&\ldots&1 \\ 1&1&\ldots&1 \\ \vdots&&\ddots&\vdots \\ 1 &1&\ldots&1 \end{array} \right) \end{eqnarray} となる。\(R_0^2\)を求めると \begin{eqnarray} R_0^2 &=& \|\rm{Y}-\rm{X_1}\beta_0 \|^2 \\ \\ &=& \|\rm{Y}-\hat{\rm{Y} }_1 \|^2 \\ \\ &=& \| (I-P_{X_1}) \rm{Y} \|^2 \\ \\ &=& \| (\rm{Y}-P_{X_1}\rm{Y}) \|^2 \\ \\ &=& \| \rm{Y}-\frac{1}{n}\left( \begin{array}{cccc} 1&1&\ldots&1 \\ 1&1&\ldots&1 \\ \vdots&&\ddots&\vdots \\ 1 &1&\ldots&1 \end{array} \right)\left( \begin{array}{cccc} y_1 \\ y_2 \\ \vdots \\ y_n \end{array} \right) \|^2 \\ \\ &=& \| \rm{Y}-\frac{1}{n}\left( \begin{array}{cccc} y_1+y_2+\ldots+y_n \\ y_1+y_2+\ldots+y_n \\ \vdots \\ y_1+y_2+\ldots+y_n \end{array} \right)\|^2 \\ \\ &=& \| \rm{Y}-\left( \begin{array}{cccc} \overline{y} \\ \overline{y} \\ \vdots \\ \overline{y} \end{array} \right)\|^2 \\ \\ &=& \| \rm{Y}-\boldsymbol{1}\overline{y}\|^2 \\ \\ \end{eqnarray} が得らえる。\(R_0^2-R_1^2\)を求める。その際に「全変動の平方和」=「回帰変動の平方和」+「残差変動の平方和」であることを利用する。
参考1
参考2:回帰分析 \begin{eqnarray} R_0^2-R_1^2 &=& \|\rm{Y}-\boldsymbol{1}\overline{y}\|^2-\|\rm{Y}-\hat{\rm{Y}}\|^2 \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}+\rm{Y}-\hat{\rm{Y} }\|^2-\|\rm{Y}-\hat{\rm{Y}}\|^2 \\ \\ &=& (\hat{\rm{Y} }-\boldsymbol{1}\overline{y}+\rm{Y}-\hat{\rm{Y} })^{\rm{T} }(\hat{\rm{Y} }-\boldsymbol{1}\overline{y}+\rm{Y}-\hat{\rm{Y} })-\|\rm{Y}-\hat{\rm{Y}}\|^2 \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+(\rm{Y}-\hat{\rm{Y} })^{\rm{T} }(\hat{\rm{Y} }-\boldsymbol{1}\overline{y})+(\hat{\rm{Y} }-\boldsymbol{1}\overline{y})^{\rm{T} }(\rm{Y}-\hat{\rm{Y} })+\|\rm{Y}-\hat{\rm{Y} }\|^2-\|\rm{Y}-\hat{\rm{Y}}\|^2 \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y}-\hat{\rm{Y} })^{\rm{T} }(\hat{\rm{Y} }-\boldsymbol{1}\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2((I-P_X)\rm{Y})^{\rm{T} }(P_X\rm{Y}-\boldsymbol{1}\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y^T}(I^{\rm{T}}-P_X^{\rm{T}}))(P_X\rm{Y}-\boldsymbol{1}\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y^T}(I-P_X))(P_X\rm{Y}-\boldsymbol{1}\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y^T}(I-P_X)P_X\rm{Y})-2(\rm{Y^T}(I-P_X)\boldsymbol{1}\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y^T}(P_X-P_X^2)\rm{Y})-2(\rm{Y^T}(I-P_X)\left( \begin{array}{cccc} 1 \\ 1 \\ \vdots \\ 1 \end{array} \right)\overline{y}) \\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2+2(\rm{Y^T}(P_X-P_X)\rm{Y})-2(\rm{Y^T}0\overline{y}) \;\;\;...\rm{X^T}e=e\rm{X}=0より\\ \\ &=& \|\hat{\rm{Y} }-\boldsymbol{1}\overline{y}\|^2\\ \\ &=& \|\rm{X}\hat{\boldsymbol{\beta} }-\boldsymbol{1}\overline{y}\|^2\\ \\ \end{eqnarray} が得られる。p.129における\(\rm{A}\)のランクが\(d\)なので、検定量\(T\)は、 \begin{eqnarray} T=\frac{\|\rm{X}\boldsymbol{\hat{\beta}}-\boldsymbol{1}\overline{y}\|^2/d}{\hat{\sigma}^2} \end{eqnarray} となる。