統計学実践ワークブックの行間埋め　第22章

こちらの解説など参考

\begin{eqnarray} V[y_j] &=& \frac{1}{n-1}\|\boldsymbol{y}_j\|^2 \\ \\ &=& \frac{1}{n-1}\boldsymbol{y}_j^{\text{T} } \boldsymbol{y}_j\\ \\ &=& \frac{1}{n-1}(\text{X}_C\boldsymbol{u}_j)^{\text{T} } (\text{X}_C\boldsymbol{u}_j)\\ \\ &=& \frac{1}{n-1}\boldsymbol{u}_j^{\text{T} }\text{X}_C^{\text{T} } \text{X}_C\boldsymbol{u}_j\\ \\ &=& \frac{1}{n-1}\boldsymbol{u}_j^{\text{T} }(n-1)\text{S}\boldsymbol{u}_j\;\;\;...p193より\\ \\ &=& \boldsymbol{u}_j^{\text{T} }\text{S}\boldsymbol{u}_j\\ \\ &=& ({\text{U}^{\text{T}} }\text{SU})_{j,j}\;\;\;...この計算のj,j成分が求めるものになる\\ \\ &=& diag(\lambda_1,\ldots,\lambda_p)_{j,j}\;\;\;...p.195より\\ \\ &=& \lambda_j\\ \\ \end{eqnarray}

\begin{eqnarray} \text{Cov}[y_j,y_k] &=& \frac{1}{n-1}\boldsymbol{y}_j^{\text{T} } \boldsymbol{y}_k\\ \\ &=& \frac{1}{n-1}(\text{X}_C\boldsymbol{u}_j)^{\text{T} } (\text{X}_C\boldsymbol{u}_k)\\ \\ &=& \frac{1}{n-1}\boldsymbol{u}_j^{\text{T} }\text{X}_C^{\text{T} } \text{X}_C\boldsymbol{u}_k\\ \\ &=& \frac{1}{n-1}\boldsymbol{u}_j^{\text{T} }(n-1)\text{S}\boldsymbol{u}_k\;\;\;...p193より\\ \\ &=& \boldsymbol{u}_j^{\text{T} }\text{S}\boldsymbol{u}_k\\ \\ &=& ({\text{U}^{\text{T}} }\text{SU})_{j,k}\;\;\;...この計算のj,k成分が求めるものになる\\ \\ &=& diag(\lambda_1,\ldots,\lambda_p)_{j,k}\;\;\;...p.195より\\ \\ &=& \sqrt{\lambda_j\lambda_k}\delta_{j,k}\\ \\ \end{eqnarray}

\begin{eqnarray} &&\boldsymbol{u}_j^{\text{T} }\text{S}\boldsymbol{u}_j&=&\lambda_j& \\ \\ &\Leftrightarrow&\boldsymbol{u}_j\boldsymbol{u}_j^{\text{T} }\text{S}\boldsymbol{u}_j&=&\boldsymbol{u}_j\lambda_j&\;\;\;\;\;\; \\ \\ &\Leftrightarrow&\langle \boldsymbol{u}_j, \boldsymbol{u}_j\rangle \text{S}\boldsymbol{u}_j&=&\boldsymbol{u}_j\lambda_j&\;\;\;\;\;\; \\ \\ &\Leftrightarrow&\text{S}\boldsymbol{u}_j&=&\lambda_j\boldsymbol{u}_j& \;\;\;...(式(22.6)より\langle \boldsymbol{u}_j, \boldsymbol{u}_j\rangle=1)\\ \\ \end{eqnarray}

\begin{eqnarray} \frac{1}{n-1}\text{X}_C^{\text{T} }\boldsymbol{y}_j &=& \frac{1}{n-1}\text{X}_C^{\text{T} }(\text{X}_C\boldsymbol{u}_j)\\ \\ &=& \frac{1}{n-1}(n-1)\text{S}\boldsymbol{u}_j\;\;\;...p193より\\ \\ &=& \text{S}\boldsymbol{u}_j\\ \\ \end{eqnarray} ここで、\(\boldsymbol{u}_j\)は\(\text{S}\)の固有ベクトルで、その固有値は\(\lambda_j\)なので、 \begin{eqnarray} \text{S}\boldsymbol{u}_j &=& \lambda_j\boldsymbol{u}_j\\ \\ \end{eqnarray} が得られる。このk成分が\(\text{Cov}[x_k,y_j]\)を表しているため、 \begin{eqnarray} \text{Cov}[x_k,y_j]=\lambda_j\boldsymbol{u}_{k,j}\\ \\ \end{eqnarray} となる。