統計学の行間埋め 第５章
\(\S\)5.1 分散分析
- p.119：一元配置分散分析の\(S_T\)の分解の導出
- p.119：一元配置分散分析の\(S_T\)の自由度\(\phi_T\)の導出
- p.119：一元配置分散分析の\(S_A\)の自由度\(\phi_A=a-1\)の導出
- p.119：一元配置分散分析の\(S_e\)の自由度\(\phi_e=ar-a\)の導出
- p.120：二元配置分散分析の\(S_T\)の分解の導出
- p.121：二元配置分散分析の\(S_A,S_B\)の自由度\(\phi_A,\phi_B\)の導出
- p.121：二元配置分散分析の\(S_e\)の自由度\(\phi_e\)の導出
- p.120：二元配置分散分析の\(S_T\)の自由度の導出
- p.123中段上：交互作用のある二元配置分散分析の\(S_T\)を\(S_{AB},S_{e}\)へ分解することの導出
- p124：交互作用のある二元配置分散分析の\(S_T\)の自由度の導出
- p.123中段：\(S_{AB}\)の分解の導出
- p.123,p124：交互作用のある二元配置分散分析の\(S_{A},S_B\)の自由度の導出
- p.123,p124：交互作用のある二元配置分散分析の\(S_{A\times B}\)の自由度の導出
- p124：交互作用のある二元配置分散分析の\(S_e\)の自由度の導出
- p125：\(\beta\)の導出
- p125：\(\tilde{\beta}\)の導出
- p126：\(S_r,S_w,S_e\)の自由度の導出(作成中)
- p126：\(S_b,S_w,S_t\)の自由度の導出(作成中)
\begin{eqnarray}
S_T
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^r(x_{ij}-\overline{\overline{x}})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^r(x_{ij}{\color{red}-\overline{x}_{i\cdot}+\overline{x}_{i\cdot}}-\overline{\overline{x}})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^r\left\{(x_{ij}-\overline{x}_{i\cdot})^2+2(x_{ij}-\overline{x}_{i\cdot})(\overline{x}_{i\cdot}-\overline{\overline{x}})+(\overline{x}_{i\cdot}-\overline{\overline{x}})^2\right\} \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^r(x_{ij}-\overline{x}_{i\cdot})^2+\sum_{i=1}^a2(\sum_{j=1}^rx_{ij}-r\overline{x}_{i\cdot})(\overline{x}_{i\cdot}-\overline{\overline{x}})+\sum_{i=1}^a\sum_{j=1}^r(\overline{x}_{i\cdot}-\overline{\overline{x}})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^r(x_{ij}-\overline{x}_{i\cdot})^2+\sum_{i=1}^a2r(\frac{1}{r}\sum_{j=1}^rx_{ij}-\overline{x}_{i\cdot})(\overline{x}_{i\cdot}-\overline{\overline{x}})+\sum_{i=1}^a\sum_{j=1}^r(\overline{x}_{i\cdot}-\overline{\overline{x}})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^r(x_{ij}-\overline{x}_{i\cdot})^2+\sum_{i=1}^a2r(\overline{x}_{i\cdot}-\overline{x}_{i\cdot})(\overline{x}_{i\cdot}-\overline{\overline{x}})+\sum_{i=1}^a\sum_{j=1}^r(\overline{x}_{i\cdot}-\overline{\overline{x}})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^r(x_{ij}-\overline{x}_{i\cdot})^2+\sum_{i=1}^a\sum_{j=1}^r\underbrace{(\overline{x}_{i\cdot}-\overline{\overline{x}})^2}_{j\text{に依存しない}} \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^r(x_{ij}-\overline{x}_{i\cdot})^2+r\sum_{i=1}^a(\overline{x}_{i\cdot}-\overline{\overline{x}})^2 \\ \\
\end{eqnarray}
と導出できる。
帰無仮説を仮定しているため、\(x_{ij}\sim N(\mu,\sigma^2)\)とおけるとすると、
\begin{eqnarray}
S_T
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^r(x_{ij}-\overline{\overline{x}})^2
\end{eqnarray}
のとき、p.62の標本分散を考えると
\begin{eqnarray}
E[S_T]
&=&
E\left[\displaystyle\sum_{i=1}^a\sum_{j=1}^r(x_{ij}-\overline{\overline{x}})^2 \right] \\ \\
&=&
arE\left[\frac{1}{ar}\displaystyle\sum_{i=1}^a\sum_{j=1}^r(x_{ij}-\overline{\overline{x}})^2 \right] \\ \\
&=&
ar\frac{ar-1}{ar}\sigma^2&...&\text{p.67より}n\to ar\text{とした} \\ \\
&=&
(ar-1)\sigma^2
\end{eqnarray}
となることから自由度は\(\phi_T=ar-1\)と言える。
帰無仮説を考えているため、\(x_{i}\sim N(\mu,\sigma^2)\)を仮定する。
\(S_A\)の期待値を求めると、
\begin{eqnarray}
E[S_A]
&=&
E\left[r\displaystyle \sum_{i=1}^a (\overline{x}_i-\overline{\overline{x}})^2 \right] \\ \\
&=&
E\left[r\displaystyle \sum_{i=1}^a ((\overline{x}_i-\mu)-(\overline{\overline{x}}-\mu))^2 \right] \\ \\
&=&
E\left[r\displaystyle \sum_{i=1}^a \left((\overline{x}_i-\mu)^2-2(\overline{x}_i-\mu)(\overline{\overline{x}}-\mu)+(\overline{\overline{x}}-\mu)^2\right) \right] \\ \\
&=&
E\left[r\displaystyle \sum_{i=1}^a (\overline{x}_i-\mu)^2\right]-2E \left[r(\overline{\overline{x}}-\mu)\displaystyle \sum_{i=1}^a (\overline{x}_i-\mu)\right]+E \left[r\displaystyle \sum_{i=1}^a (\overline{\overline{x}}-\mu)^2\ \right] \\ \\
&=&
E\left[r\displaystyle \sum_{i=1}^a (\overline{x}_i-\mu)^2\right]-2E \left[r(\overline{\overline{x}}-\mu)\displaystyle \sum_{i=1}^a (\overline{\overline{x}}-\mu)\right]+E \left[r\displaystyle \sum_{i=1}^a (\overline{\overline{x}}-\mu)^2\ \right] \\ \\
&=&
rV\left[\displaystyle \sum_{i=1}^a\overline{x}_i\right]-rE \left[\displaystyle \sum_{i=1}^a (\overline{\overline{x}}-\mu)^2\ \right] \\ \\
&=&
r\displaystyle \sum_{i=1}^aV\left[\overline{x}_i\right]-r\displaystyle \sum_{i=1}^aV \left[\overline{\overline{x}} \right] \\ \\
&=&
r\displaystyle \sum_{i=1}^aV\left[\frac 1n\sum_{j=1}^nx_{ij}\right]-r\displaystyle \sum_{i=1}^aV \left[\frac{1}{ar}\displaystyle \sum_{i=1}^a \displaystyle \sum_{j=1}^r x_{ij} \right] \\ \\
&=&
r\displaystyle \sum_{i=1}^a\frac 1{r^2}V\left[\sum_{j=1}^nx_{ij}\right]-r\displaystyle \sum_{i=1}^a\frac{1}{(ar)^2}V \left[\displaystyle \sum_{i=1}^a \displaystyle \sum_{j=1}^r x_{ij} \right] \\ \\
&=&
r\displaystyle \sum_{i=1}^a\frac 1{r^2}r\sigma^2-r\displaystyle \sum_{i=1}^a\frac{1}{(ar)^2}ar\sigma^2 \\ \\
&=&
ra\frac 1{r^2}r\sigma^2-ra\frac{1}{(ar)^2}ar\sigma^2 \\ \\
&=&
a\sigma^2-\sigma^2 \\ \\
&=&
\sigma^2(a-1) \\ \\
\end{eqnarray}
よって、\(S_A\)の自由度は\(\phi_A=a-1\)。
帰無仮説を考えているため、\(x_{ij}\sim N(\mu,\sigma^2)\)を仮定する。
\(S_e\)の期待値を求めると、
\begin{eqnarray}
E[S_e]
&=&
E\left[\displaystyle \sum_{i=1}^a \displaystyle \sum_{j=1}^r(x_{ij}-\overline{x}_{i\cdot})^2 \right] \\ \\
&=&
E\left[\displaystyle \sum_{i=1}^a \displaystyle \sum_{j=1}^r ((x_{ij}-\mu)-(\overline{x}_{i\cdot}-\mu))^2 \right] \\ \\
&=&
E\left[\displaystyle \sum_{i=1}^a \displaystyle \sum_{j=1}^r \left((x_{ij}-\mu)^2-2(x_{ij}-\mu)(\overline{x}_{i\cdot}-\mu)+(\overline{x}_{i\cdot}-\mu)^2\right) \right] \\ \\
&=&
E\left[\displaystyle \sum_{i=1}^a \displaystyle \sum_{j=1}^r (x_{ij}-\mu)^2\right]-2E \left[\displaystyle \sum_{i=1}^a(\overline{x}_{i\cdot}-\mu)\displaystyle \sum_{j=1}^r (x_{ij}-\mu)\right]+E \left[\displaystyle \sum_{i=1}^a\displaystyle \sum_{j=1}^r (\overline{x}_{i\cdot}-\mu)^2\ \right] \\ \\
&=&
ar\sigma^2-2E \left[\displaystyle \sum_{i=1}^a(\overline{x}_{i\cdot}-\mu)\displaystyle \sum_{j=1}^r \underbrace{(\overline{x}_{i\cdot}-\mu)}_{(1)}\right]+E \left[\displaystyle \sum_{i=1}^a\displaystyle \sum_{j=1}^r (\overline{x}_{i\cdot}-\mu)^2\ \right]&...&(1)\frac{1}{r}\displaystyle\sum_{j=1}^rx_{ij}=\overline{x}_{i\cdot}\text{を用いた} \\ \\
&=&
ar\sigma^2-2E \left[\displaystyle \sum_{i=1}^a\displaystyle \sum_{j=1}^r (\overline{x}_{i\cdot}-\mu)^2\right]+E \left[\displaystyle \sum_{i=1}^a\displaystyle \sum_{j=1}^r (\overline{x}_{i\cdot}-\mu)^2\ \right] \\ \\
&=&
ar\sigma^2-E \left[\displaystyle \sum_{i=1}^a\displaystyle \sum_{j=1}^r (\overline{x}_{i\cdot}-\mu)^2\ \right] \\ \\
&=&
ar\sigma^2-rE \left[\displaystyle \sum_{i=1}^a (\overline{x}_{i\cdot}-\mu)^2 \right] \\ \\
&=&
ar\sigma^2-r\displaystyle \sum_{i=1}^aV \left[ \overline{x}_{i\cdot} \right] \\ \\
&=&
ar\sigma^2-r\displaystyle \sum_{i=1}^a\frac{\sigma^2}{r} \\ \\
&=&
ar\sigma^2-a\sigma^2 \\ \\
&=&
\sigma^2a(r-1) \\ \\
\end{eqnarray}
よって、\(S_e\)の自由度は\(\phi_e=a(r-1)\)。\(\phi_A\)を求めるところと同じ式は省略した。
\begin{eqnarray}
\displaystyle\sum_{i=1}^a\sum_{j=1}^b(x_{ij}-\overline{\overline{x}})^2 &=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b \left\{ (x_{ij} {\color{red}- \overline{x}_{i\cdot} + \overline{x}_{i\cdot}} - \overline{\overline{x}}) \right\}^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b \left\{ (x_{ij} - \overline{x}_{i\cdot}) + (\overline{x}_{i\cdot} - \overline{\overline{x}}) \right\}^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b \left\{ (x_{ij} - \overline{x}_{i\cdot})^2 + 2(x_{ij} - \overline{x}_{i\cdot})(\overline{x}_{i\cdot} - \overline{\overline{x}}) + (\overline{x}_{i\cdot} - \overline{\overline{x}})^2 \right\} \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b (x_{ij} - \overline{x}_{i\cdot})^2 + 2 \sum_{i=1}^a\sum_{j=1}^b (x_{ij} - \overline{x}_{i\cdot})(\overline{x}_{i\cdot} - \overline{\overline{x}}) + \sum_{i=1}^a\sum_{j=1}^b (\overline{x}_{i\cdot} - \overline{\overline{x}})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b (x_{ij} - \overline{x}_{i\cdot})^2 + 2 \sum_{i=1}^a\underbrace{(\overline{x}_{i\cdot} - \overline{\overline{x}})}_{j\text{によらない}}\sum_{j=1}^b (x_{ij} - \overline{x}_{i\cdot}) + \sum_{i=1}^a\sum_{j=1}^b (\overline{x}_{i\cdot} - \overline{\overline{x}})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b (x_{ij} - \overline{x}_{i\cdot})^2 + 2 \sum_{i=1}^a(\overline{x}_{i\cdot} - \overline{\overline{x}})\sum_{j=1}^b 0 + \sum_{i=1}^a\sum_{j=1}^b (\overline{x}_{i\cdot} - \overline{\overline{x}})^2&...&\overline{x}_{i\cdot}=\frac{1}{a}\displaystyle\sum_{i=1}^a x_{ij}\text{より} \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b (x_{ij} - \overline{x}_{i\cdot})^2 + \sum_{i=1}^a\sum_{j=1}^b (\overline{x}_{i\cdot} - \overline{\overline{x}})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b (x_{ij} +{\color{red}\overline{x}_{\cdot j}-\overline{x}_{\cdot j}+\overline{\overline{x}}-\overline{\overline{x}}}- \overline{x}_{i\cdot})^2 + \underbrace{b\sum_{i=1}^a (\overline{x}_{i\cdot} - \overline{\overline{x}})^2}_{j\text{に依存しないため}} \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b \{(x_{ij} -\overline{x}_{\cdot j}- \overline{x}_{i\cdot}+\overline{\overline{x}})+(\overline{x}_{\cdot j}-\overline{\overline{x}})\}^2 + b\sum_{i=1}^a (\overline{x}_{i\cdot} - \overline{\overline{x}})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b (x_{ij} -\overline{x}_{\cdot j}- \overline{x}_{i\cdot}+\overline{\overline{x}})^2+2\displaystyle\sum_{i=1}^a\sum_{j=1}^b (x_{ij} -\overline{x}_{\cdot j}- \overline{x}_{i\cdot}+\overline{\overline{x}})(\overline{x}_{\cdot j}-\overline{\overline{x}})+\displaystyle\sum_{i=1}^a\sum_{j=1}^b (\overline{x}_{\cdot j}-\overline{\overline{x}})^2 + b\sum_{i=1}^a (\overline{x}_{i\cdot} - \overline{\overline{x}})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b (x_{ij} -\overline{x}_{\cdot j}- \overline{x}_{i\cdot}+\overline{\overline{x}})^2+2\displaystyle\sum_{j=1}^b (\sum_{i=1}^ax_{ij} -\sum_{i=1}^a\overline{x}_{\cdot j}- \sum_{i=1}^a\overline{x}_{i\cdot}+\sum_{i=1}^a\overline{\overline{x}})(\underbrace{\overline{x}_{\cdot j}-\overline{\overline{x}}}_{i\text{に依存しない}})+a\displaystyle\sum_{j=1}^b (\overline{x}_{\cdot j}-\overline{\overline{x}})^2 + b\sum_{i=1}^a (\overline{x}_{i\cdot} - \overline{\overline{x}})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b (x_{ij} -\overline{x}_{\cdot j}- \overline{x}_{i\cdot}+\overline{\overline{x}})^2+2\displaystyle\sum_{j=1}^b (a\frac{1}{a}\sum_{i=1}^ax_{ij} -a\overline{x}_{\cdot j}- a\frac{1}{a}\sum_{i=1}^a\overline{x}_{i\cdot}+a\overline{\overline{x}})(\overline{x}_{\cdot j}-\overline{\overline{x}})+a\displaystyle\sum_{j=1}^b (\overline{x}_{\cdot j}-\overline{\overline{x}})^2 + b\sum_{i=1}^a (\overline{x}_{i\cdot} - \overline{\overline{x}})^2&...&i\text{に依存しない箇所には}a\text{をかけた} \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b (x_{ij} -\overline{x}_{\cdot j}- \overline{x}_{i\cdot}+\overline{\overline{x}})^2+2\displaystyle\sum_{j=1}^b (a\overline{x}_{\cdot j} -a\overline{x}_{\cdot j}- a\overline{\overline{x}}+a\overline{\overline{x}})(\overline{x}_{\cdot j}-\overline{\overline{x}})+a\displaystyle\sum_{j=1}^b (\overline{x}_{\cdot j}-\overline{\overline{x}})^2 + b\sum_{i=1}^a (\overline{x}_{i\cdot} - \overline{\overline{x}})^2&...&\frac{1}{a}\displaystyle\sum_{i=1}^ax_{ij}=\overline{x}_{\cdot j},\frac{1}{ab}\displaystyle\sum_{i=1}^a\sum_{j=1}^b x_{ij}=\frac{1}{a}\sum_{i=1}^a\overline{x_{i\cdot}}=\overline{\overline{x}}\text{を用いた} \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b (x_{ij} -\overline{x}_{\cdot j}- \overline{x}_{i\cdot}+\overline{\overline{x}})^2+2\displaystyle\sum_{j=1}^b 0\cdot(\overline{x}_{\cdot j}-\overline{\overline{x}})+a\displaystyle\sum_{j=1}^b (\overline{x}_{\cdot j}-\overline{\overline{x}})^2 + b\sum_{i=1}^a (\overline{x}_{i\cdot} - \overline{\overline{x}})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b (x_{ij} -\overline{x}_{\cdot j}- \overline{x}_{i\cdot}+\overline{\overline{x}})^2+a\displaystyle\sum_{j=1}^b (\overline{x}_{\cdot j}-\overline{\overline{x}})^2+ b\sum_{i=1}^a (\overline{x}_{i\cdot} - \overline{\overline{x}})^2 \\ \\
\end{eqnarray}
と導出できる。
\(S_A=b\displaystyle\sum_{i=1}^a(\overline{x}_{i\cdot}-\overline{\overline{x}})^2\)を用いる。
帰無仮説を考えているため、\(x_{ij}\sim N(\mu,\sigma^2)\)を仮定する。
\(S_A\)の期待値を求めると、
\begin{eqnarray}
E[S_A]
&=&
E\left[b\displaystyle \sum_{i=1}^a (\overline{x}_{i\cdot}-\overline{\overline{x}})^2 \right] \\ \\
&=&
E\left[b\displaystyle \sum_{i=1}^a ((\overline{x}_{i\cdot}-\mu)-(\overline{\overline{x}}-\mu))^2 \right] \\ \\
&=&
E\left[b\displaystyle \sum_{i=1}^a \left((\overline{x}_{i\cdot}-\mu)^2-2(\overline{x}_{i\cdot}-\mu)(\overline{\overline{x}}-\mu)+(\overline{\overline{x}}-\mu)^2\right) \right] \\ \\
&=&
E\left[b\displaystyle \sum_{i=1}^a (\overline{x}_{i\cdot}-\mu)^2\right]-2E \left[b(\overline{\overline{x}}-\mu)\displaystyle \sum_{i=1}^a (\overline{x}_{i\cdot}-\mu)\right]+E \left[b\displaystyle \sum_{i=1}^a (\overline{\overline{x}}-\mu)^2\ \right] \\ \\
&=&
E\left[b\displaystyle \sum_{i=1}^a (\overline{x}_{i\cdot}-\mu)^2\right]-2E \left[b(\overline{\overline{x}}-\mu)\displaystyle \sum_{i=1}^a (\overline{\overline{x}}-\mu)\right]+E \left[b\displaystyle \sum_{i=1}^a (\overline{\overline{x}}-\mu)^2\ \right] \\ \\
&=&
bV\left[\displaystyle \sum_{i=1}^a\overline{x}_{i\cdot}\right]-bE \left[\displaystyle \sum_{i=1}^a (\overline{\overline{x}}-\mu)^2\ \right] \\ \\
&=&
b\displaystyle \sum_{i=1}^aV\left[\overline{x}_{i\cdot}\right]-b\displaystyle \sum_{i=1}^aV \left[\overline{\overline{x}} \right] \\ \\
&=&
b\displaystyle \sum_{i=1}^aV\left[\frac 1b\sum_{j=1}^bx_{ij}\right]-b\displaystyle \sum_{i=1}^aV \left[\frac{1}{ab}\displaystyle \sum_{i=1}^a \displaystyle \sum_{j=1}^b x_{ij} \right] \\ \\
&=&
b\displaystyle \sum_{i=1}^a\frac 1{b^2}V\left[\sum_{j=1}^bx_{ij}\right]-b\displaystyle \sum_{i=1}^a\frac{1}{(ab)^2}V \left[\displaystyle \sum_{i=1}^a \displaystyle \sum_{j=1}^b x_{ij} \right] \\ \\
&=&
b\displaystyle \sum_{i=1}^a\frac 1{b^2}b\sigma^2-b\displaystyle \sum_{i=1}^a\frac{1}{(ab)^2}ab\sigma^2 \\ \\
&=&
ba\frac 1{b^2}r\sigma^2-ba\frac{1}{(ab)^2}ab\sigma^2 \\ \\
&=&
a\sigma^2-\sigma^2 \\ \\
&=&
\sigma^2(a-1) \\ \\
\end{eqnarray}
よって、\(S_A\)の自由度は\(\phi_A=a-1\)。同様にして\(S_B\)の自由度は\(\phi_B=b-1\)と導出できる。
\(S_e=\displaystyle\sum_{i=1}^a\sum_{j=1}^b(x_{ij}-\overline{x}_{i\cdot}-\overline{x}_{\cdot j}+\overline{\overline{x}})^2\)を用いる。
帰無仮説を考えているため、\(x_{ij}\sim N(\mu,\sigma^2)\)を仮定する。
\(S_A\)の期待値を求めると、
\begin{eqnarray}
E[S_e]
&=&
E\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b (x_{ij}-\overline{x}_{i\cdot}-\overline{x}_{\cdot j}+\overline{\overline{x}})^2 \right] \\ \\
&=&
E\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b ((x_{ij}-\overline{\overline{x}})-(\overline{x}_{i\cdot}-\overline{\overline{x}})-(\overline{x}_{\cdot j}-\overline{\overline{x}}))^2 \right] \\ \\
&=&
E\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b ((x_{ij}-\overline{\overline{x}})^2+(\overline{x}_{i\cdot}-\overline{\overline{x}})^2+(\overline{x}_{\cdot j}-\overline{\overline{x}})^2-2 \left((x_{ij}-\overline{\overline{x}})(\overline{x}_{i\cdot}-\overline{\overline{x}})+(\overline{x}_{i\cdot}-\overline{\overline{x}})(\overline{x}_{\cdot j}-\overline{\overline{x}})+(\overline{x}_{\cdot j}-\overline{\overline{x}})(x_{ij}-\overline{\overline{x}}) \right)) \right] \\ \\
&=&
E\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b (x_{ij}-\overline{\overline{x}})^2\right]+E\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b (\overline{x}_{i\cdot}-\overline{\overline{x}})^2\right]+E\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b (\overline{x}_{\cdot j}-\overline{\overline{x}})^2\right]\\ \\
&&-2 E\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b(x_{ij}-\overline{\overline{x}})(\overline{x}_{i\cdot}-\overline{\overline{x}}) \right]-2 E\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b(\overline{x}_{i\cdot}-\overline{\overline{x}})(\overline{x}_{\cdot j}-\overline{\overline{x}})\right]-2 E\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b(\overline{x}_{\cdot j}-\overline{\overline{x}})(x_{ij}-\overline{\overline{x}}) \right] \\ \\ \\
&=&
E\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b ((x_{ij}-\mu)-(\overline{\overline{x}})-\mu))^2\right]+bE\left[\displaystyle \sum_{i=1}^a (\overline{x}_{i\cdot}-\overline{\overline{x}})^2\right]+aE\left[\displaystyle \sum_{j=1}^b (\overline{x}_{\cdot j}-\overline{\overline{x}})^2\right]\\ \\
&&-2 E\left[\displaystyle \sum_{i=1}^a (\overline{x}_{i\cdot}-\overline{\overline{x}})\sum_{j=1}^b(x_{ij}-\overline{\overline{x}}) \right]-2 E\left[\displaystyle \sum_{i=1}^a(\overline{x}_{i\cdot}-\overline{\overline{x}}) \sum_{j=1}^b(\overline{x}_{\cdot j}-\overline{\overline{x}})\right]-2 E\left[\displaystyle \sum_{j=1}^b(\overline{x}_{\cdot j}-\overline{\overline{x}})\sum_{i=1}^a (x_{ij}-\overline{\overline{x}}) \right] \\ \\ \\
&=&
E\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b ((x_{ij}-\mu)^2-2(x_{ij}-\mu)(\overline{\overline{x}})-\mu)+(\overline{\overline{x}})-\mu)^2)\right]+\sigma^2(a-1)+\sigma^2(b-1)\\ \\
&&-2 E\left[\displaystyle \sum_{i=1}^a (\overline{x}_{i\cdot}-\overline{\overline{x}})\sum_{j=1}^b(\overline{x}_{i\cdot}-\overline{\overline{x}}) \right]-2 E\left[\displaystyle \sum_{i=1}^a(\overline{\overline{x}})-\overline{\overline{x}}) \sum_{j=1}^b(\overline{\overline{x}})-\overline{\overline{x}})\right]-2 E\left[\displaystyle \sum_{j=1}^b(\overline{x}_{\cdot j}-\overline{\overline{x}})\sum_{i=1}^a (\overline{x}_{\cdot j}-\overline{\overline{x}}) \right] \\ \\ \\
&=&
E\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b ((x_{ij}-\mu)^2-2(\overline{\overline{x}})-\mu)(\overline{\overline{x}})-\mu)+(\overline{\overline{x}})-\mu)^2)\right]+\sigma^2(a-1)+\sigma^2(b-1)\\ \\
&&-2 bE\left[\displaystyle \sum_{i=1}^a (\overline{x}_{i\cdot}-\overline{\overline{x}})^2 \right]-0-2 aE\left[\displaystyle \sum_{j=1}^b(\overline{x}_{\cdot j}-\overline{\overline{x}})^2 \right] \\ \\ \\
&=&
E\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b ((x_{ij}-\mu)^2-(\overline{\overline{x}})-\mu)^2)\right]+\sigma^2(a-1)+\sigma^2(b-1)\\ \\
&&-2 \sigma(a-1)-2\sigma^2(b-1) \\ \\ \\
&=&
E\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b (x_{ij}-\mu)^2\right]-E\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b (\overline{\overline{x}})-\mu)^2\right]\\ \\
&&- \sigma(a-1)-\sigma^2(b-1) \\ \\ \\
&=&
\displaystyle \sum_{i=1}^a \sum_{j=1}^b E\left[(x_{ij}-\mu)^2\right]-\displaystyle \sum_{i=1}^a \sum_{j=1}^b E\left[(\overline{\overline{x}})-\mu)^2\right]\\ \\
&&- \sigma(a-1)-\sigma^2(b-1) \\ \\ \\
&=&
\displaystyle \sum_{i=1}^a \sum_{j=1}^b V\left[x_{ij}\right]-\displaystyle \sum_{i=1}^a \sum_{j=1}^b V\left[\overline{\overline{x}}\right]\\ \\
&&- \sigma(a-1)-\sigma^2(b-1) \\ \\ \\
&=&
\displaystyle \sum_{i=1}^a \sum_{j=1}^b V\left[x_{ij}\right]-\displaystyle \sum_{i=1}^a \sum_{j=1}^b V\left[\frac{1}{ab}\sum_{i=1}^a\sum_{j=1}^b x_{ij}\right]\\ \\
&&- \sigma(a-1)-\sigma^2(b-1) \\ \\ \\
&=&
\displaystyle \sum_{i=1}^a \sum_{j=1}^b \sigma^2-\displaystyle \sum_{i=1}^a \sum_{j=1}^b \frac{1}{(ab)^2}ab\sigma^2\\ \\
&&- \sigma(a-1)-\sigma^2(b-1) \\ \\ \\
&=&
ab\sigma^2-ab \frac{1}{(ab)^2}ab\sigma^2- \sigma(a-1)-\sigma^2(b-1) \\ \\
&=&
(ab-a-b+1)\sigma^2
\end{eqnarray}
よって、\(S_e\)の自由度は\(\phi_e=ab-a-b+1\)と導出できる。
帰無仮説を仮定しているため、\(x_{ij}\sim N(\mu,\sigma^2)\)とおけるとすると、
\begin{eqnarray}
S_T
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b(x_{ij}-\overline{\overline{x}})^2
\end{eqnarray}
のとき、p.62の標本分散を考えると
\begin{eqnarray}
E[S_T]
&=&
E\left[\displaystyle\sum_{i=1}^a\sum_{j=1}^b(x_{ij}-\overline{\overline{x}})^2 \right] \\ \\
&=&
abE\left[\frac{1}{ab}\displaystyle\sum_{i=1}^a\sum_{j=1}^b(x_{ij}-\overline{\overline{x}})^2 \right] \\ \\
&=&
ab\frac{ab-1}{ab}\sigma^2&...&\text{p.67より}n\to ab\text{とした} \\ \\
&=&
(ab-1)\sigma^2
\end{eqnarray}
となることから自由度は\(\phi_T=ab-1\)と言える。
\begin{eqnarray}
S_T
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^r(x_{ijk}-\overline{\overline{x}})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^r(x_{ijk}-\overline{x}_{ij\cdot}+\overline{x}_{ij\cdot}-\overline{\overline{x}})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^r\{(x_{ijk}-\overline{x}_{ij\cdot})^2+2(x_{ijk}-\overline{x}_{ij\cdot})(\overline{x}_{ij\cdot}-\overline{\overline{x}})+(\overline{x}_{ij\cdot}-\overline{\overline{x}})^2\} \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^r(x_{ijk}-\overline{x}_{ij\cdot})^2+\displaystyle\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^r2(x_{ijk}-\overline{x}_{ij\cdot})(\overline{x}_{ij\cdot}-\overline{\overline{x}})+\displaystyle\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^r(\overline{x}_{ij\cdot}-\overline{\overline{x}})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^r(x_{ijk}-\overline{x}_{ij\cdot})^2+\displaystyle\sum_{i=1}^a\sum_{j=1}^b\underbrace{(\overline{x}_{ij\cdot}-\overline{\overline{x}})}_{(1)}\sum_{k=1}^r2(x_{ijk}-\overline{x}_{ij\cdot})+\displaystyle\sum_{i=1}^a\sum_{j=1}^br\underbrace{(\overline{x}_{ij\cdot}-\overline{\overline{x}})^2}_{(1)}&...&(1)k\text{によらないため} \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^r(x_{ijk}-\overline{x}_{ij\cdot})^2+\displaystyle\sum_{i=1}^a\sum_{j=1}^b(\overline{x}_{ij\cdot}-\overline{\overline{x}})\sum_{k=1}^r2r\left(\frac{1}{r}x_{ijk}-\frac{1}{r}\overline{x}_{ij\cdot}\right)+\displaystyle\sum_{i=1}^a\sum_{j=1}^br(\overline{x}_{ij\cdot}-\overline{\overline{x}})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^r(x_{ijk}-\overline{x}_{ij\cdot})^2+\displaystyle\sum_{i=1}^a\sum_{j=1}^b(\overline{x}_{ij\cdot}-\overline{\overline{x}})r\left(\overline{x}_{ij\cdot}-r\frac{1}{r}\overline{x}_{ij\cdot}\right)+\displaystyle\sum_{i=1}^a\sum_{j=1}^br(\overline{x}_{ij\cdot}-\overline{\overline{x}})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^r(x_{ijk}-\overline{x}_{ij\cdot})^2+\displaystyle\sum_{i=1}^a\sum_{j=1}^br(\overline{x}_{ij\cdot}-\overline{\overline{x}})^2 \\ \\
&=&
S_{AB}+S_{e}&...&\text{p.123中段より}
\end{eqnarray}
と導出できる。
帰無仮説を仮定しているため、\(x_{ij}\sim N(\mu,\sigma^2)\)とおけるとすると、
\begin{eqnarray}
S_T
&=&
\displaystyle\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^r(x_{ijk}-\overline{\overline{x}})^2
\end{eqnarray}
のとき、p.62の標本分散を考えると
\begin{eqnarray}
E[S_T]
&=&
E\left[\displaystyle\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^r(x_{ijk}-\overline{\overline{x}})^2 \right] \\ \\
&=&
abrE\left[\frac{1}{abr}\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^r(x_{ijk}-\overline{\overline{x}})^2 \right] \\ \\
&=&
abr\frac{abr-1}{abr}\sigma^2&...&\text{p.67より}n\to ar\text{とした} \\ \\
&=&
(abr-1)\sigma^2
\end{eqnarray}
となることから自由度は\(\phi_T=abr-1\)と言える。
「p.120：二元配置分散分析の\(S_T\)の分解の導出」に定数\(r\)をかけたものと等しい。
\(S_A=br\displaystyle\sum_{i=1}^a(\overline{x}_{i\cdot\cdot}-\overline{\overline{x}})^2\)を用いる。
帰無仮説を考えているため、\(x_{ijk}\sim N(\mu,\sigma^2)\)を仮定する。
\(S_A\)の期待値を求めると、
\begin{eqnarray}
E[S_A]
&=&
E\left[br\displaystyle \sum_{i=1}^a (\overline{x}_{i\cdot\cdot}-\overline{\overline{x}})^2 \right] \\ \\
&=&
E\left[br\displaystyle \sum_{i=1}^a ((\overline{x}_{i\cdot\cdot}-\mu)-(\overline{\overline{x}}-\mu))^2 \right] \\ \\
&=&
E\left[br\displaystyle \sum_{i=1}^a \left((\overline{x}_{i\cdot\cdot}-\mu)^2-2(\overline{x}_{i\cdot\cdot}-\mu)(\overline{\overline{x}}-\mu)+(\overline{\overline{x}}-\mu)^2\right) \right] \\ \\
&=&
E\left[br\displaystyle \sum_{i=1}^a (\overline{x}_{i\cdot\cdot}-\mu)^2\right]-2E \left[rb(\overline{\overline{x}}-\mu)\displaystyle \sum_{i=1}^a (\overline{x}_{i\cdot\cdot}-\mu)\right]+E \left[rb\displaystyle \sum_{i=1}^a (\overline{\overline{x}}-\mu)^2\ \right] \\ \\
&=&
E\left[br\displaystyle \sum_{i=1}^a (\overline{x}_{i\cdot\cdot}-\mu)^2\right]-2E \left[br(\overline{\overline{x}}-\mu)\displaystyle \sum_{i=1}^a (\overline{\overline{x}}-\mu)\right]+E \left[br\displaystyle \sum_{i=1}^a (\overline{\overline{x}}-\mu)^2\ \right] \\ \\
&=&
brV\left[\displaystyle \sum_{i=1}^a\overline{x}_{i\cdot\cdot}\right]-brE \left[\displaystyle \sum_{i=1}^a (\overline{\overline{x}}-\mu)^2\ \right] \\ \\
&=&
br\displaystyle \sum_{i=1}^aV\left[\overline{x}_{i\cdot\cdot}\right]-br\displaystyle \sum_{i=1}^aV \left[\overline{\overline{x}} \right] \\ \\
&=&
br\displaystyle \sum_{i=1}^aV\left[\frac 1{br}\sum_{j=1}^b\sum_{k=1}^rx_{ijk}\right]-br\displaystyle \sum_{i=1}^aV \left[\frac{1}{abr}\displaystyle \sum_{i=1}^a \sum_{j=1}^b\sum_{k=1}^r x_{ijk} \right] \\ \\
&=&
br\displaystyle \sum_{i=1}^a\frac 1{(br)^2}V\left[\sum_{j=1}^b\sum_{k=1}^rx_{ijk}\right]-br\displaystyle \sum_{i=1}^a\frac{1}{(abr)^2}V \left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b\sum_{k=1}^r x_{ijk} \right] \\ \\
&=&
br\displaystyle \sum_{i=1}^a\frac 1{(br)^2}b\sigma^2-br\displaystyle \sum_{i=1}^a\frac{1}{(abr)^2}abr\sigma^2 \\ \\
&=&
bra\frac 1{(br)^2}br\sigma^2-bra\frac{1}{(abr)^2}abr\sigma^2 \\ \\
&=&
a\sigma^2-\sigma^2 \\ \\
&=&
\sigma^2(a-1) \\ \\
\end{eqnarray}
よって、\(S_A\)の自由度は\(\phi_A=a-1\)。同様にして\(S_B\)の自由度は\(\phi_B=b-1\)と導出できる。
p.123下より
\begin{eqnarray}
S_{AB}
&=&
br\displaystyle\sum_{i=1}^a(\overline{x}_{i\cdot\cdot}-\overline{\overline{x}})^2+ar\displaystyle\sum_{j=1}^b(\overline{x}_{\cdot j\cdot}-\overline{\overline{x}})^2+r\sum_{i=1}^a\sum_{j=1}^b(\overline{x}_{ij\cdot}-\overline{x}_{i\cdot\cdot}-\overline{x}_{\cdot j\cdot}+\overline{\overline{x}})^2 \\ \\
&=&
S_A+S_B+S_{A\times B}
\end{eqnarray}
を用いる。
帰無仮説を考えているため、\(x_{ijk}\sim N(\mu,\sigma^2)\)を仮定する。
自由度を求めるために\(S_{A\times B}\)の期待値を求めると
\begin{eqnarray}
E[S_{A\times B}]
&=&
rE\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b (\overline{x}_{ij\cdot}-\overline{x}_{i\cdot\cdot}-\overline{x}_{\cdot j\cdot}+\overline{\overline{x}})^2 \right] \\ \\
&=&
rE\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b ((\overline{x}_{ij\cdot}-\overline{\overline{x}})-(\overline{x}_{i\cdot\cdot}-\overline{\overline{x}})-(\overline{x}_{\cdot j\cdot}-\overline{\overline{x}}))^2 \right] \\ \\
&=&
rE\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b ((\overline{x}_{ij\cdot}-\overline{\overline{x}})^2+(\overline{x}_{i\cdot\cdot}-\overline{\overline{x}})^2+(\overline{x}_{\cdot j\cdot}-\overline{\overline{x}})^2-2 \left((\overline{x}_{ij\cdot}-\overline{\overline{x}})(\overline{x}_{i\cdot\cdot}-\overline{\overline{x}})+(\overline{x}_{i\cdot\cdot}-\overline{\overline{x}})(\overline{x}_{\cdot j\cdot}-\overline{\overline{x}})+(\overline{x}_{\cdot j\cdot}-\overline{\overline{x}})(\overline{x}_{ij\cdot}-\overline{\overline{x}}) \right)) \right] \\ \\
&=&
rE\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b (\overline{x}_{ij\cdot}-\overline{\overline{x}})^2\right]+rE\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b (\overline{x}_{i\cdot\cdot}-\overline{\overline{x}})^2\right]+rE\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b (\overline{x}_{\cdot j\cdot}-\overline{\overline{x}})^2\right]\\ \\
&&-2 rE\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b(\overline{x}_{ij\cdot}-\overline{\overline{x}})(\overline{x}_{i\cdot\cdot}-\overline{\overline{x}}) \right]-2 rE\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b(\overline{x}_{i\cdot\cdot}-\overline{\overline{x}})(\overline{x}_{\cdot j\cdot}-\overline{\overline{x}})\right]-2 rE\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b(\overline{x}_{\cdot j\cdot}-\overline{\overline{x}})(\overline{x}_{ij\cdot}-\overline{\overline{x}}) \right] \\ \\ \\
&=&
rE\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b ((\overline{x}_{ij\cdot}-\mu)-(\overline{\overline{x}}-\mu))^2\right]+nbE\left[\displaystyle \sum_{i=1}^a (\overline{x}_{i\cdot\cdot}-\overline{\overline{x}})^2\right]+naE\left[\displaystyle \sum_{j=1}^b (\overline{x}_{\cdot j\cdot}-\overline{\overline{x}})^2\right]\\ \\
&&-2 rE\left[\displaystyle \sum_{i=1}^a (\overline{x}_{i\cdot\cdot}-\overline{\overline{x}})\sum_{j=1}^b(\overline{x}_{ij\cdot}-\overline{\overline{x}}) \right]-2 rE\left[\displaystyle \sum_{i=1}^a(\overline{x}_{i\cdot\cdot}-\overline{\overline{x}}) \sum_{j=1}^b(\overline{x}_{\cdot j\cdot}-\overline{\overline{x}})\right]-2 rE\left[\displaystyle \sum_{j=1}^b(\overline{x}_{\cdot j\cdot}-\overline{\overline{x}})\sum_{i=1}^a (\overline{x}_{ij\cdot}-\overline{\overline{x}}) \right] \\ \\ \\
&=&
rE\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b ((\overline{x}_{ij\cdot}-\mu)^2-2(\overline{x}_{ij\cdot}-\mu)(\overline{\overline{x}}-\mu)+(\overline{\overline{x}}-\mu)^2)\right]+\sigma^2(a-1)+\sigma^2(b-1)\\ \\
&&-2 rE\left[\displaystyle \sum_{i=1}^a (\overline{x}_{i\cdot\cdot}-\overline{\overline{x}})\sum_{j=1}^b(\overline{x}_{i\cdot\cdot}-\overline{\overline{x}}) \right]-2 rE\left[\displaystyle \sum_{i=1}^a(\overline{\overline{x}}-\overline{\overline{x}}) \sum_{j=1}^b(\overline{\overline{x}}-\overline{\overline{x}})\right]-2 rE\left[\displaystyle \sum_{j=1}^b(\overline{x}_{\cdot j\cdot}-\overline{\overline{x}})\sum_{i=1}^a (\overline{x}_{\cdot j\cdot}-\overline{\overline{x}}) \right] \\ \\ \\
&=&
rE\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b ((\overline{x}_{ij\cdot}-\mu)^2-2(\overline{\overline{x}}-\mu)(\overline{\overline{x}}-\mu)+(\overline{\overline{x}}-\mu)^2)\right]+\sigma^2(a-1)+\sigma^2(b-1)\\ \\
&&-2 brE\left[\displaystyle \sum_{i=1}^a (\overline{x}_{i\cdot\cdot}-\overline{\overline{x}})^2 \right]-0-2 naE\left[\displaystyle \sum_{j=1}^b(\overline{x}_{\cdot j\cdot}-\overline{\overline{x}})^2 \right] \\ \\ \\
&=&
rE\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b ((\overline{x}_{ij\cdot}-\mu)^2-(\overline{\overline{x}}-\mu)^2)\right]+\sigma^2(a-1)+\sigma^2(b-1)\\ \\
&&-2 \sigma(a-1)-2\sigma^2(b-1) \\ \\ \\
&=&
rE\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b (\overline{x}_{ij\cdot}-\mu)^2\right]-rE\left[\displaystyle \sum_{i=1}^a \sum_{j=1}^b (\overline{\overline{x}}-\mu)^2\right]\\ \\
&&- \sigma(a-1)-\sigma^2(b-1) \\ \\ \\
&=&
r\displaystyle \sum_{i=1}^a \sum_{j=1}^b E\left[(\overline{x}_{ij\cdot}-\mu)^2\right]-r\displaystyle \sum_{i=1}^a \sum_{j=1}^b E\left[(\overline{\overline{x}}-\mu)^2\right]\\ \\
&&- \sigma(a-1)-\sigma^2(b-1) \\ \\ \\
&=&
r\displaystyle \sum_{i=1}^a \sum_{j=1}^b V\left[\overline{x}_{ij\cdot}\right]-r\displaystyle \sum_{i=1}^a \sum_{j=1}^b V\left[\overline{\overline{x}}\right]\\ \\
&&- \sigma(a-1)-\sigma^2(b-1) \\ \\ \\
&=&
r\displaystyle \sum_{i=1}^a \sum_{j=1}^b V\left[\frac{1}{r}\sum_{k=1}^rx_{ijk}\right]-r\displaystyle \sum_{i=1}^a \sum_{j=1}^b V\left[\frac{1}{abr}\sum_{i=1}^a\sum_{j=1}^b\sum_{k=1}^r x_{ijk}\right]\\ \\
&&- \sigma(a-1)-\sigma^2(b-1) \\ \\ \\
&=&
r\displaystyle \sum_{i=1}^a \sum_{j=1}^b \frac{1}{r^2}r\sigma^2-r\displaystyle \sum_{i=1}^a \sum_{j=1}^b \frac{1}{(abr)^2}abr\sigma^2\\ \\
&&- \sigma(a-1)-\sigma^2(b-1) \\ \\ \\
&=&
nab\frac{1}{r^2}r\sigma^2-nab \frac{1}{(abr)^2}abr\sigma^2\\ \\
&&- \sigma(a-1)-\sigma^2(b-1) \\ \\ \\
&=&
ab\sigma^2-\sigma^2- \sigma a+\sigma^2-\sigma^2 b+\sigma^2 \\ \\ \\
&=&
ab\sigma^2- \sigma a-\sigma^2 b+\sigma^2 \\ \\ \\
&=&
\sigma^2(a-1)(b-1)\\ \\ \\
\end{eqnarray}
よって、\(S_{A\times B}\)の自由度は\(\phi_{A\times B}=(a-1)(b-1)\)。
p.123中段上の式の期待値を求めると、
\begin{eqnarray}
E[S_T]&=&E[S_{AB}]+E[S_e] \\ \\
&=&
E[S_A+S_B+S_{A\times B}]+E[S_e] \\ \\
&=&
E[S_A]+E[S_B]+E[S_{A\times B}]+E[S_e] \\ \\
\Leftrightarrow
(abr-1)\sigma^2
&=&
((a-1)\sigma^2+(b-1)\sigma^2+(a-1)(b-1)\sigma^2)+E[S_e] \\ \\
\Leftrightarrow
E[S_e]
&=&
(abr-ab)\sigma^2
\end{eqnarray}
よって、\(S_e\)の自由度は\(\phi_e=abr-ab\)。
各データが
\(y_{ij}=\alpha^{\prime}+\beta x_i+\varepsilon _i\)と書けるとする。(\(\varepsilon\sim N(0,\sigma ^2)\))のとき、
この時、\(e=\displaystyle \sum_{i=1}^n \varepsilon _i ^2\)を最小にする\(\alpha^{\prime},\beta\)を求める。
\begin{eqnarray}
\left\{
\begin{array}{l}
\frac{\partial e}{\partial \alpha^{\prime}_i} = 0 \\
\frac{\partial e}{\partial \beta} = 0
\end{array}
\right.
\end{eqnarray}
を求めればよい。
\begin{eqnarray}
&\left\{
\begin{array}{l}
\frac{\partial}{\partial \alpha^{\prime}_i}(\displaystyle \sum_{i=1}^a\sum_{j=1}^r (y_{ij} -\alpha^{\prime}_i -\beta x_{ij})^2) = 0 \\
\frac{\partial}{\partial \beta}(\displaystyle \sum_{i=1}^a\sum_{j=1}^r (y_{ij} -\alpha^{\prime}_i -\beta x_{ij})^2) = 0
\end{array}
\right. \\ \\
&\left\{
\begin{array}{l}
-2(\displaystyle \sum_{j=1}^r (y_{ij} -\alpha^{\prime}_i -\beta x_{ij})) = 0 &...&\alpha^{\prime}_j(i\neq j)\text{の項は0になるため}\\
\displaystyle \sum_{i=1}^a\sum_{j=1}^r (-2x_{ij} (y_{ij} -\alpha^{\prime}_i -\beta x_{ij})) = 0
\end{array}
\right.\\ \\
&\left\{
\begin{array}{l}
-2(\displaystyle \sum_{j=1}^r r\frac{1}{r}(y_{ij} -\alpha^{\prime}_i -\beta x_{ij})) = 0 \\
\displaystyle \sum_{i=1}^a\sum_{j=1}^r (-2x_{ij} (y_{ij} -\alpha^{\prime}_i -\beta x_{ij})) = 0
\end{array}
\right.\\ \\
\end{eqnarray}
\(x_{ij},y_{ij} \)の\(j\)についての平均値をそれぞれ\(\overline{x}_{i\cdot},\overline{y}_{i\cdot}\)として
\begin{eqnarray}
&\left\{
\begin{array}{l}
-2(\displaystyle r (\overline{y}_{i\cdot} -\alpha^{\prime}_i -\beta \overline{x}_{i\cdot})) = 0 \\
\displaystyle \sum_{i=1}^a\sum_{j=1}^r (-2x_{ij} (y_{ij} -\alpha^{\prime}_i -\beta x_{ij})) = 0
\end{array}
\right.\\ \\
&\left\{
\begin{array}{l}
(\overline{y}_{i\cdot} -\alpha^{\prime}_i -\beta \overline{x}_{i\cdot}) = 0 \\
\displaystyle \sum_{i=1}^a\sum_{j=1}^r x_{ij} (y_{ij} -\alpha^{\prime}_i -\beta x_{ij}) = 0
\end{array}
\right.\\ \\
&\left\{
\begin{array}{l}
(\overline{y}_{i\cdot} -\alpha^{\prime}_i -\beta \overline{x}_{i\cdot}) = 0 \\
\displaystyle \sum_{i=1}^a\sum_{j=1}^r x_{ij} (y_{ij} -(\overline{y}-\beta\overline{x}_{i\cdot}) -\beta x_{ij}) = 0&...&\alpha^{\prime}_j(j\neq i)\text{についても同様に代入}
\end{array}
\right.\\ \\
&\left\{
\begin{array}{l}
(\overline{y}_{i\cdot} -\alpha^{\prime}_i -\beta \overline{x}_{i\cdot}) = 0 \\
\displaystyle \sum_{i=1}^a\sum_{j=1}^r x_{ij} ((y_{ij} -\overline{y}_{i\cdot})+\beta(x_{ij}-\overline{x}_{i\cdot})) = 0
\end{array}
\right.\\ \\
&\left\{
\begin{array}{l}
(\overline{y}_{i\cdot} -\alpha^{\prime}_i -\beta \overline{x}_{i\cdot}) = 0 \\
\displaystyle \sum_{i=1}^a\sum_{j=1}^r x_{ij} ((y_{ij} -\overline{y}_{i\cdot})+\beta(x_{ij}-\overline{x}_{i\cdot}))-\underbrace{\displaystyle \sum_{i=1}^a\sum_{j=1}^r \overline{x}_{i\cdot} ((y_{ij} -\overline{y}_{i\cdot})+\beta(x_{ij}-\overline{x}_{i\cdot}))}_{(1)=0} = 0
\end{array}
\right.\\ \\
&\left\{
\begin{array}{l}
(\overline{y}_{i\cdot} -\alpha^{\prime}_i -\beta \overline{x}_{i\cdot}) = 0 \\
\displaystyle \sum_{i=1}^a\sum_{j=1}^r (x_{ij}-\overline{x}_{i\cdot}) ((y_{ij} -\overline{y}_{i\cdot})+\beta(x_{ij}-\overline{x}_{i\cdot})) = 0
\end{array}
\right.\\ \\
&\left\{
\begin{array}{l}
(\overline{y}_{i\cdot} -\alpha^{\prime}_i -\beta \overline{x}_{i\cdot}) = 0 \\
\displaystyle \sum_{i=1}^a\sum_{j=1}^r\beta(x_{ij}-\overline{x}_{i\cdot})(x_{ij}-\overline{x}_{i\cdot}) = \displaystyle \sum_{i=1}^a\sum_{j=1}^r (x_{ij}-\overline{x}_{i\cdot})(y_{ij} -\overline{y}_{i\cdot})
\end{array}
\right.\\ \\
&\left\{
\begin{array}{l}
(\overline{y}_{i\cdot} -\alpha^{\prime}_i -\beta \overline{x}_{i\cdot}) = 0 \\
\beta = \frac{\displaystyle \sum_{i=1}^a\sum_{j=1}^r (x_{ij}-\overline{x}_{i\cdot})(y_{ij} -\overline{y}_{i\cdot})}{\displaystyle \sum_{i=1}^a\sum_{j=1}^r(x_{ij}-\overline{x}_{i\cdot})(x_{ij}-\overline{x}_{i\cdot})}= \frac{\displaystyle \sum_{i=1}^a\sum_{j=1}^r (x_{ij}-\overline{x}_{i\cdot})(y_{ij} -\overline{y}_{i\cdot})}{\displaystyle \sum_{i=1}^a\sum_{j=1}^r(x_{ij}-\overline{x}_{i\cdot})^2}
\end{array}
\right.\\ \\
\end{eqnarray}
と導出することができる。
(1)について
\(\overline{x}_{i\cdot}\)が\(j\)によらないため、 \begin{eqnarray} \displaystyle \sum_{i=1}^a\sum_{j=1}^r \overline{x}_{i\cdot} ((y_{ij} -\overline{y}_{i\cdot})+\beta(x_{ij}-\overline{x}_{i\cdot})) &=& \displaystyle \sum_{i=1}^a\overline{x}_{i\cdot}\sum_{j=1}^r ((y_{ij} -\overline{y}_{i\cdot})+\beta(x_{ij}-\overline{x}_{i\cdot})) \\ \\ &=& \displaystyle \sum_{i=1}^a\overline{x}_{i\cdot}\sum_{j=1}^r ((r\frac{1}{r}y_{ij} -\overline{y}_{i\cdot})+\beta(r\frac{1}{r}x_{ij}-\overline{x}_{i\cdot})) \\ \\ &=& \displaystyle \sum_{i=1}^a\overline{x}_{i\cdot} ((r\overline{y}_{i\cdot} -r\overline{y}_{i\cdot})+\beta(r\overline{x}_{i\cdot}-r\overline{x}_{i\cdot})) \\ \\ &=& 0 \end{eqnarray} となる。
(1)について
\(\overline{x}_{i\cdot}\)が\(j\)によらないため、 \begin{eqnarray} \displaystyle \sum_{i=1}^a\sum_{j=1}^r \overline{x}_{i\cdot} ((y_{ij} -\overline{y}_{i\cdot})+\beta(x_{ij}-\overline{x}_{i\cdot})) &=& \displaystyle \sum_{i=1}^a\overline{x}_{i\cdot}\sum_{j=1}^r ((y_{ij} -\overline{y}_{i\cdot})+\beta(x_{ij}-\overline{x}_{i\cdot})) \\ \\ &=& \displaystyle \sum_{i=1}^a\overline{x}_{i\cdot}\sum_{j=1}^r ((r\frac{1}{r}y_{ij} -\overline{y}_{i\cdot})+\beta(r\frac{1}{r}x_{ij}-\overline{x}_{i\cdot})) \\ \\ &=& \displaystyle \sum_{i=1}^a\overline{x}_{i\cdot} ((r\overline{y}_{i\cdot} -r\overline{y}_{i\cdot})+\beta(r\overline{x}_{i\cdot}-r\overline{x}_{i\cdot})) \\ \\ &=& 0 \end{eqnarray} となる。
各データが
\(y_{ij}=\tilde{\alpha}^{\prime}+\tilde{\beta}_i x_i+\varepsilon _i\)と書けるとする。(\(\varepsilon\sim N(0,\sigma ^2)\))のとき、
この時、\(e=\displaystyle \sum_{i=1}^n \varepsilon _i ^2\)を最小にする\(\tilde{\alpha}^{\prime},\tilde{\beta}_i\)を求める。
\begin{eqnarray}
\left\{
\begin{array}{l}
\frac{\partial e}{\partial \tilde{\alpha}^{\prime}_i} = 0 \\
\frac{\partial e}{\partial \tilde{\beta}_i} = 0
\end{array}
\right.
\end{eqnarray}
を求めればよい。
\begin{eqnarray}
&\left\{
\begin{array}{l}
\frac{\partial}{\partial \tilde{\alpha}^{\prime}_i}(\displaystyle \sum_{i=1}^a\sum_{j=1}^r (y_{ij} -\tilde{\alpha}^{\prime}_i -\tilde{\beta}_i x_{ij})^2) = 0 \\
\frac{\partial}{\partial \tilde{\beta}_i}(\displaystyle \sum_{i=1}^a\sum_{j=1}^r (y_{ij} -\tilde{\alpha}^{\prime}_i -\tilde{\beta}_i x_{ij})^2) = 0
\end{array}
\right. \\ \\
&\left\{
\begin{array}{l}
-2(\displaystyle \sum_{j=1}^r (y_{ij} -\tilde{\alpha}^{\prime}_i -\tilde{\beta}_i x_{ij})) = 0 &...&\tilde{\alpha}^{\prime}_j(i\neq j)\text{の項は0になるため}\\
\displaystyle \sum_{j=1}^r (-2x_{ij} (y_{ij} -\tilde{\alpha}^{\prime}_i -\tilde{\beta}_i x_{ij})) = 0&...&\tilde{\beta}_j(i\neq j)\text{の項は0になるため}\\
\end{array}
\right.\\ \\
&\left\{
\begin{array}{l}
-2(\displaystyle \sum_{j=1}^r r\frac{1}{r}(y_{ij} -\tilde{\alpha}^{\prime}_i -\tilde{\beta}_i x_{ij})) = 0 \\
\displaystyle \sum_{j=1}^r (-2x_{ij} (y_{ij} -\tilde{\alpha}^{\prime}_i -\tilde{\beta}_i x_{ij})) = 0
\end{array}
\right.\\ \\
\end{eqnarray}
\(x_{ij},y_{ij} \)の\(j\)についての平均値をそれぞれ\(\overline{x}_{i\cdot},\overline{y}_{i\cdot}\)として
\begin{eqnarray}
&\left\{
\begin{array}{l}
-2(\displaystyle r (\overline{y}_{i\cdot} -\tilde{\alpha}^{\prime}_i -\tilde{\beta}_i \overline{x}_{i\cdot})) = 0 \\
\displaystyle \sum_{j=1}^r (-2x_{ij} (y_{ij} -\tilde{\alpha}^{\prime}_i -\tilde{\beta}_i x_{ij})) = 0
\end{array}
\right.\\ \\
&\left\{
\begin{array}{l}
(\overline{y}_{i\cdot} -\tilde{\alpha}^{\prime}_i -\tilde{\beta}_i \overline{x}_{i\cdot}) = 0 \\
\displaystyle \sum_{j=1}^r x_{ij} (y_{ij} -\tilde{\alpha}^{\prime}_i -\tilde{\beta}_i x_{ij}) = 0
\end{array}
\right.\\ \\
&\left\{
\begin{array}{l}
(\overline{y}_{i\cdot} -\tilde{\alpha}^{\prime}_i -\tilde{\beta}_i \overline{x}_{i\cdot}) = 0 \\
\displaystyle \sum_{j=1}^r x_{ij} (y_{ij} -(\overline{y}-\tilde{\beta}_i\overline{x}_{i\cdot}) -\tilde{\beta}_i x_{ij}) = 0&...&\tilde{\alpha}^{\prime}_j(j\neq i)\text{についても同様に代入}
\end{array}
\right.\\ \\
&\left\{
\begin{array}{l}
(\overline{y}_{i\cdot} -\tilde{\alpha}^{\prime}_i -\tilde{\beta}_i \overline{x}_{i\cdot}) = 0 \\
\displaystyle \sum_{j=1}^r x_{ij} ((y_{ij} -\overline{y}_{i\cdot})+\tilde{\beta}_i(x_{ij}-\overline{x}_{i\cdot})) = 0
\end{array}
\right.\\ \\
&\left\{
\begin{array}{l}
(\overline{y}_{i\cdot} -\tilde{\alpha}^{\prime}_i -\tilde{\beta}_i \overline{x}_{i\cdot}) = 0 \\
\displaystyle \sum_{j=1}^r x_{ij} ((y_{ij} -\overline{y}_{i\cdot})+\tilde{\beta}_i(x_{ij}-\overline{x}_{i\cdot}))-\underbrace{\displaystyle \sum_{j=1}^r \overline{x}_{i\cdot} ((y_{ij} -\overline{y}_{i\cdot})+\tilde{\beta}_i(x_{ij}-\overline{x}_{i\cdot}))}_{(1)=0} = 0
\end{array}
\right.\\ \\
&\left\{
\begin{array}{l}
(\overline{y}_{i\cdot} -\tilde{\alpha}^{\prime}_i -\tilde{\beta}_i \overline{x}_{i\cdot}) = 0 \\
\displaystyle \sum_{j=1}^r (x_{ij}-\overline{x}_{i\cdot}) ((y_{ij} -\overline{y}_{i\cdot})+\tilde{\beta}_i(x_{ij}-\overline{x}_{i\cdot})) = 0
\end{array}
\right.\\ \\
&\left\{
\begin{array}{l}
(\overline{y}_{i\cdot} -\tilde{\alpha}^{\prime}_i -\tilde{\beta}_i \overline{x}_{i\cdot}) = 0 \\
\displaystyle \sum_{j=1}^r\tilde{\beta}_i(x_{ij}-\overline{x}_{i\cdot})(x_{ij}-\overline{x}_{i\cdot}) = \displaystyle \sum_{j=1}^r\sum_{j=1}^r (x_{ij}-\overline{x}_{i\cdot})(y_{ij} -\overline{y}_{i\cdot})
\end{array}
\right.\\ \\
&\left\{
\begin{array}{l}
(\overline{y}_{i\cdot} -\tilde{\alpha}^{\prime}_i -\tilde{\beta}_i \overline{x}_{i\cdot}) = 0 \\
\tilde{\beta}_i = \frac{\displaystyle \sum_{j=1}^r (x_{ij}-\overline{x}_{i\cdot})(y_{ij} -\overline{y}_{i\cdot})}{\displaystyle \sum_{j=1}^r(x_{ij}-\overline{x}_{i\cdot})(x_{ij}-\overline{x}_{i\cdot})}= \frac{\displaystyle \sum_{j=1}^r (x_{ij}-\overline{x}_{i\cdot})(y_{ij} -\overline{y}_{i\cdot})}{\displaystyle \sum_{j=1}^r(x_{ij}-\overline{x}_{i\cdot})^2}
\end{array}
\right.\\ \\
\end{eqnarray}
と導出することができる。
(1)について
\(\overline{x}_{i\cdot}\)が\(j\)によらないため、 \begin{eqnarray} \displaystyle \sum_{j=1}^r \overline{x}_{i\cdot} ((y_{ij} -\overline{y}_{i\cdot})+\tilde{\beta}_i(x_{ij}-\overline{x}_{i\cdot})) &=& \displaystyle \overline{x}_{i\cdot}\sum_{j=1}^r ((r\frac{1}{r}y_{ij} -\overline{y}_{i\cdot})+\tilde{\beta}_i(r\frac{1}{r}x_{ij}-\overline{x}_{i\cdot})) \\ \\ &=& \overline{x}_{i\cdot} ((r\overline{y}_{i\cdot} -r\overline{y}_{i\cdot})+\tilde{\beta}_i(r\overline{x}_{i\cdot}-r\overline{x}_{i\cdot})) \\ \\ &=& 0 \end{eqnarray} となる。
(1)について
\(\overline{x}_{i\cdot}\)が\(j\)によらないため、 \begin{eqnarray} \displaystyle \sum_{j=1}^r \overline{x}_{i\cdot} ((y_{ij} -\overline{y}_{i\cdot})+\tilde{\beta}_i(x_{ij}-\overline{x}_{i\cdot})) &=& \displaystyle \overline{x}_{i\cdot}\sum_{j=1}^r ((r\frac{1}{r}y_{ij} -\overline{y}_{i\cdot})+\tilde{\beta}_i(r\frac{1}{r}x_{ij}-\overline{x}_{i\cdot})) \\ \\ &=& \overline{x}_{i\cdot} ((r\overline{y}_{i\cdot} -r\overline{y}_{i\cdot})+\tilde{\beta}_i(r\overline{x}_{i\cdot}-r\overline{x}_{i\cdot})) \\ \\ &=& 0 \end{eqnarray} となる。
こちらに似たような記載があるが難しい。
また、一般的にはANCOVAと呼ばれる分野らしいので、そちらも参考に。
また、一般的にはANCOVAと呼ばれる分野らしいので、そちらも参考に。
こちらに似たような記載があるが難しい。
また、一般的にはANCOVAと呼ばれる分野らしいので、そちらも参考に。
また、一般的にはANCOVAと呼ばれる分野らしいので、そちらも参考に。
\(\S\)5.2 回帰分析
- p.127：\(\hat{\alpha},\hat{\beta}\)の導出
- 式(5.2.1)の導出
- p.128中段：\(X,Y\)と\(U,V\)についての関係式の導出
- 式(5.2.2)の導出
- p.129中段：\(R^2\)の書き換えの導出
- p.129下段：\(S_R,S_e,S_{yy}\)の自由度の導出(作成中)
- p.130下：\(p+1\)元連立方程式の導出
- p.131下：\(S_{yy}\)の分解の導出
- p.132下：\(S_R,S_e,S_{yy}\)の自由度の導出
こちらなど参考。
p.127の\(S_e\)に\(\hat{\beta},\hat{\alpha}\)を代入する。
\begin{eqnarray}
S_e
&=&
\displaystyle\sum_{i=1}^n(y_i-\hat{\alpha}-\hat{\beta}x_i)^2 \\ \\
&=&
\displaystyle\sum_{i=1}^n\left(y_i-(\overline{y}-\hat{\beta}\overline{x})-\hat{\beta}x_i\right)^2 \\ \\
&=&
\displaystyle\sum_{i=1}^n\left((y_i-\overline{y})-\hat{\beta}(x_i-\overline{x})\right)^2 \\ \\
&=&
\displaystyle\sum_{i=1}^n\left((y_i-\overline{y})^2-2(y_i-\overline{y})\hat{\beta}(x_i-\overline{x})+(\hat{\beta}(x_i-\overline{x}))^2\right) \\ \\
&=&
S_{yy}-2\hat{\beta}S_{xy}+\hat{\beta}^2S_{xx} \\ \\
&=&
S_{yy}-2\frac{S_{xy}}{S_{xx}}S_{xy}+\frac{S_{xy}^2}{S_{xx}^2}S_{xx} \\ \\
&=&
S_{yy}-2\frac{S_{xy}^2}{S_{xx}}+\frac{S_{xy}^2}{S_{xx}} \\ \\
&=&
S_{yy}-\frac{S_{xy}^2}{S_{xx}}
\end{eqnarray}
と導出できる。
平均値について
\begin{eqnarray}
\overline{u}
&=&
E[U] \\ \\
&=&
E[aX+b] \\ \\
&=&
aE[X]+b&...&\text{p.14の定理より} \\ \\
&=&
a\overline{x}+b&...&\overline{x}=E[X]\text{とした} \\ \\
\end{eqnarray}
と導出できる。\(\overline{v}\)についても同様に導出できる。
分散について \begin{eqnarray} Var(u) &=& V[U] \\ \\ &=& V[aX+b] \\ \\ &=& a^2V[X]&...&\text{p.19定理より} \\ \\ &=& a^2Var(x)&\\ \\ \end{eqnarray} と導出できる。\(Var(v)\)についても同様に得られる。
共分散について \begin{eqnarray} Cov(u,v) &=& E(UV)-E(U)E(V)&...&\text{p.18下より} \\ \\ &=& E((aX+b)(cY+d))-E(aX+b)E(cY+d) \\ \\ &=& E(acXY+adX+bcY+bd)-(aE(X)+b)(cE(Y)+d)&...&\text{p.14の定理より} \\ \\ &=& acE(XY)+adE(X)+bcE(Y)+bd-[acE(X)E(Y)+adE(X)+bcE(Y)+bd]& \\ \\ &=& ac(E(XY)-E(X)E(Y))& \\ \\ &=& acCov(x,y)&...&\text{p.18下より} \\ \\ \end{eqnarray} と導出できる。
相関係数について \begin{eqnarray} \rho(u,v) &=& \frac{Cov(u,v)}{\sqrt{Var(u)}\sqrt{Var(v)}} &...&\text{p.128中段上より} \\ \\ &=& \frac{acCov(x,y)}{\sqrt{a^2Var(x)}\sqrt{c^2Var(y)}} &...&\text{他の導出より} \\ \\ &=& \frac{acCov(x,y)}{|a|\sqrt{Var(x)}|c|\sqrt{Var(y)}} &...&\text{ルートを外す際、絶対値になるため} \\ \\ &=& \underbrace{\frac{ac}{|a|\cdot|c|}}_{(1)}\rho(x,y) \\ \\ \end{eqnarray} が得られる。ここで(1)は\(ac\lt 0\)で\(-1\)、\(ac\gt 0\)で\(1\)をとる。
分散について \begin{eqnarray} Var(u) &=& V[U] \\ \\ &=& V[aX+b] \\ \\ &=& a^2V[X]&...&\text{p.19定理より} \\ \\ &=& a^2Var(x)&\\ \\ \end{eqnarray} と導出できる。\(Var(v)\)についても同様に得られる。
共分散について \begin{eqnarray} Cov(u,v) &=& E(UV)-E(U)E(V)&...&\text{p.18下より} \\ \\ &=& E((aX+b)(cY+d))-E(aX+b)E(cY+d) \\ \\ &=& E(acXY+adX+bcY+bd)-(aE(X)+b)(cE(Y)+d)&...&\text{p.14の定理より} \\ \\ &=& acE(XY)+adE(X)+bcE(Y)+bd-[acE(X)E(Y)+adE(X)+bcE(Y)+bd]& \\ \\ &=& ac(E(XY)-E(X)E(Y))& \\ \\ &=& acCov(x,y)&...&\text{p.18下より} \\ \\ \end{eqnarray} と導出できる。
相関係数について \begin{eqnarray} \rho(u,v) &=& \frac{Cov(u,v)}{\sqrt{Var(u)}\sqrt{Var(v)}} &...&\text{p.128中段上より} \\ \\ &=& \frac{acCov(x,y)}{\sqrt{a^2Var(x)}\sqrt{c^2Var(y)}} &...&\text{他の導出より} \\ \\ &=& \frac{acCov(x,y)}{|a|\sqrt{Var(x)}|c|\sqrt{Var(y)}} &...&\text{ルートを外す際、絶対値になるため} \\ \\ &=& \underbrace{\frac{ac}{|a|\cdot|c|}}_{(1)}\rho(x,y) \\ \\ \end{eqnarray} が得られる。ここで(1)は\(ac\lt 0\)で\(-1\)、\(ac\gt 0\)で\(1\)をとる。
\begin{eqnarray}
S_{yy}
&=&
\displaystyle\sum_{i=1}^n(y_i-\overline{y})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^n(y_i{\color{red}-\hat{\alpha}-\hat{\beta}x_i+\hat{\alpha}+\hat{\beta}x_i}-\overline{y})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^n((y_i-\hat{\alpha}-\hat{\beta}x_i)+(\hat{\alpha}+\hat{\beta}x_i-\overline{y}))^2 \\ \\
&=&
\displaystyle\sum_{i=1}^n((y_i-\hat{\alpha}-\hat{\beta}x_i)^2+2(y_i-\hat{\alpha}-\hat{\beta}x_i)(\hat{\alpha}+\hat{\beta}x_i-\overline{y})+(\hat{\alpha}+\hat{\beta}x_i-\overline{y})^2) \\ \\
&=&
\displaystyle\sum_{i=1}^n(y_i-\hat{\alpha}-\hat{\beta}x_i)^2+2\sum_{i=1}^n(y_i-\hat{\alpha}-\hat{\beta}x_i)(\hat{\alpha}+\hat{\beta}x_i-\overline{y})+\sum_{i=1}^n(\hat{\alpha}+\hat{\beta}x_i-\overline{y})^2 \\ \\
&=&
\displaystyle\sum_{i=1}^n(y_i-\hat{\alpha}-\hat{\beta}x_i)^2+2\sum_{i=1}^n(y_i-(\overline{y}-\hat{\beta}\overline{x})-\hat{\beta}x_i)(\overline{y}-\hat{\beta}\overline{x}+\hat{\beta}x_i-\overline{y})+\sum_{i=1}^n(\hat{\alpha}+\hat{\beta}x_i-\overline{y})^2&...&\text{p.127}\hat{\alpha}\text{より} \\ \\
&=&
\displaystyle\sum_{i=1}^n(y_i-\hat{\alpha}-\hat{\beta}x_i)^2+2\sum_{i=1}^n((y_i-\overline{y})-\hat{\beta}(x_i-\overline{x}))\hat{\beta}(x_i-\overline{x})+\sum_{i=1}^n(\hat{\alpha}+\hat{\beta}x_i-\overline{y})^2& \\ \\
&=&
\displaystyle\sum_{i=1}^n(y_i-\hat{\alpha}-\hat{\beta}x_i)^2+2\hat{\beta}\sum_{i=1}^n(y_i-\overline{y})(x_i-\overline{x})-2\sum_{i=1}^n\hat{\beta}^2(x_i-\overline{x})(x_i-\overline{x})+\sum_{i=1}^n(\hat{\alpha}+\hat{\beta}x_i-\overline{y})^2& \\ \\
&=&
\displaystyle\sum_{i=1}^n(y_i-\hat{\alpha}-\hat{\beta}x_i)^2+2\hat{\beta}S_{xy}-2\hat{\beta}^2S_{xx}+\sum_{i=1}^n(\hat{\alpha}+\hat{\beta}x_i-\overline{y})^2& \\ \\
&=&
\displaystyle\sum_{i=1}^n(y_i-\hat{\alpha}-\hat{\beta}x_i)^2+2\hat{\beta}\left(S_{xy}-\frac{S_{xy}}{S_{xx}}S_{xx}\right)+\sum_{i=1}^n(\hat{\alpha}+\hat{\beta}x_i-\overline{y})^2&...&\text{p.127}\hat{\beta}\text{を代入} \\ \\
&=&
\displaystyle\sum_{i=1}^n(y_i-\hat{\alpha}-\hat{\beta}x_i)^2+\sum_{i=1}^n(\hat{\alpha}+\hat{\beta}x_i-\overline{y})^2& \\ \\
\end{eqnarray}
と導出できる。
式(5.2.1)の両辺を\(S_{yy}\)で割ると
\begin{eqnarray}
&&S_e&=&S_{yy}-\frac{S_{xy}^2}{S_{xx}} \\ \\
&\Leftrightarrow&
\frac{S_e}{S_{yy}}&=&1-\frac{S_{xy}^2}{S_{xx}S_{yy}} \\ \\
&&&=&
1-R^2&...&\text{p.129の一つ目の}R^2\text{の式より} \\ \\
&\Leftrightarrow&
R^2&=&1-\frac{S_e}{S_{yy}}
\end{eqnarray}
と導出できる。
統計学実践ワークブックの第16章、「1-9:\(\displaystyle \sum_{i=1}^n (y_i-(1,x_i^{\rm{T} })\hat{\boldsymbol{\beta} })^2/(n-d-1)\left(=\frac{\|\boldsymbol{e}\|^2}{n-d-1}\right)\)が\(\sigma^2\)の不変分散となること」など参考。
こちらで求めている\(\|\boldsymbol{e}\|^2\)は\(S_e,S_{yy}\)に相当する。
そのため、\(S_e\)の自由度は、\(X\)が\(n\times 2\)の行列であり\(d=1\)であるため、\(\phi_e=n-(1+1)=n-2\)になる。
同様にして\(S_{yy}\)の自由度は、\(X\)が\(n\times 1\)の行列となり\(d=0\)であるため、\(\phi_{yy}=n-(1+0)=n-1\)になる。
この二つを用いると、 \begin{eqnarray} &&S_{yy}&=&S_{R}+S_{e} \\ \\ &\Leftrightarrow& E[S_{yy}]&=&E[S_{R}]+E[S_{e}] \\ \\ &\Leftrightarrow& \phi_{yy}\sigma^2&=&E[S_R]+\phi_{e}\sigma^2 \\ \\ &\Leftrightarrow& E[S_R]&=&\phi_{yy}\sigma^2-\phi_{e}\sigma^2 \\ \\ &&&=& 1\cdot\sigma^2 \end{eqnarray} となることから\(\phi_R=1\)となる。
こちらで求めている\(\|\boldsymbol{e}\|^2\)は\(S_e,S_{yy}\)に相当する。
そのため、\(S_e\)の自由度は、\(X\)が\(n\times 2\)の行列であり\(d=1\)であるため、\(\phi_e=n-(1+1)=n-2\)になる。
同様にして\(S_{yy}\)の自由度は、\(X\)が\(n\times 1\)の行列となり\(d=0\)であるため、\(\phi_{yy}=n-(1+0)=n-1\)になる。
この二つを用いると、 \begin{eqnarray} &&S_{yy}&=&S_{R}+S_{e} \\ \\ &\Leftrightarrow& E[S_{yy}]&=&E[S_{R}]+E[S_{e}] \\ \\ &\Leftrightarrow& \phi_{yy}\sigma^2&=&E[S_R]+\phi_{e}\sigma^2 \\ \\ &\Leftrightarrow& E[S_R]&=&\phi_{yy}\sigma^2-\phi_{e}\sigma^2 \\ \\ &&&=& 1\cdot\sigma^2 \end{eqnarray} となることから\(\phi_R=1\)となる。
\(S_e\)は行列を用いて表すと
\begin{eqnarray}
S_e&=&\left|y-(X\boldsymbol{\beta})\right|^2 \\ \\
&=&
\left(y-(X\boldsymbol{\beta})\right)^{\text{t}}\left(y-(X\boldsymbol{\beta})\right)
\end{eqnarray}
と書ける。ベクトル、行列の微分(こちらやパターン認識と機械学習（上）など参考)を用いると
\begin{eqnarray}
&&\frac{d S_e}{d\boldsymbol{\beta}}&=&0 \\ \\
&\Leftrightarrow&
\frac{d}{d\boldsymbol{\beta}}\left(y-(X\boldsymbol{\beta})\right)^{\text{t}}\left(y-(X\boldsymbol{\beta})\right)&=&0 \\ \\
&\Leftrightarrow&
-2X^{\text{t}}\left(y-(X\boldsymbol{\beta})\right)&=&0 \\ \\
&\Leftrightarrow&
X^{\text{t}}X\boldsymbol{\beta}&=&X^{\text{t}}y \\ \\
\end{eqnarray}
と導出できる。
統計学実践ワークブックに行列を用いた導出が記載されている。
統計学実践ワークブックの16章の「\(\displaystyle \sum_{i=1}^n (y_i-(1,x_i^{\rm{T} })\hat{\boldsymbol{\beta} })^2/(n-d-1)\left(=\frac{\|\boldsymbol{e}\|^2}{n-d-1}\right)\)が\(\sigma^2\)の不変分散となること」の記事を参考にする。
\(\overline{y}\)は\(p=0\)のときの\(\hat{y}\)であると考えられるため、 \begin{eqnarray} E[S_{yy}]&=&E[\displaystyle\sum_{i=1}^n(y_i-\overline{y})] \\ \\ &=& (n-1)\sigma^2 \end{eqnarray} となることから、自由度は\(\phi_{yy}=n-1\)となる。同様にして、本来の\(\hat{y}\)は変数が\(p\)個あるため、 \begin{eqnarray} E[S_e]&=&E[\displaystyle\sum_{i=1}^n(y_i-\hat{y}_i)^2] \\ \\ &=& (n-p-1)\sigma^2 \end{eqnarray} より、\(\phi_e=n-p-1\)が得らえる。
以上を用いて、p.131下部の\(S_{yy}\)の分解後の両辺の期待値をとると \begin{eqnarray} &&E[S_{yy}]&=&E[S_R]+E[S_e] \\ \\ &\Leftrightarrow& (n-1)\sigma^2&=&E[S_R]+(n-p-1)\sigma^2 \\ \\ &\Leftrightarrow& E[S_R]&=&p\sigma^2 \end{eqnarray} より、\(S_R\)の自由度は\(\phi_R=p\)となる。
\(\overline{y}\)は\(p=0\)のときの\(\hat{y}\)であると考えられるため、 \begin{eqnarray} E[S_{yy}]&=&E[\displaystyle\sum_{i=1}^n(y_i-\overline{y})] \\ \\ &=& (n-1)\sigma^2 \end{eqnarray} となることから、自由度は\(\phi_{yy}=n-1\)となる。同様にして、本来の\(\hat{y}\)は変数が\(p\)個あるため、 \begin{eqnarray} E[S_e]&=&E[\displaystyle\sum_{i=1}^n(y_i-\hat{y}_i)^2] \\ \\ &=& (n-p-1)\sigma^2 \end{eqnarray} より、\(\phi_e=n-p-1\)が得らえる。
以上を用いて、p.131下部の\(S_{yy}\)の分解後の両辺の期待値をとると \begin{eqnarray} &&E[S_{yy}]&=&E[S_R]+E[S_e] \\ \\ &\Leftrightarrow& (n-1)\sigma^2&=&E[S_R]+(n-p-1)\sigma^2 \\ \\ &\Leftrightarrow& E[S_R]&=&p\sigma^2 \end{eqnarray} より、\(S_R\)の自由度は\(\phi_R=p\)となる。