統計学基礎の行間埋め　第１章

こちらの解説などを参考
第五章に記載されている線形回帰モデルを用いて導出する。

式(1.6.3)を用いて、 \begin{eqnarray} &&\frac{\partial S(\hat{\alpha},\hat{\beta})}{\partial \hat{\alpha}} &=& \frac{\partial }{\partial \hat{\alpha}}\displaystyle\sum_{i=1}^n\{y_i-(\hat{\alpha}+\hat{\beta}x_i)\}^2 \\ \\ &&&=& -2\displaystyle\sum_{i=1}^n\{y_i-(\hat{\alpha}+\hat{\beta}x_i)\} \\ \\ &&&=& 0&...&\text{(1)} \\ \\ &\Leftrightarrow& \displaystyle\sum_{i=1}^ny_i-(\hat{\alpha}+\hat{\beta}x_i)&=&0 \\ \\ &\Leftrightarrow& \displaystyle\sum_{i=1}^ny_i-\sum_{i=1}^n\hat{\alpha}-\sum_{i=1}^n\hat{\beta}x_i&=&0 \\ \\ &\Leftrightarrow& \displaystyle\sum_{i=1}^ny_i-n\hat{\alpha}-\hat{\beta}\sum_{i=1}^nx_i&=&0 \\ \\ &\Leftrightarrow& n\hat{\alpha}+\hat{\beta}\sum_{i=1}^nx_i&=&\displaystyle\sum_{i=1}^ny_i \\ \\ \end{eqnarray} (1)では、p.34中段より、偏微分して\(0\)になるとした。同様にして \begin{eqnarray} &&\frac{\partial S(\hat{\alpha},\hat{\beta})}{\partial \hat{\beta} } &=& \frac{\partial }{\partial \hat{\beta} }\displaystyle\sum_{i=1}^n\{y_i-(\hat{\alpha}+\hat{\beta}x_i)\}^2 \\ \\ &&&=& \displaystyle\sum_{i=1}^n-2x_i\{y_i-(\hat{\alpha}+\hat{\beta}x_i)\} \\ \\ &&&=& 0&...&\text{(1)} \\ \\ &\Leftrightarrow& \displaystyle\sum_{i=1}^nx_i\{y_i-(\hat{\alpha}+\hat{\beta}x_i)\}&=&0 \\ \\ &\Leftrightarrow& \displaystyle\sum_{i=1}^nx_iy_i-\sum_{i=1}^nx_i\hat{\alpha}-\sum_{i=1}^n\hat{\beta}x_i^2&=&0 \\ \\ &\Leftrightarrow& \displaystyle\sum_{i=1}^nx_iy_i-\hat{\alpha}\sum_{i=1}^nx_i-\hat{\beta}\sum_{i=1}^nx_i^2&=&0 \\ \\ &\Leftrightarrow& \hat{\alpha}\displaystyle\sum_{i=1}^nx_i+\hat{\beta}\sum_{i=1}^nx_i^2&=&\displaystyle\sum_{i=1}^nx_iy_i \\ \\ \end{eqnarray} と導出できる。

式(1.6.4)の両辺を\(n\)で割ると \begin{eqnarray} && n\hat{\alpha}+\hat{\beta}\sum_{i=1}^nx_i&=&\displaystyle\sum_{i=1}^ny_i \\ \\ &\Leftrightarrow& \hat{\alpha}+\hat{\beta}\overline{x}&=&\overline{y}&...&\text{(1)} \\ \\ &\Leftrightarrow& \hat{\alpha}&=&\overline{y}-\hat{\beta}\overline{x}&...&\text{(2)} \end{eqnarray} が得られる。(1)では平均として式(1.3.1)を\(x,y\)それぞれに適用した。(2)は式(1.6.7)になる。(2)を式(1.6.5)に代入すると \begin{eqnarray} &&\hat{\alpha}\displaystyle\sum_{i=1}^nx_i+\hat{\beta}\sum_{i=1}^nx_i^2&=&\displaystyle\sum_{i=1}^nx_iy_i \\ \\ &\Leftrightarrow& (\overline{y}-\hat{\beta}\overline{x})\displaystyle\sum_{i=1}^nx_i+\hat{\beta}\sum_{i=1}^nx_i^2&=&\displaystyle\sum_{i=1}^nx_iy_i \\ \\ &\Leftrightarrow& \hat{\beta}\left(\displaystyle\sum_{i=1}^nx_i^2-\overline{x}\sum_{i=1}^nx_i\right)&=&\displaystyle\sum_{i=1}^nx_iy_i-\overline{y}\displaystyle\sum_{i=1}^nx_i \\ \\ &\Leftrightarrow& \hat{\beta}\left(\displaystyle\sum_{i=1}^nx_i^2-\overline{x}\sum_{i=1}^nx_i+{\color{red}\overline{x}\sum_{i=1}^nx_i-\overline{x}\sum_{i=1}^nx_i}\right)&=&\displaystyle\sum_{i=1}^nx_iy_i-\overline{y}\displaystyle\sum_{i=1}^nx_i+{\color{red}\overline{y}\displaystyle\sum_{i=1}^nx_i-\overline{y}\displaystyle\sum_{i=1}^nx_i} \\ \\ &\Leftrightarrow& \hat{\beta}\left(\displaystyle\sum_{i=1}^nx_i^2-2\overline{x}\sum_{i=1}^nx_i+\overline{x}\sum_{i=1}^n{\color{red}\overline{x}}\right)&=&\displaystyle\sum_{i=1}^nx_iy_i-\overline{y}\displaystyle\sum_{i=1}^nx_i+\overline{y}\displaystyle\sum_{i=1}^n{\color{red}\overline{x}}-\overline{y}\displaystyle\sum_{i=1}^n{\color{red}\overline{x}}&...&\text{(3)} \\ \\ &\Leftrightarrow& \hat{\beta}\left(\displaystyle\sum_{i=1}^nx_i^2-2\sum_{i=1}^nx_i\overline{x}+\sum_{i=1}^n\overline{x}^2\right)&=&\displaystyle\sum_{i=1}^nx_iy_i-\overline{y}\displaystyle\sum_{i=1}^nx_i+\displaystyle\sum_{i=1}^n\overline{x}\overline{y}-\overline{x}\displaystyle\sum_{i=1}^n{\color{red}\overline{y}}&...&\text{(4)} \\ \\ &\Leftrightarrow& \hat{\beta}\displaystyle\sum_{i=1}^n(x_i^2-2x_i\overline{x}+\overline{x}^2)&=&\displaystyle\sum_{i=1}^nx_iy_i-\overline{y}\displaystyle\sum_{i=1}^nx_i+\displaystyle\sum_{i=1}^n\overline{x}\overline{y}-\overline{x}\displaystyle\sum_{i=1}^n{\color{red}y_i}&...&\text{(5)} \\ \\ &\Leftrightarrow& \hat{\beta}\displaystyle\sum_{i=1}^n(x_i-\overline{x})^2&=&\displaystyle\sum_{i=1}^n(x_iy_i-\overline{y}x_i-\overline{x}y_i+\overline{x}\overline{y})& \\ \\ &\Leftrightarrow& \hat{\beta}\displaystyle\sum_{i=1}^n(x_i-\overline{x})^2&=&\displaystyle\sum_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})& \\ \\ &\Leftrightarrow& \hat{\beta}&=&\frac{\displaystyle\sum_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{\displaystyle\sum_{i=1}^n(x_i-\overline{x})^2}& \\ \\ \end{eqnarray} と導出できる。(3)では、式(1.3.1)より \begin{eqnarray} &&\overline{x}&=&\frac1n\displaystyle\sum_{i=1}^nx_i \\ \\ &\Leftrightarrow& n\overline{x}&=&\displaystyle\sum_{i=1}^nx_i \\ \\ &\Leftrightarrow& \displaystyle\sum_{i=1}^n\overline{x}&=&\displaystyle\sum_{i=1}^nx_i \\ \\ \end{eqnarray} を用いた。(4)では定数同士であることを用いた。(5)では(3)の逆を実施した。