- 確率変数の分布の特性値
- 歪度の基準が0であること
- 尖度の基準が3であること
- 同時分布の特性値
- 偏相関係数の導出
- 特性値の性質
- \( V[aX+b]=a^2V[X] \)の導出
- \( V[X\pm Y]=V[X]+V[Y]\pm 2\text{Cov}[X,Y] \)の導出
- \( E[E[X|Y]]=E[X] \)の導出
統計学実践ワークブックの行間埋め 第3章
\(E[X]\)を求めると
\begin{eqnarray}
E[X]
&=&
\int_{-\infty}^{\infty}x\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{(x-\mu)^2}{2\sigma ^2})dx \\
\\
&=&
\int_{-\infty}^{\infty}(x-\mu)\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{(x-\mu)^2}{2\sigma ^2})dx+\int_{-\infty}^{\infty}\mu\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{(x-\mu)^2}{2\sigma ^2})dx \\
\\
&=&
0+\mu\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{(x-\mu)^2}{2\sigma ^2})dx \\
\\
&=&
\mu \\
\end{eqnarray}
\(E[(X-E[X])^2]\)を求めると、
\begin{eqnarray}
E[(X-E[X])^2]=E[(X-\mu)^2]
&=&
\int_{-\infty}^{\infty}(x-\mu)^2\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{(x-\mu)^2}{2\sigma ^2})dx \\
\\
&=&
\int_{-\infty}^{\infty}y^2\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{y^2}{2\sigma ^2})dy \\
\\
&=&
[-y\sigma ^2 \frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{y^2}{2\sigma ^2})]_{-\infty}^{\infty}+\sigma^2 \int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{y^2}{2\sigma ^2})dy \\
\\
&=&
0+\sigma ^2=\sigma ^2 \\
\end{eqnarray}
\(E[(X-E[X])^3]\)を求めると、
\begin{eqnarray}
E[(X-E[X])^3]=E[(X-\mu)^3]
&=&
\int_{-\infty}^{\infty}(x-\mu)^3\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{(x-\mu)^2}{2\sigma ^2})dx \\
\\
&=&
\int_{-\infty}^{\infty}y^3\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{y^2}{2\sigma ^2})dy \\
\\
&=&
0
\end{eqnarray}
これは\( y^3\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{y^2}{2\sigma ^2}) \)が奇関数であるため。従って、歪度\( \frac{E[(X-E[X])^3]}{(V[X])^\frac{3}{2}} \)は0が基準となる。
\(E[(X-E[X])^4]\)を求めると、
\begin{eqnarray}
E[(X-E[X])^4]=E[(X-\mu)^4]
&=&
\int_{-\infty}^{\infty}(x-\mu)^4\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{(x-\mu)^2}{2\sigma ^2})dx \\
\\
&=&
[-(x-\mu)^3\sigma ^2 \frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{(x-\mu)^2}{2\sigma ^2})]_{-\infty}^{\infty}+\sigma^2 \int_{-\infty}^{\infty}3(x-\mu)^2\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{(x-\mu)^2}{2\sigma ^2}) dx\\
\\
&=&
3\sigma^2 \int_{-\infty}^{\infty}(x-\mu)^2\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{(x-\mu)^2}{2\sigma ^2})dx \\
\\
&=&
3\sigma^2 E[(X-\mu)^2]=3\sigma ^4 \\
\end{eqnarray}
従って、尖度\( \frac{E[(X-E[X])^4]}{(V[X])^2} \)は3が基準となる。
\( X,Y,Z \)の三変数について、\(Z\)の影響を除いた\(X',Y'\)の相関係数を求める。
こちらやこちらを参考に。
\(y_i=\beta _0+\beta _1 x_i+\varepsilon _i\)と書けるとする。(\(\varepsilon\sim N(0,\sigma ^2)\))
この時、\(e=\displaystyle \sum_{i=1}^n \varepsilon _i ^2\)を最小にする\(\beta_0,\beta_1\)を求める。 \begin{eqnarray} \left\{ \begin{array}{l} \frac{\partial e}{\partial \beta_0} = 0 \\ \frac{\partial e}{\partial \beta_1} = 0 \end{array} \right. \end{eqnarray} を求めればよい。 \begin{eqnarray} &\left\{ \begin{array}{l} \frac{\partial}{\partial \beta_0}(\displaystyle \sum_{i=1}^n (y_i -\beta_0 -\beta_1 x_i)^2) = 0 \\ \frac{\partial}{\partial \beta_1}(\displaystyle \sum_{i=1}^n (y_i -\beta_0 -\beta_1 x_i)^2) = 0 \end{array} \right. \\ \\ &\left\{ \begin{array}{l} -2(\displaystyle \sum_{i=1}^n (y_i -\beta_0 -\beta_1 x_i)) = 0 \\ \displaystyle \sum_{i=1}^n (-2x_i (y_i -\beta_0 -\beta_1 x_i)) = 0 \end{array} \right.\\ \\ \end{eqnarray} \(X,Y \)の平均値をそれぞれ\(\overline{x},\overline{y}\)として \begin{eqnarray} &\left\{ \begin{array}{l} \overline{y} -\beta_0 -\beta_1 \overline{x} = 0 \\ \displaystyle \sum_{i=1}^n x_i (y_i -\beta_0 -\beta_1 x_i) = 0 \end{array} \right.\\ \\ &\left\{ \begin{array}{l} \overline{y} -\beta_0 -\beta_1 \overline{x} = 0 \\ \displaystyle \sum_{i=1}^n x_i (y_i -(\overline{y}-\beta_1\overline{x}) -\beta_1 x_i) = 0 \end{array} \right.\\ \\ &\left\{ \begin{array}{l} \overline{y} -\beta_0 -\beta_1 \overline{x} = 0 \\ \displaystyle \sum_{i=1}^n (x_i-\overline{x}) (y_i -(\overline{y}-\beta_1\overline{x}) -\beta_1 x_i) +\displaystyle \sum_{i=1}^n \overline{x} (y_i -(\overline{y}-\beta_1\overline{x}) -\beta_1 x_i)= 0 \end{array} \right.\\ \\ &\left\{ \begin{array}{l} \overline{y} -\beta_0 -\beta_1 \overline{x} = 0 \\ \displaystyle \sum_{i=1}^n (x_i-\overline{x}) ((y_i -\overline{y})-\beta_1(x_i-\overline{x})) +\overline{x} (\overline{y} -(\overline{y}-\beta_1\overline{x}) -\beta_1 \overline{x})= 0 \end{array} \right.\\ \\ &\left\{ \begin{array}{l} \overline{y} -\beta_0 -\beta_1 \overline{x} = 0 \\ S_{XY}-\beta_1 S_{XX}+0=0 \end{array} \right. \end{eqnarray} \( S_{XX}=n\sigma_{XX}, S_{XY}=n\text{Cov}[X,Y] \)を用いて、 \begin{eqnarray} &\left\{ \begin{array}{l} \overline{y} -\beta_0 -\beta_1 \overline{x} = 0 \\ \text{Cov}[X,Y]-\beta_1 \sigma_{XX}^2=0 \end{array} \right.\\ \\ &\left\{ \begin{array}{l} \beta_0=\beta_1 \overline{x}-\overline{y} \\ \beta_1=\frac{\text{Cov}[X,Y]}{\sigma_{XX}^2} \end{array} \right. \end{eqnarray} と回帰係数が決まる。
途中、回帰係数の導出について。単回帰モデルにおける係数の求め方を用いている。
\(Y=\beta _0+\beta _1 X\)と表現できるモデルにおいて、各データが\(y_i=\beta _0+\beta _1 x_i+\varepsilon _i\)と書けるとする。(\(\varepsilon\sim N(0,\sigma ^2)\))
この時、\(e=\displaystyle \sum_{i=1}^n \varepsilon _i ^2\)を最小にする\(\beta_0,\beta_1\)を求める。 \begin{eqnarray} \left\{ \begin{array}{l} \frac{\partial e}{\partial \beta_0} = 0 \\ \frac{\partial e}{\partial \beta_1} = 0 \end{array} \right. \end{eqnarray} を求めればよい。 \begin{eqnarray} &\left\{ \begin{array}{l} \frac{\partial}{\partial \beta_0}(\displaystyle \sum_{i=1}^n (y_i -\beta_0 -\beta_1 x_i)^2) = 0 \\ \frac{\partial}{\partial \beta_1}(\displaystyle \sum_{i=1}^n (y_i -\beta_0 -\beta_1 x_i)^2) = 0 \end{array} \right. \\ \\ &\left\{ \begin{array}{l} -2(\displaystyle \sum_{i=1}^n (y_i -\beta_0 -\beta_1 x_i)) = 0 \\ \displaystyle \sum_{i=1}^n (-2x_i (y_i -\beta_0 -\beta_1 x_i)) = 0 \end{array} \right.\\ \\ \end{eqnarray} \(X,Y \)の平均値をそれぞれ\(\overline{x},\overline{y}\)として \begin{eqnarray} &\left\{ \begin{array}{l} \overline{y} -\beta_0 -\beta_1 \overline{x} = 0 \\ \displaystyle \sum_{i=1}^n x_i (y_i -\beta_0 -\beta_1 x_i) = 0 \end{array} \right.\\ \\ &\left\{ \begin{array}{l} \overline{y} -\beta_0 -\beta_1 \overline{x} = 0 \\ \displaystyle \sum_{i=1}^n x_i (y_i -(\overline{y}-\beta_1\overline{x}) -\beta_1 x_i) = 0 \end{array} \right.\\ \\ &\left\{ \begin{array}{l} \overline{y} -\beta_0 -\beta_1 \overline{x} = 0 \\ \displaystyle \sum_{i=1}^n (x_i-\overline{x}) (y_i -(\overline{y}-\beta_1\overline{x}) -\beta_1 x_i) +\displaystyle \sum_{i=1}^n \overline{x} (y_i -(\overline{y}-\beta_1\overline{x}) -\beta_1 x_i)= 0 \end{array} \right.\\ \\ &\left\{ \begin{array}{l} \overline{y} -\beta_0 -\beta_1 \overline{x} = 0 \\ \displaystyle \sum_{i=1}^n (x_i-\overline{x}) ((y_i -\overline{y})-\beta_1(x_i-\overline{x})) +\overline{x} (\overline{y} -(\overline{y}-\beta_1\overline{x}) -\beta_1 \overline{x})= 0 \end{array} \right.\\ \\ &\left\{ \begin{array}{l} \overline{y} -\beta_0 -\beta_1 \overline{x} = 0 \\ S_{XY}-\beta_1 S_{XX}+0=0 \end{array} \right. \end{eqnarray} \( S_{XX}=n\sigma_{XX}, S_{XY}=n\text{Cov}[X,Y] \)を用いて、 \begin{eqnarray} &\left\{ \begin{array}{l} \overline{y} -\beta_0 -\beta_1 \overline{x} = 0 \\ \text{Cov}[X,Y]-\beta_1 \sigma_{XX}^2=0 \end{array} \right.\\ \\ &\left\{ \begin{array}{l} \beta_0=\beta_1 \overline{x}-\overline{y} \\ \beta_1=\frac{\text{Cov}[X,Y]}{\sigma_{XX}^2} \end{array} \right. \end{eqnarray} と回帰係数が決まる。
p.16記載の\(E[X]\)に関する諸性質を用いる。
\begin{eqnarray}
V[aX+b]
&=&
E[(aX+b)^2]-(E[aX+b])^2 \\
\\
&=&
E[a^2X^2+2abX+b^2]-(aE[X]+b)^2\\
\\
&=&
a^2E[X^2]+2abE[X]+b^2-a^2(E[X])^2-2abE[X]-b^2 \\
\\
&=&
a^2(E[X^2]-(E[X])^2)=a^2V[X] \\
\end{eqnarray}
\begin{eqnarray}
V[X\pm Y]
&=&
E[(X\pm Y)^2]-(E[X\pm Y])^2 \\
\\
&=&
E[X^2\pm 2XY+Y^2]-(E[X]\pm E[Y])^2\\
\\
&=&
E[X^2]-(E[X])^2\pm 2(E[XY]-E[X][Y])+E[Y^2]-(E[Y])^2 \\
\\
&=&
V[X]+V[Y]\pm 2\text{Cov}[X,Y] \\
\end{eqnarray}
外側の期待値の計算の際の、\(E[X|Y]\)の確率密度関数に注意する。\(X,Y\)に関する確率密度関数を\(f(x,y)\)とする。\(X\)全域について積分することを\(\int_X \)として、\(Y\)についても同様とする。\(E[X|Y]\)を求めると、
\begin{eqnarray}
E[X|Y]
&=&
\int_X x\frac{f(x,y)}{\int_X f(x,y)}dx \\
\end{eqnarray}
が得られる。この時、\(E[X|Y]\)の確率密度関数は\(f_Y(y)=\int_X f(x,y)dx\)となる(Yに関して全領域なので)。\(E[E[X|Y]]\)を求めると、
\begin{eqnarray}
E[E[X|Y]]
&=&
E\left[\int_X x\frac{f(x,y)}{\int_X f(x,y)}dx\right] \\ \\
&=&
\int_Y \left( \int_X x\frac{f(x,y)}{\int_X f(x,y)dx} \int_X f(x,y)dx\right) dy \\ \\
&=&
\int_Y \int_X xf(x,y) dx dy \\ \\
&=&
E[X]
\end{eqnarray}