統計学実践ワークブックの行間埋め　第18章

\begin{eqnarray} \log \left(\displaystyle\prod_{i=1}^n\pi_i^{y_i}(1-\pi_i)^{(1-y_i)} \right) &=& \displaystyle\sum_{i=1}^n\log \left(\pi_i^{y_i}(1-\pi_i)^{(1-y_i)} \right) \\ \\ &=& \displaystyle\sum_{i=1}^n\left(y_i\log \pi_i+(1-y_i)\log(1-\pi_i) \right) \\ \\ &=& \displaystyle\sum_{i=1}^n\left(y_i\log \frac{\pi_i}{1-\pi_i}+\log(1-\pi_i) \right) \\ \\ &=& \displaystyle\sum_{i=1}^n\left(y_i\log \frac{\pi_i}{1-\pi_i}\right)+\displaystyle\sum_{i=1}^n\left(\log(1-\pi_i) \right) \\ \\ &=& \displaystyle\sum_{i=1}^n\left(y_i\dot(\beta_0+\rm{x_{i,1}}\beta_1+\ldots+\rm{x_{i,p}}\beta_p)\right)-\displaystyle\sum_{i=1}^n\left(\log(\frac{1}{1-\pi_i}) \right) \\ \\ &=& \displaystyle\sum_{i=1}^n\left(y_i\dot \rm{x}_i^{\rm{T}}\boldsymbol{\beta}\right)-\displaystyle\sum_{i=1}^n\left(\log(\frac{1-\pi_i}{1-\pi_i}+\frac{\pi_i}{1-\pi_i})\right) \\ \\ &=& \rm{y^TX}\boldsymbol{\beta}-\displaystyle\sum_{i=1}^n\left( \log(1+\exp (\log(\frac{\pi_i}{1-\pi_i})))\right) \\ \\ &=& \rm{y^TX}\boldsymbol{\beta}-\displaystyle\sum_{i=1}^n\left( \log(1+e^{\rm{x}_i^{\rm{T}}\boldsymbol{\beta} } )\right) \\ \\ \end{eqnarray}

\begin{eqnarray} \log \left(\displaystyle\prod_{i=1}^ne^{-\pi_i}\frac{\pi_i^{y_i}}{y_i!} \right) &=& \displaystyle\sum_{i=1}^n\log \left(e^{-\pi_i}\frac{\pi_i^{y_i}}{y_i!} \right) \\ \\ &=& \displaystyle\sum_{i=1}^n \left(-\pi_i+y_i\log\pi_i-\log y_i! \right) \\ \\ &=& \displaystyle\sum_{i=1}^ny_i\log\pi_i +\displaystyle\sum_{i=1}^n\left(-y_i\pi_i-\log y_i! \right) \\ \\ &=& \displaystyle\sum_{i=1}^ny_i(\beta_0+\rm{x_{i,1}}\beta_1+\ldots+\rm{x_{i,p}}\beta_p) -\displaystyle\sum_{i=1}^n\left(y_ie^{\log \pi_i}+\log y_i! \right) \\ \\ &=& y^{\rm{T} }\rm{X}\boldsymbol{\beta} -\displaystyle\sum_{i=1}^n\left(y_ie^{\rm{x}_i^{\rm{T} }\boldsymbol{\beta} }+\log y_i! \right) \\ \\ \end{eqnarray}

\(Y\)の積分範囲を\(C\)とする。そうすると \begin{eqnarray} \int_C\exp\left(\frac{y\theta-b(\theta)}{a(\phi)}-c(y,\phi)\right)dy &=& 1 \\ \\ \end{eqnarray} となる。確率密度関数を\(\theta\)で微分すると \begin{eqnarray} \frac{\partial}{\partial \theta}f(y;\theta,\phi) &=& \frac{\partial}{\partial \theta}\left(\exp\left(\frac{y\theta-b(\theta)}{a(\phi)}-c(y,\phi)\right)\right) \\ \\ &=& \frac{1}{a(\phi)}\left(y-\frac{\partial}{\partial\theta}b(\theta)\right)\left(\exp\left(\frac{y\theta-b(\theta)}{a(\phi)}-c(y,\phi)\right)\right) \\ \\ &=& \frac{1}{a(\phi)}\left(y-\frac{\partial}{\partial\theta}b(\theta)\right)f(y;\theta,\phi) \\ \\ \end{eqnarray} ここで、以下の積分を考える。 \begin{eqnarray} \frac{\partial}{\partial \theta}\int_Cf(y;\theta,\phi)dy &=& \frac{\partial}{\partial \theta}1 \\ \\ &=& 0 \end{eqnarray} この積分は、微分と積分を入れ替えることができるので(参考) \begin{eqnarray} \frac{\partial}{\partial \theta}\int_Cf(y;\theta,\phi)dy &=& \int_C\frac{\partial}{\partial \theta}f(y;\theta,\phi)dy \\ \\ &=& \int_C\frac{1}{a(\phi)}\left(y-\frac{\partial}{\partial\theta}b(\theta)\right)f(y;\theta,\phi)dy\\ \\ &=& \frac{1}{a(\phi)}\int_C\left(yf(y;\theta,\phi)-(\frac{\partial}{\partial\theta}b(\theta))f(y;\theta,\phi)\right)dy\\ \\ &=& \frac{1}{a(\phi)}\left(E[Y]-\int_C\frac{\partial b(\theta)}{\partial\theta}f(y;\theta,\phi)dy\right)\\ \\ &=& \frac{1}{a(\phi)}\left(E[Y]-\frac{\partial b(\theta)}{\partial\theta}\int_Cf(y;\theta,\phi)dy\right)\\ \\ &=& \frac{1}{a(\phi)}\left(E[Y]-\frac{\partial b(\theta)}{\partial\theta}\right)\\ \\ &=& 0 \\ \\ \Leftrightarrow E[Y]&=&\frac{\partial b(\theta)}{\partial\theta} \end{eqnarray}

\(Y\)の積分範囲を\(C\)とする。そうすると \begin{eqnarray} \int_C\exp\left(\frac{y\theta-b(\theta)}{a(\phi)}-c(y,\phi)\right)dy &=& 1 \\ \\ \end{eqnarray} となる。確率密度関数を\(\theta\)で二階微分すると \begin{eqnarray} \frac{\partial^2}{\partial \theta^2}f(y;\theta,\phi) &=& \frac{\partial}{\partial \theta}\left(\frac{\partial}{\partial \theta}\left(\exp\left(\frac{y\theta-b(\theta)}{a(\phi)}-c(y,\phi)\right)\right)\right) \\ \\ &=& \frac{\partial}{\partial \theta}\left(\frac{1}{a(\phi)}\left(y-\frac{\partial}{\partial\theta}b(\theta)\right)\left(\exp\left(\frac{y\theta-b(\theta)}{a(\phi)}-c(y,\phi)\right)\right) \right)\\ \\ &=& \frac{1}{a(\phi)}\left(-\frac{\partial^2b(\theta)}{\partial\theta^2}\exp\left(\frac{y\theta-b(\theta)}{a(\phi)}-c(y,\phi)\right)+\frac{1}{a(\phi)}\left(y-\frac{\partial b(\theta)}{\partial\theta}\right)^2\exp\left(\frac{y\theta-b(\theta)}{a(\phi)}-c(y,\phi)\right)\right)\\ \\ &=& \frac{1}{a(\phi)}\left(-\frac{\partial^2b(\theta)}{\partial\theta^2}+\frac{1}{a(\phi)}\left(y-\frac{\partial b(\theta)}{\partial\theta}\right)^2\right)\exp\left(\frac{y\theta-b(\theta)}{a(\phi)}-c(y,\phi)\right)\\ \\ &=& \frac{1}{a(\phi)}\left(-\frac{\partial^2b(\theta)}{\partial\theta^2}+\frac{1}{a(\phi)}\left(y-\frac{\partial b(\theta)}{\partial\theta}\right)^2\right)f(y;\theta,\phi) \\ \\ &=& \frac{1}{a(\phi)}\left(-\frac{\partial^2b(\theta)}{\partial\theta^2}+\frac{1}{a(\phi)}\left(y-E[Y]\right)^2\right)f(y;\theta,\phi) \\ \\ \end{eqnarray} ここで、以下の積分を考える。 \begin{eqnarray} \frac{\partial^2}{\partial \theta^2}\int_Cf(y;\theta,\phi)dy &=& \frac{\partial^2}{\partial \theta^2}1 \\ \\ &=& 0 \end{eqnarray} この積分は、微分と積分を入れ替えることができるので(参考) \begin{eqnarray} \frac{\partial^2}{\partial \theta^2}\int_Cf(y;\theta,\phi)dy &=& \int_C\frac{\partial^2}{\partial \theta^2}f(y;\theta,\phi)dy \\ \\ &=& \int_C\frac{1}{a(\phi)}\left(-\frac{\partial^2b(\theta)}{\partial\theta^2}+\frac{1}{a(\phi)}\left(y-E[Y]\right)^2\right)f(y;\theta,\phi)dy\\ \\ &=& \frac{1}{a(\phi)^2}\int_C\left(\left(-a(\phi)\frac{\partial^2b(\theta)}{\partial\theta^2}+\left(y-E[Y]\right)^2\right)f(y;\theta,\phi) \right) dy\\ \\ &=& \frac{1}{a(\phi)^2}\left(\int_C \left(-a(\phi)\frac{\partial^2b(\theta)}{\partial\theta^2}f(y;\theta,\phi)\right)dy +\int_C \left(y-E[Y]\right)^2f(y;\theta,\phi) dy\right)\\ \\ &=& \frac{1}{a(\phi)^2}\left(\left(-a(\phi)\frac{\partial^2b(\theta)}{\partial\theta^2}\right)\int_C f(y;\theta,\phi)dy +V[Y]\right)\\ \\ &=& \frac{1}{a(\phi)^2}\left(-a(\phi)\frac{\partial^2b(\theta)}{\partial\theta^2} +V[Y]\right)\\ \\ &=& 0 \\ \\ \Leftrightarrow V[Y]&=&a(\phi)\frac{\partial^2b(\theta)}{\partial\theta^2} \end{eqnarray}

一変数指数型分布族の確率密度関数\(f(y;\theta,\phi)\)の対数をとると、 \begin{eqnarray} \log f(y;\theta,\phi) &=& \log \left(\frac{y\theta-b(\theta)}{a(\phi)}-c(y,\phi)\right) \\ \\ &=& \frac{y\theta-b(\theta)}{a(\phi)}-c(y,\phi) \tag{1}\\ \\ \end{eqnarray} が得られる。
正規分布の確率密度関数\(f_N(y;\mu,\sigma)\)の対数をとると、 \begin{eqnarray} \log f_N(y;\mu,\sigma) &=& \log \left(\frac{1}{\sqrt{2\pi\sigma^2} }\exp\left(-\frac{(y-\mu)^2}{2\sigma^2}\right)\right) \\ \\ &=& -\log(2\pi\sigma^2)^(\frac{1}{2})-\frac{(y-\mu)^2}{2\sigma^2} \\ \\ &=& -\frac{1}{2}\log(2\pi\sigma^2)-\frac{y^2}{2\sigma^2}+\frac{\mu y-\frac{\mu^2}{2} }{\sigma^2} \\ \\ &=& \frac{y\mu -\frac{\mu^2}{2} }{\sigma^2}-\frac{1}{2}\left(\log(2\pi\sigma^2)+\frac{y^2}{\sigma^2}\right)\tag{2} \end{eqnarray} となる。ここで(2)の中の\(y^2\)とその係数に着目する。\(c(y,\phi)\)のみ、\(y\)の次数が1以外になれるため、この関数の中に\(y^2\)を含める必要がある。\(y^2\)の係数のうち、\(y\)以外に含まれる変数は\(\sigma\)なので、\(\phi\)を使って\(\sigma\)を表す必要があると考えられる。
加えて、\(-\frac{1}{2}\log(2\pi\sigma^2)\)には変数が\(\sigma\)しか含まれていないので、 \begin{eqnarray} c(y,\phi) &=& \frac{1}{2}\left(\log(2\pi\sigma^2)+\frac{y^2}{\sigma^2}\right) \end{eqnarray} が得られる。他の係数に着目すると、\(\theta=\mu, a(\phi)=\sigma^2, b(\theta)=\frac{\mu^2}{2}=\frac{\theta^2}{2}\)から構成されていることがわかる。

一変数指数型分布族の確率密度関数\(f(y;\theta,\phi)\)の対数をとると、 \begin{eqnarray} \log f(y;\theta,\phi) &=& \log \left(\frac{y\theta-b(\theta)}{a(\phi)}-c(y,\phi)\right) \\ \\ &=& \frac{y\theta-b(\theta)}{a(\phi)}-c(y,\phi) \tag{1}\\ \\ \end{eqnarray} が得られる。
ベルヌーイの確率関数\(P_B(y;\pi)\)の対数をとると、 \begin{eqnarray} \log P_B(y;\pi) &=& \log \pi^y(1-\pi)^{(1-y)} \\ \\ &=& \log\pi^y+\log(1-\pi)^{(1-y)} \\ \\ &=& y\log\pi+(1-y)\log(1-\pi) \\ \\ &=& y\log\left(\frac{\pi}{1-\pi}\right)+\log(1-\pi) \tag{2} \end{eqnarray} となる。ここで(2)の中の\(y\)とその係数に着目する。係数には変数として\(\pi\)のみが含まれているため、\(\theta=\log\left(\frac{\pi}{1-\pi}\right)\)となる。この時、\(a(\phi)=1\)になる。
従って、\(b(\theta)=-\log(1-\pi)\)となる。右辺を\(\theta\)の関数に変換する。 \begin{eqnarray} \theta&=&\log\left(\frac{\pi}{1-\pi}\right) \\ \\ \Leftrightarrow e^{\theta}&=&\frac{\pi}{1-\pi} \\ \\ \Leftrightarrow (1-\pi)e^{\theta}&=&\pi\\ \\ \Leftrightarrow e^{\theta}&=&\pi(1+e^{\theta})\\ \\ \Leftrightarrow \pi&=&\frac{e^{\theta}}{(1+e^{\theta})}\\ \\ \end{eqnarray} より、 \begin{eqnarray} b(\theta) &=& -\log(1-\frac{e^{\theta}}{(1+e^{\theta})}) \\ \\ &=& -\log(\frac{1}{(1+e^{\theta})}) \\ \\ &=& \log(1+e^{\theta}) \\ \\ \end{eqnarray} となる。\(c(y,\phi)\)については、残りの項が無いため\(c(y,\phi)=0\)になる。

一変数指数型分布族の確率密度関数\(f(y;\theta,\phi)\)の対数をとると、 \begin{eqnarray} \log f(y;\theta,\phi) &=& \log \left(\frac{y\theta-b(\theta)}{a(\phi)}-c(y,\phi)\right) \\ \\ &=& \frac{y\theta-b(\theta)}{a(\phi)}-c(y,\phi) \tag{1}\\ \\ \end{eqnarray} が得られる。
ポアソン分布の確率関数\(Po(y;\pi)\)の対数をとると、 \begin{eqnarray} \log Po(y;\pi) &=& \log \frac{\pi^y}{y!}e^{-\pi} \\ \\ &=& \log\pi^y-\log y!-\pi \\ \\ &=& y\log\pi-\pi-\log y! \tag{2}\\ \\ \end{eqnarray} となる。ここで(2)の中の\(y\)とその係数に着目する。係数には変数として\(\pi\)のみが含まれているため、\(\theta=\log\pi\)となる。この時、\(a(\phi)=1\)になる。
従って、\(b(\theta)=\pi\)となる。右辺を\(\theta\)の関数に変換する。 \begin{eqnarray} \theta&=&\log\pi \\ \\ \Leftrightarrow \pi&=&e^{\theta} \\ \\ \end{eqnarray} より、 \begin{eqnarray} b(\theta) &=& \pi \\ \\ &=& e^{\theta} \end{eqnarray} となる。\(c(y,\phi)\)については、残りの項であるため、\(c(y,\phi)=y!\)になる。