PRMLの行間埋め 第１章
1.2 確率論
- 式(1.12)の導出
- 式(1.13)の導出
- p.17上：\(p(Y|X)=p(Y)\)の導出
- 式(1.27)の導出
- 式(1.39)の導出
- 式(1.41)の導出
- 式(1.48)の導出
- 式(1.49)の導出
- 式(1.50)の導出
- 式(1.54)の導出
- 式(1.55)の導出
- 式(1.56)の導出
- 式(1.57)の導出
- 式(1.58)の導出
- 式(1.62)の導出
- 式(1.63)の導出
- 式(1.66)の導出(要：議論)
- 式(1.67)の導出
- 式(1.68)の導出
- 式(1.69)の導出
- (1)の式変形について
- (2)の式変形について
- (3)の式変形\(\textbf{S}_1^{\text{T}}=\textbf{S}_1\)の導出
- (4)の式変形\(\boldsymbol{\phi}(x_i)^{\text{T}}\textbf{S}_1\boldsymbol{\phi}(x)=\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}_1\boldsymbol{\phi}(x_i)\)の導出
- (5)\(\beta-\beta^2\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}_1\boldsymbol{\phi}(x)\)の計算の導出
- (6)\((\beta^{-1}+\boldsymbol{\phi}^{\text{T}}\textbf{S}\boldsymbol{\phi})\beta^2\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}_1\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\)の計算の導出
式(1.11)の乗法定理より
\begin{align*}
p(X,Y)=p(X|Y)p(Y)
\end{align*}
となることから、同様に式(1.11)より
\begin{align*}
p(X,Y)=p(X|Y)p(Y)=p(Y|X)p(X)
\end{align*}
が得られるため
\begin{align*}
&&p(X|Y)p(Y)&=p(Y|X)p(X) \\ \\
&\Leftrightarrow&
p(Y|X)&=\frac{p(X|Y)p(Y)}{p(X)}
\end{align*}
が得られる。
式(1.10)に式(1.11)を代入すると
\begin{align*}
p(X)
&=
\displaystyle\sum_Yp(X,Y) \\ \\
&=
\displaystyle\sum_Yp(X|Y)p(Y) \\ \\
\end{align*}
となる。
式(1.11)と、\(X,Y\)が独立であるとき、
\begin{align*}
&&
p(X,Y)&=p(Y|X)p(X) \\ \\
&\Leftrightarrow&
p(X)p(Y)&=p(Y|X)p(X)&&...X,Y\text{が独立であるとした} \\ \\
&\Leftrightarrow&
p(Y)&=p(Y|X)& \\ \\
\end{align*}
と導出できる。
こちらの記事など参考。
ただし、一般的に用いられている変数変換\(Y=g(X)\)と異なり、\(X=g(Y)\)で変換しているため、\(g^{-1}(y)\)で書かれる個所が\(g(y)\)になっている。
ただし、一般的に用いられている変数変換\(Y=g(X)\)と異なり、\(X=g(Y)\)で変換しているため、\(g^{-1}(y)\)で書かれる個所が\(g(y)\)になっている。
\begin{align*}
\text{var}[f]
&=
\mathbb{E}\left[(f(x)-\mathbb{E}[f(x)])^2\right] \\ \\
&=
\int p(x)\left((f(x)-\mathbb{E}[f(x)])^2\right)\text{d}x \\ \\
&=
\int p(x)\left(f(x)^2-2(f(x)\mathbb{E}[f(x)])^2+(\mathbb{E}[f(x)])^2\right)\text{d}x \\ \\
&=
\int p(x)f(x)^2\text{d}x+\int p(x)\left(-2(f(x)\mathbb{E}[f(x)])\right)\text{d}x+\int p(x)(\mathbb{E}[f(x)])^2\text{d}x \\ \\
&=
\int p(x)f(x)^2\text{d}x-2\mathbb{E}[f(x)]\int p(x)(f(x))\text{d}x+\mathbb{E}[f(x)]^2\int p(x)\text{d}x&&...\mathbb{E}[f(x)]\text{は定数であるため積分の外に出した} \\ \\
&=
\mathbb{E}[f(x)^2]-2\mathbb{E}[f(x)]\cdot\mathbb{E}[f(x)]+\mathbb{E}[f(x)]^2\cdot 1&&...\text{式(1.26)(1.34)より} \\ \\
&=
\mathbb{E}[f(x)^2]-\mathbb{E}[f(x)]^2& \\ \\
\end{align*}
と導出できる。
\begin{align*}
\text{cov}[x,y]
&=
\mathbb{E}_{x,y}[\{x-\mathbb{E}[x]\}\{y-\mathbb{E}[y]\}] \\ \\
&=
\mathbb{E}_{x,y}[\{xy-\mathbb{E}[x]y-\mathbb{E}[y]x+\mathbb{E}[x]\mathbb{E}[y]\}] \\ \\
&=
\int\int p(x,y)\{xy-\mathbb{E}[x]y-\mathbb{E}[y]x+\mathbb{E}[x]\mathbb{E}[y]\}]\text{d}x\text{d}y \\ \\
&=
\int\int p(x,y)xy\text{d}x\text{d}y-\int\int p(x,y)\mathbb{E}[x]y\text{d}x\text{d}y-\int\int p(x,y)\mathbb{E}[y]x\text{d}x\text{d}y+\int\int p(x,y)\mathbb{E}[x]\mathbb{E}[y]\text{d}x\text{d}y\\ \\
&=
\mathbb{E}_{x,y}[xy]-\mathbb{E}[x]\int\int p(x,y)y\text{d}x\text{d}y-\mathbb{E}[y]\int\int p(x,y)x\text{d}x\text{d}y+\mathbb{E}[x]\mathbb{E}[y]\int\int p(x,y)\text{d}x\text{d}y\\ \\
&=
\mathbb{E}_{x,y}[xy]-\mathbb{E}[x]\int p(y)y\text{d}y-\mathbb{E}[y]\int p(x)x\text{d}x+\mathbb{E}[x]\mathbb{E}[y]\int p(x)\text{d}x&&...\text{式(1.31)より}\\ \\
&=
\mathbb{E}_{x,y}[xy]-\mathbb{E}[x]\mathbb{E}[y]-\mathbb{E}[y]\mathbb{E}[x]+\mathbb{E}[x]\mathbb{E}[y]\cdot 1&\\ \\
&=
\mathbb{E}_{x,y}[xy]-\mathbb{E}[x]\mathbb{E}[y]&\\ \\
\end{align*}
と導出できる。
ガウス積分の導出はこちらの計算など参考。
\begin{align*}
\mathbb{E}[x]
&=
\int_{-\infty}^{\infty}x\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{(x-\mu)^2}{2\sigma ^2})\text{d}x \\
\\
&=
\int_{-\infty}^{\infty}(x-\mu)\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{(x-\mu)^2}{2\sigma ^2})dx+\int_{-\infty}^{\infty}\mu\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{(x-\mu)^2}{2\sigma ^2})\text{d}x\\
\\
&=
0+\mu\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{(x-\mu)^2}{2\sigma ^2})\text{d}x&&...\text{奇関数の積分であるため} \\
\\
&=
\mu\cdot 1&&...\text{式(1.49)より}\\
\end{align*}
と導出できる。
\begin{align*}
\mathbb{E}[x^2]
&=
\int_{-\infty}^{\infty}x^2\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{(x-\mu)^2}{2\sigma ^2})\text{d}x \\
\\
&=
\int_{-\infty}^{\infty}(y+\mu)^2\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{y^2}{2\sigma ^2})dy &x-\mu=y,\;dx=dyとした。 \\
\\
&=
\int_{-\infty}^{\infty}(y^2+2y\mu+\mu^2)\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{y^2}{2\sigma ^2})dy \\
\\
&=
\underbrace{\int_{-\infty}^{\infty}y^2\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{y^2}{2\sigma ^2})dy}_{(1)}+\underbrace{2\mu\int_{-\infty}^{\infty}y\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{y^2}{2\sigma ^2})dy}_{(2)}+\underbrace{\mu^2\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{y^2}{2\sigma ^2})dy}_{(3)} \\
\\
&=
\underbrace{\left[y(-\sigma^2)\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{y^2}{2\sigma ^2})\right]_{-\infty}^{\infty}+\int_{-\infty}^{\infty}\sigma^2\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{y^2}{2\sigma ^2})dy}_{(1)}+\underbrace{2\mu\cdot 0}_{(2)}+\underbrace{\mu^2\cdot 1}_{(3)}&&...\text{(1)部分積分(2)奇関数の積分(3)式(1.48)を用いた} \\
\\
&=
\underbrace{0+\sigma^2\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma ^2}}\exp(-\frac{y^2}{2\sigma ^2})dy}_{(1)}+\mu^2& \\
\\
&=
\underbrace{0+\sigma^2\cdot 1}_{(1)}+\mu^2&&...\text{式(1.48)}
\end{align*}
と導出できる。
式(1.53)より
\begin{align*}
\ln p(\textbf{x}|\mu,\sigma^2)
&=
\ln\displaystyle\prod_{n=1}^N\frac{1}{(2\pi\sigma^2)^{1/2}}\exp\left\{-\frac{1}{2\sigma^2}(x_n-\mu)^2\right\} \\ \\
&=
\ln\left(\frac{1}{(2\pi\sigma^2)^{1/2}}\right)^N\exp\left\{-\displaystyle\sum_{n=1}^N\frac{1}{2\sigma^2}(x_n-\mu)^2\right\}&&...\text{すべての積であるため} \\ \\
&=
\ln\left(\frac{1}{(2\pi\sigma^2)^{1/2}}\right)^N+\ln\exp\left\{-\displaystyle\sum_{n=1}^N\frac{1}{2\sigma^2}(x_n-\mu)^2\right\}& \\ \\
&=
\ln\left(2\pi\sigma^2\right)^{-N/2}+\ln\exp\left\{-\displaystyle\sum_{n=1}^N\frac{1}{2\sigma^2}(x_n-\mu)^2\right\}& \\ \\
&=
-\frac{N}{2}\ln(2\pi\sigma^2)-\displaystyle\sum_{n=1}^N\frac{1}{2\sigma^2}(x_n-\mu)^2& \\ \\
&=
-\frac{1}{2\sigma^2}\displaystyle\sum_{n=1}^N(x_n-\mu)^2-\frac{N}{2}\ln(\sigma^2)-\frac{N}{2}\ln(2\pi)& \\ \\
\end{align*}
と導出できる。
式(1.54)を\(\mu\)について微分して\(0\)になるときの\(\mu=\mu_{ML}\)の値を求める。
\begin{align*}
\frac{d}{d\mu} \ln p(\textbf{x}|\mu,\sigma^2)
&=
\frac{d}{d\mu}\left(-\frac{1}{2\sigma^2}\displaystyle\sum_{n=1}^N(x_n-\mu)^2-\frac{N}{2}\ln(\sigma^2)-\frac{N}{2}\ln(2\pi)\right) \\ \\
&=
-(-2)\frac{1}{2\sigma^2}\displaystyle\sum_{n=1}^N(x_n-\mu)-0-0 \\ \\
&=
2\frac{1}{2\sigma^2}\displaystyle\sum_{n=1}^N(x_n-\mu) \\ \\ \\
\left.\frac{d}{d\mu} \ln p(\textbf{x}|\mu,\sigma^2)\right|_{\mu=\mumu_{ML}}&=0 \\ \\
\Leftrightarrow
2\frac{1}{2\sigma^2}\displaystyle\sum_{n=1}^N(x_n-\mu_{ML})&=0 \\ \\
\Rightarrow
\displaystyle\sum_{n=1}^N(x_n-\mu_{ML})&=0 \\ \\
\Leftrightarrow
N\mu_{ML}&=\displaystyle\sum_{n=1}^Nx_n \\ \\
\Leftrightarrow
\mu_{ML}&=\frac{1}{N}\displaystyle\sum_{n=1}^Nx_n \\ \\
\end{align*}
と導出できる。
式(1.54)を\(\sigma^2\)について微分して\(0\)になるときの\(\sigma^2=\sigma^2_{ML}\)の値を求める。
\begin{align*}
\frac{d}{d\sigma^2} \ln p(\textbf{x}|\mu,\sigma^2)
&=
\frac{d}{d\sigma^2}\left(-\frac{1}{2\sigma^2}\displaystyle\sum_{n=1}^N(x_n-\mu)^2-\frac{N}{2}\ln(\sigma^2)-\frac{N}{2}\ln(2\pi)\right) \\ \\
&=
\frac{1}{2(\sigma^2)^2}\displaystyle\sum_{n=1}^N(x_n-\mu)^2-\frac{N}{2}\frac{1}{\sigma^2}-0 \\ \\ \\
\left.\frac{d}{d\sigma^2} \ln p(\textbf{x}|\mu,\sigma^2)\right|_{\sigma^2=\sigma^2_{ML}}&=0 \\ \\
\Leftrightarrow
\frac{1}{2(\sigma_{ML}^2)^2}\displaystyle\sum_{n=1}^N(x_n-\mu)^2-\frac{N}{2}\frac{1}{\sigma_{ML}^2}&=0 \\ \\
\Leftrightarrow
\frac{1}{(\sigma_{ML}^2)}\displaystyle\sum_{n=1}^N(x_n-\mu)^2-N&=0 \\ \\
\Leftrightarrow
\sigma_{ML}^2&=\frac{1}{N}\displaystyle\sum_{n=1}^N(x_n-\mu)^2 \\ \\
\Leftrightarrow
\sigma_{ML}^2&=\frac{1}{N}\displaystyle\sum_{n=1}^N(x_n-\mu_{ML})^2&&...\text{式(1.56)より} \\ \\
\end{align*}
と導出できる。
\begin{align*}
\mathbb{E}[\mu_{ML}]
&=
\mathbb{E}\left[\frac{1}{N}\displaystyle\sum_{n=1}^Nx_n\right] \\ \\
&=
\frac{1}{N}\mathbb{E}\left[\displaystyle\sum_{n=1}^Nx_n\right]&&...\text{(1)} \\ \\
&=
\frac{1}{N}\displaystyle\sum_{n=1}^N\mathbb{E}\left[x_n\right]&&...x_n\text{はそれぞれ独立であるため} \\ \\
&=
\frac{1}{N}\displaystyle\sum_{n=1}^N\mu&&...\text{式(1.49)より} \\ \\
&=
\mu\\ \\
\end{align*}
と導出できる。
(1)では期待値の定数倍に関する性質\(\mathbb{E}[ax]=a\mathbb{E}[x]\)を用いた。参考
(1)では期待値の定数倍に関する性質\(\mathbb{E}[ax]=a\mathbb{E}[x]\)を用いた。参考
\begin{align*}
\mathbb{E}[\sigma^2_{ML}]
&=
\mathbb{E}\left[\frac{1}{N}\displaystyle\sum_{n=1}^N(x_n-\mu_{ML})^2\right] \\ \\
&=
\frac{1}{N}\mathbb{E}\left[\displaystyle\sum_{n=1}^N(x_n-\mu-[\mu_{ML}-\mu])^2\right] \\ \\
&=
\frac{1}{N}\mathbb{E}\left[\displaystyle\sum_{n=1}^N\{(x_n-\mu)^2-2(x_n-\mu)(\mu_{ML}-\mu)+(\mu_{ML}-\mu)^2\}\right] \\ \\
&=
\frac{1}{N}\mathbb{E}\left[\displaystyle\sum_{n=1}^N(x_n-\mu)^2\right]-\frac{2}{N}\mathbb{E}\left[\displaystyle\sum_{n=1}^N(x_n-\mu)(\mu_{ML}-\mu)\right]+\frac{1}{N}\mathbb{E}\left[\displaystyle\sum_{n=1}^N(\mu_{ML}-\mu)^2\right] \\ \\
&=
\frac{1}{N}\mathbb{E}\left[\displaystyle\sum_{n=1}^N(x_n-\mu)^2\right]-\frac{2}{N}\mathbb{E}\left[(\mu_{ML}-\mu)\displaystyle\sum_{n=1}^N(x_n-\mu)\right]+\frac{1}{N}\mathbb{E}\left[\displaystyle\sum_{n=1}^N(\mu_{ML}-\mu)^2\right] \\ \\
&=
\frac{1}{N}\displaystyle\sum_{n=1}^N\mathbb{E}\left[(x_n-\mu)^2\right]-\frac{2}{N}\mathbb{E}\left[(\mu_{ML}-\mu)\left(\displaystyle\sum_{n=1}^Nx_n-N\mu\right)\right]+\frac{1}{N}\mathbb{E}\left[\displaystyle\sum_{n=1}^N(\mu_{ML}-\mu)^2\right] \\ \\
&=
\frac{1}{N}\displaystyle\sum_{n=1}^N\sigma^2-\frac{2}{N}\mathbb{E}\left[(\mu_{ML}-\mu)N\left(\displaystyle\sum_{n=1}^N\frac{x_n}{N}-\mu\right)\right]+\frac{1}{N}\mathbb{E}\left[\displaystyle\sum_{n=1}^N(\mu_{ML}-\mu)^2\right] \\ \\
&=
\frac{1}{N}\displaystyle\sum_{n=1}^N\sigma^2-\frac{2}{N}\mathbb{E}\left[(\mu_{ML}-\mu)N\left(\mu_{ML}-\mu\right)\right]+\frac{1}{N}\displaystyle\sum_{n=1}^N\mathbb{E}\left[(\mu_{ML}-\mu)^2\right]&&...\text{式(1.55)より} \\ \\
&=
\frac{1}{N}N\sigma^2-2\mathbb{E}\left[\left(\mu_{ML}-\mu\right)^2\right]+\frac{1}{N}N\mathbb{E}\left[(\mu_{ML}-\mu)^2\right]& \\ \\
&=
\sigma^2-\mathbb{E}\left[\left(\mu_{ML}-\mu\right)^2\right]& \\ \\
&=
\sigma^2-\frac{\sigma^2}{N}&&...\text{(1)} \\ \\
&=
\frac{N-1}{N}\sigma^2 \\ \\
\end{align*}
と導出できる。
(1)では確率変数の平均値の分散を用いた。標本分散を求める際の導出を用いた。参考
(1)では確率変数の平均値の分散を用いた。標本分散を求める際の導出を用いた。参考
式(1.60)と式(1.46)を比較すると、\(\mu\to y(x,\textbf{w}),\sigma^2\to \beta^{-1}\)と変換されているため、これを式(1.54)に適用すると
\begin{align*}
\text{式(1.54)}
&\Rightarrow
-\frac{1}{2\beta^{-1}}\displaystyle\sum_{n=1}^N(t_n-y(x_n,\textbf{w}))^2-\frac{N}{2}\ln(\beta^{-1})-\frac{N}{2}\ln(2\pi) \\ \\
&=
-\frac{\beta}{2}\displaystyle\sum_{n=1}^N(t_n-y(x_n,\textbf{w}))^2+\frac{N}{2}\ln\beta-\frac{N}{2}\ln(2\pi) \\ \\
\end{align*}
と導出できる。
式(1.62)を\(\beta\)について微分して\(0\)になるときの\(\beta=\beta_{ML}\)の値を求める。
\begin{align*}
\frac{d}{d\beta} \ln p(\textbf{t}|\textbf{x},\textbf{w},\beta)
&=
\frac{d}{d\beta}\left(-\frac{\beta}{2}\displaystyle\sum_{n=1}^N(y(x_n,\textbf{w})-t_n)^2+\frac{N}{2}\ln\beta-\frac{N}{2}\ln(2\pi)\right) \\ \\
&=
-\frac{1}{2}\displaystyle\sum_{n=1}^N(y(x_n,\textbf{w})-t_n)^2+\frac{N}{2}\frac{1}{\beta}-0 \\ \\ \\
&\left.\frac{d}{d\beta} \ln p(\textbf{t}|\textbf{x},\textbf{w},\beta)\right|_{\beta=\beta_ML}=0 \\ \\
&\Leftrightarrow
-\frac{1}{2}\displaystyle\sum_{n=1}^N(y(x_n,\textbf{w})-t_n)^2+\frac{N}{2}\frac{1}{\beta_{ML}}=0 \\ \\
&\Leftrightarrow
\frac{1}{\beta_{ML}}=\frac{1}{N}\displaystyle\sum_{n=1}^N(y(x_n,\textbf{w})-t_n)^2
\end{align*}
と導出できる。
式(1.44)を適用するために式(1.12)を用いる。簡略化して書くと、\(\textbf{t}\)が与えられたときの\(\textbf{w}\)の分布を求めるため
\begin{align*}
p(\textbf{w}|\textbf{t})&=\frac{p(\textbf{t}|\textbf{w})p(\textbf{w})}{p(\textbf{t})} \\ \\
&\propto
p(\textbf{t}|\textbf{w})p(\textbf{w}) \\ \\
\end{align*}
と書くことができる。ここに条件を追加すると
\begin{align*}
p(\textbf{w}|\textbf{t},\textbf{x},\alpha,\beta)
&\propto
p(\textbf{t}|\textbf{w},\textbf{x},\beta)p(\textbf{w}|\alpha) \\ \\
\end{align*}
と書ける。右辺一項目は\(\textbf{t}\)は\(\textbf{w},\textbf{x},\beta\)によって得られること、二項目については\(\textbf{w}\)の事前分布は\(\alpha\)によって与えられていることを示している。
もう少し厳密な考え方があるかもしれない。
もう少し厳密な考え方があるかもしれない。
式(1.66)の右辺の対数を用いる。その際に式(1.62)(1.65)を用い、符号を反転すると
\begin{align*}
-\ln p(\textbf{t}|\textbf{x},\textbf{w},\beta)p(\textbf{w},\alpha)
&=
-\ln p(\textbf{t}|\textbf{x},\textbf{w},\beta)-\ln p(\textbf{w},\alpha) \\ \\
&=
\frac{\beta}{2}\displaystyle\sum_{n=1}^N(t_n-y(x_n,\textbf{w}))^2-\frac{N}{2}\ln\beta+\frac{N}{2}\ln(2\pi)-\ln\left[\left(\frac{\alpha}{2\pi}\right)^{(M+1)/2}\exp\left\{-\frac{\alpha}{2}\textbf{w}^{\text{T}}\textbf{w}\right\}\right] \\ \\
&=
\frac{\beta}{2}\displaystyle\sum_{n=1}^N(t_n-y(x_n,\textbf{w}))^2-\frac{N}{2}\ln\beta+\frac{N}{2}\ln(2\pi)-\frac{M+1}{2}\ln\frac{\alpha}{2\pi}+\frac{\alpha}{2}\textbf{w}^{\text{T}}\textbf{w} \\ \\
&=
\underbrace{\frac{\beta}{2}\displaystyle\sum_{n=1}^N(t_n-y(x_n,\textbf{w}))^2+\frac{\alpha}{2}\textbf{w}^{\text{T}}\textbf{w}}_{(1)}-\frac{N}{2}\ln\beta+\frac{N}{2}\ln(2\pi)-\frac{M+1}{2}\ln\frac{\alpha}{2\pi} \\ \\
\end{align*}
と書ける。ここで最大値を求めるにあたって変数\(\textbf{w}\)を含むのは(1)の部分だけなので式(1.67)を最大化することがわかる。
式(1.43)から式(1.45)を求める時と同様の操作によって得られる。
-
式(1.69)の導出のために、式(1.68)を計算する。そのために、初めに式(1.66)の右辺をまとめる。
\begin{align*}
p(\textbf{w}|\textbf{x},\textbf{t},\alpha,\beta)
&=
p(\textbf{t}|\textbf{x},\textbf{w},\beta)p(\textbf{w}|\alpha) \\ \\
&=
\left(\frac{\beta}{2\pi}\right)^{N/2}\exp\left\{-\displaystyle\sum_{n=1}^N\frac{(y(x_n,\textbf{w})-t_n)^2\beta}{2}\right\}\left(\frac{\alpha}{2\pi}\right)^{(M+1)/2}\exp\left\{-\frac{\alpha}{2}\textbf{w}^{\text{T}}\textbf{w}\right\}&&...\text{式(1.61)(1.65)より} \\ \\
&\propto
\exp\left\{-\displaystyle\sum_{n=1}^N\frac{(y(x_n,\textbf{w})-t_n)^2\beta}{2}\right\}\exp\left\{-\frac{\alpha}{2}\textbf{w}^{\text{T}}\textbf{w}\right\}&&...\textbf{w}\text{にかかわる項のみを残した} \\ \\
&=
\exp\left\{-\displaystyle\sum_{n=1}^N\frac{(y(x_n,\textbf{w})-t_n)^2\beta}{2}-\frac{\alpha}{2}\textbf{w}^{\text{T}}\textbf{w}\right\}& \\ \\
&=
\exp\left\{-\displaystyle\sum_{n=1}^N\frac{(\textbf{w}^{\text{T}}\cdot\boldsymbol{\phi}(x_n)-t_n)^2\beta}{2}-\frac{\alpha}{2}\textbf{w}^{\text{T}}\textbf{w}\right\}&&...\text{(1)} \\ \\
&=
\exp\left\{-\frac12\left[\displaystyle\sum_{n=1}^N\{(\textbf{w}^{\text{T}}\cdot\boldsymbol{\phi}(x_n))(\textbf{w}^{\text{T}}\cdot\boldsymbol{\phi}(x_n))-2t_n[\textbf{w}^{\text{T}}\cdot\boldsymbol{\phi}(x_n)]+t_n^2\}\beta+\alpha\textbf{w}^{\text{T}}\textbf{w}\right]\right\}& \\ \\
&=
\exp\left\{-\frac12\left[\displaystyle\sum_{n=1}^N\{\textbf{w}^{\text{T}}\cdot(\boldsymbol{\phi}(x_n))({\color{red}\boldsymbol{\phi}(x_n)^{\text{T}}\cdot\textbf{w}})-2t_n[\textbf{w}^{\text{T}}\cdot\boldsymbol{\phi}(x_n)]+t_n^2\}\beta+\alpha\textbf{w}^{\text{T}}\textbf{w}\right]\right\}&&...\text{(2)} \\ \\
&=
\exp\left\{-\frac12\left[\alpha\textbf{w}^{\text{T}}\textbf{w}+\displaystyle\sum_{n=1}^N\{\beta\textbf{w}^{\text{T}}\cdot(\boldsymbol{\phi}(x_n))(\boldsymbol{\phi}(x_n)^{\text{T}}\cdot\textbf{w})\}-2\displaystyle\sum_{n=1}^Nt_n[\textbf{w}^{\text{T}}\cdot\boldsymbol{\phi}(x_n)]\beta+\beta\displaystyle\sum_{n=1}^Nt_n^2\right]\right\}& \\ \\
&=
\exp\left\{-\frac12\left[\alpha\textbf{w}^{\text{T}}{\color{red}\textbf{I}}\textbf{w}+\displaystyle\sum_{n=1}^N\{\beta\textbf{w}^{\text{T}}\cdot(\boldsymbol{\phi}(x_n))(\boldsymbol{\phi}(x_n)^{\text{T}}\cdot\textbf{w})\}-2\displaystyle\sum_{n=1}^Nt_n[\textbf{w}^{\text{T}}\cdot\boldsymbol{\phi}(x_n)]\beta+\beta\displaystyle\sum_{n=1}^Nt_n^2\right]\right\}& \\ \\
&=
\exp\left\{-\frac12\left[\textbf{w}^{\text{T}}\left\{\alpha\textbf{I}+\beta\displaystyle\sum_{n=1}^N\boldsymbol{\phi}(x_n)\boldsymbol{\phi}(x_n)^{\text{T}}\right\}\textbf{w}-2\displaystyle\sum_{n=1}^Nt_n[\textbf{w}^{\text{T}}\cdot\boldsymbol{\phi}(x_n)]\beta+\beta\displaystyle\sum_{n=1}^Nt_n^2\right]\right\}& \\ \\
&=
\exp\left\{-\frac12\left[\textbf{w}^{\text{T}}\textbf{S}^{-1}\textbf{w}-2\textbf{w}^{\text{T}}\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\beta+\beta\displaystyle\sum_{n=1}^Nt_n^2\right]\right\}&&...\text{式(1.72)より} \\ \\
&\propto
\exp\left\{-\frac12\left[\textbf{w}^{\text{T}}\textbf{S}^{-1}\textbf{w}-2\textbf{w}^{\text{T}}\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\beta\right]\right\}&&...\textbf{w}\text{にかかわらない定数であるため} \\ \\
\end{align*}
が得られる。これを用いて式(1.68)を計算すると
\begin{align*}
p(t|x,\textbf{x},\textbf{t})
&=
\int p(t|x,\textbf{w})\cdot p(\textbf{w}|\textbf{x},\textbf{t})\text{d}\textbf{w} \\ \\
&\propto
\int \sqrt{\frac{\beta}{2\pi}}\exp\left\{-\frac{\beta(t-\textbf{w}^{\text{T}}\boldsymbol{\phi}(x))}{2}\right\}\cdot\exp\left\{-\frac12\left[\textbf{w}^{\text{T}}\textbf{S}^{-1}\textbf{w}-2\textbf{w}^{\text{T}}\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\beta \right]\right\}\text{d}\textbf{w}&&...\text{上式と式(1.60)より}t,\textbf{w}\text{にかかわる項以外を定数項と考えた} \\ \\
&\propto
\int\exp\left\{-\frac{\beta(t-\textbf{w}^{\text{T}}\boldsymbol{\phi}(x))^2}{2}-\frac12\left[\textbf{w}^{\text{T}}\textbf{S}^{-1}\textbf{w}-2\textbf{w}^{\text{T}}\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\beta \right]\right\}\text{d}\textbf{w}& \\ \\
&=
\int\exp\left\{-\frac12\left[\beta(t-\textbf{w}^{\text{T}}\boldsymbol{\phi}(x))^2+\textbf{w}^{\text{T}}\textbf{S}^{-1}\textbf{w}-2\textbf{w}^{\text{T}}\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\beta \right]\right\}\text{d}\textbf{w}& \\ \\
&=
\int\exp\left\{-\frac12\left[\beta\textbf{w}^{\text{T}}\boldsymbol{\phi}(x)\boldsymbol{\phi}(x)^{\text{T}}\textbf{w}-2\beta\textbf{w}^{\text{T}}\boldsymbol{\phi}(x)t+\beta t^2+\textbf{w}^{\text{T}}\textbf{S}^{-1}\textbf{w}-2\textbf{w}^{\text{T}}\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\beta \right]\right\}\text{d}\textbf{w}&&...\text{式展開をし、(2)を適用した} \\ \\
&=
\int\exp\left\{-\frac12\left[\textbf{w}^{\text{T}}\left\{\beta\boldsymbol{\phi}(x)\boldsymbol{\phi}(x)^{\text{T}}+\textbf{S}^{-1}\right\}\textbf{w}-2\beta\textbf{w}^{\text{T}}\left\{\boldsymbol{\phi}(x)t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\right\}+\beta t^2 \right]\right\}\text{d}\textbf{w}& \\ \\
&=
\int\exp\left\{-\frac12\left[\textbf{w}^{\text{T}}\textbf{S}_1^{-1}\textbf{w}-\beta\textbf{w}^{\text{T}}\left\{\boldsymbol{\phi}(x)t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\right\}-\beta\textbf{w}^{\text{T}}\left\{\boldsymbol{\phi}(x)t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\right\}+\beta t^2 \right]\right\}\text{d}\textbf{w}&&...\textbf{S}_1^{-1}=\beta\boldsymbol{\phi}\boldsymbol{\phi}^{\text{T}}+\textbf{S}^{-1}\text{とした} \\ \\
&=
\int\exp\left\{-\frac12\left[\textbf{w}^{\text{T}}\textbf{S}_1^{-1}\textbf{w}-\beta\left\{\boldsymbol{\phi}(x)^{\text{T}}t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)^{\text{T}}\right\}\textbf{w}-\beta\textbf{w}^{\text{T}}\left\{\boldsymbol{\phi}(x)t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\right\}+\beta t^2 \right]\right\}\text{d}\textbf{w}&&...\text{(2)より} \\ \\
&=
\int\exp\left\{-\frac12\left[\textbf{w}^{\text{T}}\textbf{S}_1^{-1}\textbf{w}-\beta\left\{\boldsymbol{\phi}(x)^{\text{T}}t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)^{\text{T}}\right\}\textbf{S}_1\textbf{S}_1^{-1}\textbf{w}-\beta\textbf{w}^{\text{T}}\textbf{S}_1^{-1}\textbf{S}_1\left\{\boldsymbol{\phi}(x)t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\right\}+\beta t^2 \right]\right\}\text{d}\textbf{w}&&...\textbf{I}=\textbf{S}_1^{-1}\textbf{S}_1\text{より} \\ \\
&=
\int\exp\left\{-\frac12\left[\textbf{w}^{\text{T}}\textbf{S}_1^{-1}\textbf{w}-\beta\left\{\boldsymbol{\phi}(x)^{\text{T}}t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)^{\text{T}}\right\}\textbf{S}_1^{\text{T}}\textbf{S}_1^{-1}\textbf{w}-\beta\textbf{w}^{\text{T}}\textbf{S}_1^{-1}\textbf{S}_1\left\{\boldsymbol{\phi}(x)t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\right\}+\beta t^2 \right]\right\}\text{d}\textbf{w}&&...(3) \\ \\
&=
\int\exp\left\{-\frac12\left[\left(\textbf{w}^{\text{T}}-\beta\left\{\boldsymbol{\phi}(x)^{\text{T}}t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)^{\text{T}}\right\}\textbf{S}_1^{\text{T}}\right)\textbf{S}_1^{-1}\left(\textbf{w}-\beta\textbf{S}_1\left\{\boldsymbol{\phi}(x)t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\right\}\right)-Z+\beta t^2 \right]\right\}\text{d}\textbf{w}&&...\text{平方完成した際に残る項を}Z\text{とした} \\ \\
&=
\int\exp\left\{-\frac12\left(\textbf{w}-\beta\textbf{S}_1\left\{\boldsymbol{\phi}(x)t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\right\}\right)^{\text{T}}\textbf{S}_1^{-1}\left(\textbf{w}-\beta\textbf{S}_1\left\{\boldsymbol{\phi}(x)t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\right\}\right)\right\}\text{d}\textbf{w}\exp\left\{-\frac12\left[-Z+\beta t^2 \right]\right\}&&... \\ \\
&\propto
\exp\left\{-\frac12\left[-Z+\beta t^2 \right]\right\}&&...\text{式(1.52)より多変数のガウス分布と同様の形をしており、積分すると}t\text{を含まない定数になるため} \\ \\
&=
\exp\left\{-\frac12\left[-\left(-\beta\textbf{S}_1\left\{\boldsymbol{\phi}(x)t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\right\}\right)^{\text{T}}\textbf{S}_1^{-1}\left(-\beta\textbf{S}_1\left\{\boldsymbol{\phi}(x)t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\right\}\right)+\beta t^2 \right]\right\}&&...Z\text{を展開した} \\ \\
&=
\exp\left\{-\frac12\left[-\beta^2\left\{\boldsymbol{\phi}(x)^{\text{T}}t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)^{\text{T}}\right\}\textbf{S}_1^{\text{T}}(\textbf{S}_1^{-1}\textbf{S}_1)\left\{\boldsymbol{\phi}(x)t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\right\}+\beta t^2 \right]\right\}& \\ \\
&=
\exp\left\{-\frac12\left[-\beta^2\left\{\boldsymbol{\phi}(x)^{\text{T}}t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)^{\text{T}}\right\}\textbf{S}_1\textbf{I}\left\{\boldsymbol{\phi}(x)t+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\right\}+\beta t^2 \right]\right\}&&...\text{(3)より} \\ \\
&=
\exp\left\{-\frac12\left[\left\{\beta-\beta^2\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}_1\boldsymbol{\phi}(x)\right\}t^2-\beta^2\left\{\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}_1\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)+\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)^{\text{T}}\textbf{S}_1\boldsymbol{\phi}(x)\right\}t\right]\right\}& \\ \\
&=
\exp\left\{-\frac12\left[\left\{\beta-\beta^2\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}_1\boldsymbol{\phi}(x)\right\}t^2-2\beta^2\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}_1\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)t\right]\right\}&&...(4) \\ \\
&=
\exp\left\{-\frac12\left[\left\{\frac{1}{\beta^{-1}+\boldsymbol{\phi}^{\text{T}}\textbf{S}\boldsymbol{\phi}}\right\}t^2-2\beta^2\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}_1\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)t\right]\right\}&&...(5) \\ \\
&=
\exp\left\{-\frac12\left[\left\{\frac{1}{\beta^{-1}+\boldsymbol{\phi}^{\text{T}}\textbf{S}\boldsymbol{\phi}}\right\}\left(t-(\beta^{-1}+\boldsymbol{\phi}^{\text{T}}\textbf{S}\boldsymbol{\phi})\beta^2\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}_1\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\right)^2-Y\right]\right\}&&...\text{平方完成して残る項を}Y\text{とした} \\ \\
&=
\exp\left\{-\frac12\left[\left\{\frac{1}{\beta^{-1}+\boldsymbol{\phi}^{\text{T}}\textbf{S}\boldsymbol{\phi}}\right\}\left(t-\beta\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\right)^2-Y\right]\right\}&&...(6) \\ \\
&\propto
\exp\left\{-\frac12\left[\left\{\frac{1}{\beta^{-1}+\boldsymbol{\phi}^{\text{T}}\textbf{S}\boldsymbol{\phi}}\right\}\left(t-\beta\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)\right)^2\right]\right\}&&...t\text{にかかわらない項を定数とした} \\ \\
&=
\exp\left\{-\frac{1}{2s^2(x)}\left(t-m(x)\right)^2\right\}& \\ \\
\end{align*}
と式変形できる。この式は定数項を除いてガウス分布であることを示しているため、その時平均\(m(x)\)と分散\(s^2(x)\)はそれぞれ式(1.70)(1.71)になる。
式(1.1)とその下の記述、式(1.72)下の記述より
\begin{align*}
y(x_n,\textbf{w})
&=
w_0+w_1x_n+w_2x_n^2+\ldots \\ \\
&=
(w_0,w_1,w_2,\ldots)
\left(
\begin{array}{cccc}
x_n^0 \\
x_n^1 \\
x_n^2 \\
\vdots
\end{array}
\right) \\ \\
&=
\textbf{w}^{\text{T}}\boldsymbol{\phi} \\ \\
\end{align*}
となる。
式(1.1)とその下の記述、式(1.72)下の記述より
\begin{align*}
\textbf{w}^{\text{T}}\boldsymbol{\phi}
&=
w_0+w_1x_n+w_2x_n^2+\ldots \\ \\
&=
w_0+x_nw_1+x_n^2w_2+\ldots \\ \\
&=
(x_n^0,x_n^1 ,x_n^2,\ldots)
\left(
\begin{array}{cccc}
w_0 \\
w_1\\
w_2 \\
\vdots
\end{array}
\right) \\ \\
&=
\boldsymbol{\phi}^{\text{T}}\textbf{w}
\\ \\
\end{align*}
となる。
\begin{align*}
(\textbf{S}_1^{-1})^{\text{T}}
&=
(\beta\boldsymbol{\phi}\boldsymbol{\phi}^{\text{T}}+\textbf{S}^{-1})^{\text{T}} \\ \\
&=
(\beta{\color{red}\boldsymbol{\phi}}\boldsymbol{\phi}^{\text{T}}+\alpha\textbf{I}+\beta\displaystyle\sum_{n=1}^N{\color{red}\boldsymbol{\phi}(x_n)}\boldsymbol{\phi}(x_n)^{\text{T}})^{\text{T}} \\ \\
&=
(\beta\boldsymbol{\phi}^{\text{T}})^{\text{T}}{\color{red}\boldsymbol{\phi}^{\text{T}}}+\alpha\textbf{I}^{\text{T}}+\beta\displaystyle\sum_{n=1}^N(\boldsymbol{\phi}(x_n)^{\text{T}})^{\text{T}}{\color{red}\boldsymbol{\phi}(x_n)^{\text{T}}}&&...(AB)^{\text{T}}=B^{\text{T}}A^{\text{T}}\text{を用いた} \\ \\
&=
\beta\boldsymbol{\phi}\boldsymbol{\phi}^{\text{T}}+\alpha\textbf{I}+\beta\displaystyle\sum_{n=1}^N\boldsymbol{\phi}(x_n)\boldsymbol{\phi}(x_n)^{\text{T}}&&...\textbf{I}^{\text{T}}=\textbf{I},(A^{\text{T}})^{\text{T}}=A\text{を用いた} \\ \\
&=
\textbf{S}_1^{-1}
\end{align*}
となる。ここで、対称行列の逆行列は対称行列になるため(参考)
\begin{align*}
\textbf{S}_1^{\text{T}}
&=
\textbf{S}_1
\end{align*}
が得られる。
\begin{align*}
\boldsymbol{\phi}(x_i)^{\text{T}}\textbf{S}_1\boldsymbol{\phi}(x)
&=
(\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}_1^{\text{T}}(\boldsymbol{\phi}(x_i)^{\text{T}})^{\text{T}})^{\text{T}}&&...\text{転置行列の性質を用いた} \\ \\
&=
(\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}_1\boldsymbol{\phi}(x_i))^{\text{T}}&&...\textbf{S}_1^{\text{T}}=\textbf{S}_1\text{を用いた} \\ \\
&=
\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}_1\boldsymbol{\phi}(x_i)&&...\boldsymbol{\phi}(x),\boldsymbol{\phi}(x_i)\text{がベクトルであるため計算結果はスカラーになることから}
\end{align*}
と導出できる。
\begin{align*}
\beta-\beta^2\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}_1\boldsymbol{\phi}(x)
&=
\beta-\beta^2\boldsymbol{\phi}(x)^{\text{T}}(\textbf{S}_1^{-1})^{-1}\boldsymbol{\phi}(x) \\ \\
&=
\beta-\beta^2\boldsymbol{\phi}(x)^{\text{T}}(\beta\boldsymbol{\phi}\boldsymbol{\phi}^{\text{T}}+\textbf{S}^{-1})^{-1}\boldsymbol{\phi}(x) \\ \\
&=
\beta-\beta^2\boldsymbol{\phi}(x)^{\text{T}}(\textbf{S}^{-1}+\boldsymbol{\phi}\beta\boldsymbol{\phi}^{\text{T}})^{-1}\boldsymbol{\phi}(x) \\ \\
&=
\beta-\beta^2\boldsymbol{\phi}(x)^{\text{T}}\left(\textbf{S}-\textbf{S}\boldsymbol{\phi}(x)\{\beta^{-1}+\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\boldsymbol{\phi}(x)\}^{-1}\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\right)\boldsymbol{\phi}(x)&&...\text{式(C.7)の公式を用いた} \\ \\
&=
\beta-\beta^2\boldsymbol{\phi}(x)^{\text{T}}\left(\textbf{S}-\frac{\textbf{S}\boldsymbol{\phi}(x)\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}}{\beta^{-1}+\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\boldsymbol{\phi}(x)}\right)\boldsymbol{\phi}(x)&&...\beta^{-1}+\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\boldsymbol{\phi}(x)\text{はスカラーであるためベクトルとの積は交換可能になる。そのため分母に移動した。} \\ \\
&=
\beta-\beta^2\left(a-\frac{a^2}{\beta^{-1}+a}\right)&&...\text{スカラーとして}a=\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\boldsymbol{\phi}(x)\text{とした} \\ \\
&=
\beta-\beta^2\left(\frac{a(\beta^{-1}+a)-a^2}{\beta^{-1}+a}\right)&\\ \\
&=
\beta-\frac{a\beta}{\beta^{-1}+a}&\\ \\
&=
\frac{\beta(\beta^{-1}+a)-a\beta}{\beta^{-1}+a}&\\ \\
&=
\frac{1}{\beta^{-1}+a}&\\ \\
&=
\frac{1}{\beta^{-1}+\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\boldsymbol{\phi}(x)}&\\ \\
\end{align*}
と導出できる。
\begin{align*}
(\beta^{-1}+\boldsymbol{\phi}^{\text{T}}\textbf{S}\boldsymbol{\phi})\beta^2\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}_1\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)
&=
(\beta^{-1}+\boldsymbol{\phi}^{\text{T}}\textbf{S}\boldsymbol{\phi})\beta^2\boldsymbol{\phi}(x)^{\text{T}}(\textbf{S}_1^{-1})^{-1}\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n) \\ \\
&=
(\beta^{-1}+\boldsymbol{\phi}^{\text{T}}\textbf{S}\boldsymbol{\phi})\beta^2\boldsymbol{\phi}(x)^{\text{T}}(\textbf{S}^{-1}+\boldsymbol{\phi}\beta\boldsymbol{\phi}^{\text{T}})^{-1}\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n) \\ \\
&=
(\beta^{-1}+\boldsymbol{\phi}^{\text{T}}\textbf{S}\boldsymbol{\phi})\beta^2\boldsymbol{\phi}(x)^{\text{T}}\left(\textbf{S}-\textbf{S}\boldsymbol{\phi}(x)\{\beta^{-1}+\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\boldsymbol{\phi}(x)\}^{-1}\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\right)\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)&&...\text{式(C.7)より} \\ \\
&=
(\beta^{-1}+\boldsymbol{\phi}^{\text{T}}\textbf{S}\boldsymbol{\phi})\beta^2\boldsymbol{\phi}(x)^{\text{T}}\left(\textbf{S}-\frac{\textbf{S}\boldsymbol{\phi}(x)\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}}{\beta^{-1}+\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\boldsymbol{\phi}(x)}\right)\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)&&...\beta^{-1}+\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\boldsymbol{\phi}(x)\text{はスカラーであるためベクトルとの積は交換可能になる。そのため分母に移動した。} \\ \\
&=
(\beta^{-1}+\boldsymbol{\phi}^{\text{T}}\textbf{S}\boldsymbol{\phi})\beta^2\left(\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}-\frac{\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\boldsymbol{\phi}(x)\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}}{\beta^{-1}+\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\boldsymbol{\phi}(x)}\right)\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)& \\ \\
&=
\beta^2\left(\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}-\frac{\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\boldsymbol{\phi}(x)\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}}{\beta^{-1}+\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\boldsymbol{\phi}(x)}\right)(\beta^{-1}+\boldsymbol{\phi}^{\text{T}}\textbf{S}\boldsymbol{\phi})\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)&&...(\beta^{-1}+\boldsymbol{\phi}^{\text{T}}\textbf{S}\boldsymbol{\phi})\text{はスカラーであるため積の順序を入れ替えた} \\ \\
&=
\beta^2\left(\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}(\beta^{-1}+\boldsymbol{\phi}^{\text{T}}\textbf{S}\boldsymbol{\phi})-\frac{\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\boldsymbol{\phi}(x)\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}}{\beta^{-1}+\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\boldsymbol{\phi}(x)}(\beta^{-1}+\boldsymbol{\phi}^{\text{T}}\textbf{S}\boldsymbol{\phi})\right)\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)& \\ \\
&=
\beta^2\left[\beta^{-1}\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}+\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\boldsymbol{\phi}^{\text{T}}\textbf{S}\boldsymbol{\phi}-\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\boldsymbol{\phi}(x)\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\right]\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)&\\ \\
&=
\beta^2\left[\beta^{-1}\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\right]\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)&\\ \\
&=
\beta\boldsymbol{\phi}(x)^{\text{T}}\textbf{S}\displaystyle\sum_{n=1}^Nt_n\boldsymbol{\phi}(x_n)&\\ \\
\end{align*}
と導出できる。