読者です 読者をやめる 読者になる 読者になる

今日の学びについて

Confidence-Weighted Linear Classificationを学びながら以下のことを学んだ

多変量正規分布積率母関数

http://www.eco.osakafu-u.ac.jp/osakafu-content/uploads/sites/9/2014/06/us-ln12.pdf

上の資料がよくまとまっている.


\renewcommand{\bx}{\boldsymbol{x}}
\renewcommand{\bm}{\boldsymbol{\mu}}
\renewcommand{\btheta}{\boldsymbol{\theta}}
E[e^{\theta X}]=\int_{-\infty}^\infty e^{\theta x} \frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}}
 \exp\{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^\top\Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\}d\boldsymbol{x}

e^{\theta x}は右の指数とまとめて,指数の肩だけに注目すると

\begin{align}
&-\frac{1}{2}(\bx^\top\Sigma^{-1}\bx-2\bm^\top\Sigma^{-1}\bx -2\btheta\bx + \bm^\top\Sigma^{-1}\bm)\\
&=-\frac{1}{2}(\bx-(\bm+\Sigma\btheta))^\top\Sigma^{-1}(\bx-(\bm+\Sigma\btheta))+\btheta^\top\bm+\frac{1}{2}\btheta^\top\Sigma\btheta
\end{align}

よって元の積分


\begin{align}
&E[e^{\theta X}]=\exp[\btheta^\top\bm+\frac{1}{2}\btheta^\top\Sigma\btheta] \int_{-\infty}^\infty \frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}}
 \exp\left\{-\frac{1}{2}(\bx-(\bm+\Sigma\btheta))^\top\Sigma^{-1}(\bx-(\bm+\Sigma\btheta))\right\}d\boldsymbol{x}
\end{align}

後ろの積分正規分布積分で1となるので,結局積率母関数

 E[e^{\theta X}]=\exp[\btheta^\top\bm+\frac{1}{2}\btheta^\top\Sigma\btheta]

となる.

多変量正規分布を線形変換した場合の分布

上の積率母関数を使うと簡単に求められる.  X X\sim\mathcal{N}(\bm,\Sigma)のように多変数正規分布にしたがうとき, Y=AX+bのような線形変換をした変数 Yの分布はどうなるか?

 Y積率母関数を考えてみる.


\renewcommand{\by}{\boldsymbol{y}}
\renewcommand{\bb}{\boldsymbol{b}}
\begin{align}
E[e^{\btheta^\top\by}]&=E[e^{\btheta^\top(A\bx+\bb)}]\\
&=E[e^{\btheta^\top A\bx}]e^{\btheta\bb}
\end{align}

ここで E[e^{\btheta^\top A\bx}] \btheta'=\btheta^\top A積率母関数と見ることができるので, 上の多変量正規分布積率母関数の結果を用いると


\begin{align}
E[e^{\btheta^\top\by}]&=\exp[\btheta A\bm+\frac{1}{2}\btheta^\top A\Sigma A^\top\btheta+\btheta^\top\bb]\\
&=\exp[\btheta(A\bm+\bb)+\frac{1}{2}\btheta^\top A\Sigma A^\top\btheta]
\end{align}

したがって,積率母関数の形から  p(y)\sim\mathcal{N}(A\bm+\bb, A\Sigma A^\top)となる.