今日の学びについて

Confidence-Weighted Linear Classificationを学びながら以下のことを学んだ

多変量正規分布の積率母関数

http://www.eco.osakafu-u.ac.jp/osakafu-content/uploads/sites/9/2014/06/us-ln12.pdf

上の資料がよくまとまっている．

$\renewcommand{\bx}{\boldsymbol{x}} \renewcommand{\bm}{\boldsymbol{\mu}} \renewcommand{\btheta}{\boldsymbol{\theta}} E[e^{\theta X}]=\int_{-\infty}^\infty e^{\theta x} \frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}} \exp\{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^\top\Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\}d\boldsymbol{x}$

$e^{\theta x}$ は右の指数とまとめて，指数の肩だけに注目すると

$\begin{align} &-\frac{1}{2}(\bx^\top\Sigma^{-1}\bx-2\bm^\top\Sigma^{-1}\bx -2\btheta\bx + \bm^\top\Sigma^{-1}\bm)\\ &=-\frac{1}{2}(\bx-(\bm+\Sigma\btheta))^\top\Sigma^{-1}(\bx-(\bm+\Sigma\btheta))+\btheta^\top\bm+\frac{1}{2}\btheta^\top\Sigma\btheta \end{align}$

よって元の積分は

$\begin{align} &E[e^{\theta X}]=\exp[\btheta^\top\bm+\frac{1}{2}\btheta^\top\Sigma\btheta] \int_{-\infty}^\infty \frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}} \exp\left\{-\frac{1}{2}(\bx-(\bm+\Sigma\btheta))^\top\Sigma^{-1}(\bx-(\bm+\Sigma\btheta))\right\}d\boldsymbol{x} \end{align}$

後ろの積分は正規分布の積分で1となるので，結局積率母関数は

$E[e^{\theta X}]=\exp[\btheta^\top\bm+\frac{1}{2}\btheta^\top\Sigma\btheta]$

となる．

多変量正規分布を線形変換した場合の分布

上の積率母関数を使うと簡単に求められる． $X$ が $X\sim\mathcal{N}(\bm,\Sigma)$ のように多変数正規分布にしたがうとき， $Y=AX+b$ のような線形変換をした変数 $Y$ の分布はどうなるか？

$Y$ の積率母関数を考えてみる．

$\renewcommand{\by}{\boldsymbol{y}} \renewcommand{\bb}{\boldsymbol{b}} \begin{align} E[e^{\btheta^\top\by}]&=E[e^{\btheta^\top(A\bx+\bb)}]\\ &=E[e^{\btheta^\top A\bx}]e^{\btheta\bb} \end{align}$

ここで $E[e^{\btheta^\top A\bx}]$ は $\btheta'=\btheta^\top A$ の積率母関数と見ることができるので，上の多変量正規分布の積率母関数の結果を用いると

$\begin{align} E[e^{\btheta^\top\by}]&=\exp[\btheta A\bm+\frac{1}{2}\btheta^\top A\Sigma A^\top\btheta+\btheta^\top\bb]\\ &=\exp[\btheta(A\bm+\bb)+\frac{1}{2}\btheta^\top A\Sigma A^\top\btheta] \end{align}$

したがって，積率母関数の形から $p(y)\sim\mathcal{N}(A\bm+\bb, A\Sigma A^\top)$ となる．

jz_trunkの日記

日記．できるだけ毎日書こうとしている．

多変量正規分布の積率母関数

多変量正規分布を線形変換した場合の分布