Chapter 2. Probability Distributions
Exercise 2.11
Hint.
\(p(\mu)=\frac{\Gamma (\sum \alpha)}{\prod \Gamma(\alpha)}\prod \mu^{\alpha-1}\)，直接对\(\mu\)求导，涉及运算均为逐元素运算，
\[\begin{aligned}
\frac{\partial}{\partial \alpha}p(\mu)
&=p(\mu)\left[\ln \mu + \frac{\nabla\Gamma(\sum \alpha)}{\Gamma(\sum \alpha)} - \frac{\nabla(\prod \Gamma(\alpha))S}{\prod \Gamma(\alpha)}\right],
\end{aligned}
\]
两边求期望，
\[\frac{\partial}{\partial \alpha}\underset{p}{\mathbb{E}}[1]
=\underset{p}{\mathbb{E}}\left[\ln \mu + \frac{\nabla\Gamma(\sum \alpha)}{\Gamma(\sum \alpha)} - \frac{\nabla(\prod \Gamma(\alpha))}{\prod \Gamma(\alpha)}\right],
\]
注意到左边等于0，所以
\[\begin{aligned}
\underset{p}{\mathbb{E}}[\ln \mu]
&= \frac{\nabla(\prod \Gamma(\alpha))}{\prod \Gamma(\alpha)} - \frac{\nabla\Gamma(\sum \alpha)}{\Gamma(\sum \alpha)}\&=\nabla\ln \prod \Gamma(\alpha) - \nabla\ln \Gamma(\sum \alpha).
\end{aligned}
\]
Comment.
利用该结论可以计算Dirichlet分布的熵\({\rm H}[p]=\sum \alpha\circ\underset{p}{\mathbb{E}}[\ln \mu]+C(\alpha)\)。
Exercise 2.13
Hint.
\((x-\mu)^T\Sigma^{-1}(x-\mu)={\rm tr}(\Sigma^{-1}(x-\mu)(x-\mu)^T)\)，参考stackexchange。
Solution.
\({\rm KL}(p||q)=\underset{p}{\mathbb{E}}[\ln p]-\underset{p}{\mathbb{E}}[\ln q]\)，两项形式类似，只需计算后者。
\[\begin{align}
\underset{p}{\mathbb{E}}[\ln q]
&=-\frac{1}{2}\underset{p}{\mathbb{E}}[(x-m)^TL^{-1}(x-m)]-\frac{D}{2}\ln 2\pi-\frac{1}{2}\ln |L|\&=-\frac{1}{2}\underset{p}{\mathbb{E}}[{\rm tr}(L^{-1}(x-m)(x-m)^T)]+C\&=-\frac{1}{2}{\rm tr}(L^{-1}\underset{p}{\mathbb{E}}[(x-m)(x-m)^T])+C\&=-\frac{1}{2}{\rm tr}(L^{-1}\underset{p}{\mathbb{E}}[((x-\mu)-(m-\mu))((x-\mu)-(m-\mu))^T])+C\&=-\frac{1}{2}{\rm tr}(L^{-1}(\underset{p}{\mathbb{E}}[(x-\mu)(x-\mu)^T]
-2\underset{p}{\mathbb{E}}[(x-\mu)](m-\mu)+(m-\mu)(m-\mu)^T))+C\&=-\frac{1}{2}{\rm tr}(L^{-1}(\Sigma+(m-\mu)(m-\mu)^T))+C.
\end{align}
\]
当\(q=p\)，有\(\underset{p}{\mathbb{E}}[\ln p]=-\frac{1}{2}D+C‘\)。
综合两者得到，
\[{\rm KL}(p||q)=\frac{1}{2}\left[{\rm tr}(L^{-1}\Sigma)+(m-\mu)^TL^{-1}(m-\mu)+\ln \frac{|L|}{|\Sigma|}-D\right].
\]
Comment.
- 两个正态分布的KL散度可以显式计算
- 当两个正态分布的协方差矩阵相同时，其KL散度是均值的差的二次型
Exercise 2.43
Hint.
\[\begin{aligned}
\int_{\mathbb{R}} \exp(-\frac{|x|^q}{2\sigma^2})\,{\rm d}x
&=\int_{\mathbb{R}^+} \exp(-\frac{x^q}{2\sigma^2})\,{\rm d}x\&=\int_{\mathbb{R}^+} \exp(-u)(2\sigma^2)^{q^{-1}}q^{-1}u^{q^{-1}}\,{\rm d}u\quad(u=\frac{x^q}{2\sigma^2})\&=(2\sigma^2)^{q^{-1}}q^{-1}\Gamma(q^{-1}).
\end{aligned}
\]
所以，归一化常数为\(\frac{q}{(2\sigma^2)^{q^{-1}}\Gamma(q^{-1})}\)。
PRML_solutions_Chapter02
原文：https://www.cnblogs.com/hilbert9221/p/14334569.html
