贝叶斯统计导论 单参数模型

三节课不学习，赶不上猫咪。（此处鸣谢new bing帮我想的这句话，略作修改。）

回顾

$$p(θ|y)=\frac{p(θ,y)}{p(y)}=\frac{p(θ)p(y|θ)}{p(y)}\propto{p(\theta)p(y|\theta)}$$

即：$Posterior \propto Prior * Data likelihood$，后验正比于先验乘以似然。

先验的分类

有信息先验 Informative prior

先给一个总的表：

Model	Prior	#Pre
$Y|\theta\sim B(n,\theta)$	$\theta\sim Beta(\alpha,\beta)$	$\alpha+\beta-2$
$Y|\theta\sim P(\theta)$	$\theta\sim Γ(\alpha,\beta)$	$\beta$
$Y|\theta\sim N(\theta,\sigma^2)$	$\theta\sim N(μ_0,τ_0^2)$	$\frac{\sigma^2}{τ_0^2}$
$Y|\sigma^2\sim N(\theta,\sigma^2)$	$\sigma^2\sim Inv-\mathcal{X}^2(v_0,\sigma_0^2)$	$v_0$

Binomial Model

对于生男孩女孩的模型：

$$Likelihood:p(y|\theta)\propto \theta^y(1-\theta)^{n-y}\\ Prior:p(\theta)\propto \theta^{\alpha-1}(1-\theta)^{\beta-1},\theta \sim Beta(\alpha,\beta)\\ Posterior:p(\theta|y)\propto \theta^{y+\alpha-1}(1-\theta)^{n-y+\beta-1}\\=Beta(\theta|\alpha+y,\beta+n-y)$$

这样，后验均值和方差为：

$$E(\theta|y)=\frac{\alpha+y}{\alpha+\beta+n}\\ var(\theta|y)=\frac{E(\theta|y)[1-E(\theta|y)]}{\alpha+\beta+n+1}$$

从后验的计算可以看出，其实就是预先多看了$(\alpha-1)$个女婴，$(\beta-1)$个男婴。

引出了共轭先验的概念：

If F is a class of sampling distirbutions $p(y|\theta)$, and P is a class of prior distributions for $\theta$, then the class P is conjugate for F if:

$p(\theta|y)∈P$ for ALL $p(·|\theta)∈F$ and $p(·)∈P$.

均值的解释性：

$$E(\theta|y)=\frac{\alpha+y}{\alpha+\beta+n}\\ =\frac{n}{\alpha+\beta+n}\frac{y}{n}+\frac{\alpha+\beta}{\alpha+\beta+n}\frac{\alpha}{\alpha+\beta}$$

其实就是数据均值和先验均值的加权平均。

$E(\theta)=E(E(\theta|Y))$：θ的先验均值其实就是所有后验分布均值的平均。

$var(\theta)=E(var(\theta|Y))+var(E(\theta|Y))\Rightarrow var(\theta)≥E(var(\theta|Y))$：后验方差平均上小于先验方差。

Poisson Model

$$Likelihood:p(y|\theta)\propto \theta^{n\bar{y}}e^{-n\theta}\\ Prior:p(\theta)\propto \theta^{\alpha-1}e^{-\beta\theta},\theta \sim Gamma(\alpha,\beta)\\ Posterior:\theta|y\sim Gamma(\alpha + n\bar{y},\beta+n)$$

然后先验信息量是β的原因是，Prior中β位置和似然中n位置一样。

Normal Mean with Known Varivance

$$Likelihood:p(y|\theta)=\frac{1}{\sqrt{2π}σ}e^{-\frac{1}{2σ^2}(y-\theta)^2}\\ Prior:p(\theta)=e^{A\theta^2+B\theta+C}\\ 即p(\theta)\propto e^{-\frac{1}{2τ_0^2}(\theta-μ_0)^2}\\ Posterior:\theta|y\sim N(μ_1,τ_1^2)$$

其中，计算得到：

$$μ_1=\frac{\frac{1}{τ_0^2}μ_0+\frac{1}{\sigma^2}y}{\frac{1}{τ_0^2}+\frac{1}{\sigma^2}}\\ \frac{1}{τ_1^2}=\frac{1}{τ_0^2}+\frac{1}{\sigma^2}$$

其中第二行是：后验精度=先验精度+数据精度。

当观测到多个y时，变为：

$$μ_n=\frac{\frac{1}{τ_0^2}μ_0+\frac{n}{\sigma^2}\bar{y}}{\frac{1}{τ_0^2}+\frac{n}{\sigma^2}}\\ \frac{1}{τ_1^2}=\frac{1}{τ_0^2}+\frac{n}{\sigma^2}$$

由数据精度的计算：$\frac{n}{\sigma^2}$可以推测，先验精度$\frac{n_0}{\sigma^2}=\frac{1}{τ_0^2}$，自然有先验样本量为$σ^2/τ_0^2$

预测时：

由于$\tilde{y}|\theta\sim N(\theta,\sigma^2)$，$\theta|y\sim N(μ_1,τ_1^2)$，又由于$y$和$\tilde{y}$独立，所以$\tilde{y}|\theta,y\sim N(\theta,\sigma^2)$。

接着，把$|y$遮掉，相当于$θ$边缘是正态，$\tilde{y}|\theta$是正态，且结果是$\theta$的线性函数，所以它们的联合分布$(\tilde{y},\theta)$也是正态，于是边缘$\tilde{y}$是正态，最后加上条件y，就是$\tilde{y}|y$是正态。

（第一行，第一个是带条件的重期望，第二个是上面结论）：

$$E(\tilde{y}|y)=E(E(\tilde{y}|\theta,y)|y)=E(\theta|y)=μ_1\\ var(\tilde{y}|y)=E(var(\tilde{y}|y,\theta)|y)+var(E(\tilde{y}|y,\theta)|y)=\sigma^2+τ_1^2$$

Normal Varivance with Known Mean

这一部分的推导有点难。直接上多个观测值的推导：

$$Likelihood:p(y|\sigma^2)\propto \sigma^{-n}e^{-\frac{1}{2σ^2}\sum_{i=1}^{n}(y_i-\theta)^2}=(\sigma^2)^{-n/2}e^{-\frac{n}{2\sigma^2}v}\\ 其中\ v=\frac1n\sum_{i=1}^n{(y_i-\theta)^2}\\$$

从这个似然，想到构建共轭先验的时候，是类似于$x^\alpha e^{-\frac{\beta}{2x}}$的形式。而Gamma分布是$x^{\alpha-1}e^{-\beta x}$的形式，所以令$z=1/x$，$f_z(z)=f(x)\frac{1}{z^2}=z^{-(\alpha+1)}e^{-\frac{\beta}{z}}$，称为逆Gamma分布，即$Inv - Γ(\alpha,\beta)$。

又由Gamma和卡方的关系，$Γ(v_0/2, 1/2)=\mathcal{X}^2_{v_0}$，所以也可以找到逆卡方分布的形式。

$$Conjugate\ Prior:p(\sigma^2)\propto (\sigma^2)^{-(\alpha+1)}e^{-\frac{\beta}{\sigma^2}}\\ 可写成\ p(\sigma^2)\propto (\sigma^2)^{-(\frac{v_0}{2}+1)}e^{-\frac{v_0\sigma^2}{2\sigma^2}}\\$$

这样凑出了：

$$\sigma^2 \sim Inv -Γ(\alpha,\beta)\\ \sigma^2 \sim Inv-\mathcal{X}^2(v_0,\sigma_0^2)\\ \sigma^2=\frac{\sigma_0^2v_0}{X},X\sim \mathcal{X}^2_{v_0}$$

于是后验：

$$Posterior:\sigma^2|y\sim Inv-\mathcal{X}^2(v_0+n,\frac{v_0\sigma_0^2+nv}{v_0+n})$$

对比一下，$v_0$就是先验信息量，而$nv$是样本总方差，$v_0\sigma_0^2$就是先验总方差。

无信息先验 Non-infomative Prior

在Normal Mean with Known Variance中，如果$τ_0^2$趋于无穷，相当于先验样本量为0。这个时候先验不是一个"proper distribution"（恰当的分布，简单地说就是积分为1），但后验是恰当的。这是一种得到无信息先验的办法，但并不总是有效。

无信息先验并不一定是均匀分布，例如在Normal Variance with Known Mean中，找$p(\sigma)\propto 1$，根据下面公式：

算出$p(\sigma^2)\propto \frac{1}{2\sigma}$。

Jeffrey’s Prior

这就引出一个问题：

Can we pick a prior where the scale the parameter is measured in doesn’t matter?

答案是Jeffrey’s Prior，具有不变性：

对于参数θ，先验是$p_\theta(\theta)=\pi(\theta)$，一一映射到$\phi=h(\theta)$，先验变为$p_\phi(\phi)=p_\theta(\theta(\phi))|\frac{d\theta(\phi)}{d\phi}|=\eta(\phi)$。Jeffery’s invariance principle能使得$\pi(·)=\eta(·)$，也就是希望$\eta(\phi)=\pi(\phi)$。

借助了Fisher信息量（对y求期望）：

$$J(\theta)=-E(\frac{d^2logp(y|\theta)}{d\theta^2}|\theta)$$

Jeffrey’s Prior是：

$$p(\theta)\propto [J(\theta)]^{1/2}$$

有（推导过程略，复习时应该看一下）：

$$J(\phi)^{1/2}=J(\theta)^{1/2}|\frac{d\theta}{d\phi}|$$

对于Normal model with unknown variance，$p(\sigma)\propto \frac1\sigma$，$p(\sigma^2)\propto\frac1{\sigma^2}$，计算$p(log\sigma)$：

不能想当然地认为是$\frac1{log\sigma}$，相当于$f(1)=1,f(2)=\frac12$并不能说明$f(3)=\frac13$（也就是说你不知道$\pi(·)$的形式）。应该根据Jeffrey先验的性质：

$$p(log\sigma)=p(\sigma)|\frac{d\sigma}{dlog\sigma}|\propto1$$

Binomial Model的结论：

Pivotal Quatities枢轴量

枢轴量的分布与参数无关。

在$y\sim N(\theta, 1)$的模型中，令$u=y-\theta$，u就是一个枢轴量。

我们希望$f(u|y)\propto 1 ·f(u|\theta)$，对比$p(\theta|y)\propto p(\theta)p(y|\theta)$，结合概率密度的变换公式可以算出$p(\theta)\propto1$。

例如在$y\sim N(0,\theta^2)$的模型中，$u=\frac{y}{\theta}$是枢轴量，计算出$p(\theta)\propto \frac1\theta$。