在这篇文章中，我将对多元线性回归做同样的事情。我将得出阻塞的Gibbs采样器所需的条件后验分布。然后我将对采样器进行编码并使用模拟数据对其进行测试。
一个贝叶斯模型
假设我们有一个样本大小的
?科目。我们观察?结果向量?。贝叶斯多元回归假设该向量是从多元正态分布中得出的，其中均值向量是?和协方差矩阵?。这里?是观察到?的协变量矩阵。注意，该矩阵的第一列是标识。参数矢量?的?， ?是一种常见的方差参数，?是?单位矩阵。通过使用单位矩阵，我们假设独立观察。从形式上看，
?
到目前为止，这与频率设置中看到的多元正态回归相同。假设?是完整列排名，最大化可能性产生解决方案：
?
通过为?和指定先验分布来获得贝叶斯模型?。对于这个例子，我将使用平坦的，不正确的先验 ?和反伽马先验?：
?
?
我们假设超级参数是简单的。
关节后验分布与...成正比
?
我们可以这样写，因为我们假设事先独立。那是，
?。
替换分布，
?
在对采样器进行编码之前，我们需要导出Gibbs采样器的组件 - 每个参数的后验条件分布。
条件后验?是通过降低因子而?不是从关节后部和重新排列来找到的。这种情况很容易，因为没有什么可以放弃的：
?
条件后验?需要更多的线性代数。
?
这是一个非常漂亮和直观的结果。因为我们在参数向量上使用平坦先验，所以参数向量的条件后验以最大似然估计为中心 ?。条件后验的协方差矩阵是协方差矩阵的频率估计，?
还要注意，条件后验是一个多变量分布，因为它?是一个向量。因此，在Gibbs采样器的每次迭代中，我们从后部绘制整个矢量或“块”。这比从每个参数的条件分布中绘制条件分布一样，一次一个，效率要高得多。这就是程序被称为“阻塞”采样器的原因。
我模拟了一个? 结果向量?。这?是?单位矩阵，?是一个?模型矩阵。真正的参数向量?是
?
运行阻塞的Gibbs采样器（block_gibbs（）函数）会生成真实系数和方差参数的估计值。运行了500,000次迭代。老化期为100,000，修剪10次迭代。
下面是MCMC链的图，其中真实值用红线表示。
?
以下是应用老化和修剪后参数的后验分布：
?
似乎我们能够对这些参数进行合理的后验估计。分布并不完全以事实为中心，因为我们的数据集只是事实的一个实现。为了确保贝叶斯估计器正常工作，我重复这个练习1000个模拟数据集。
这将产生1,000套后验平均值和1,000套95％可信区间。平均而言，这1000个后方手段应以真相为中心。平均而言，真实参数值应该在95％的时间内在可信区间内。
以下是这些评估的摘要。
?
“Estimator Means”列是所有1,000个模拟的平均后验平均值。非常好。百分比偏差均小于5％。所有参数的95％CI覆盖率约为95％。
我们可以对此模型进行许多扩展。例如，可以使用除Normal之外的其他分布以适应不同类型的结果。例如，如果我们有二进制数据，我们可以将其建模为：
?
?
然后预先分配?。这个想法将贝叶斯线性回归推广到贝叶斯GLM。
在本文中概述的线性情况下，可以更灵活地对协方差矩阵进行建模。相反，假设协方差矩阵是具有单个共同方差的对角线。这是多元线性回归中的同方差性假设。如果数据是聚类的（例如，每个受试者多次观察），我们可以使用逆Wishart分布来模拟整个协方差矩阵。
大数据部落 -中国专业的第三方数据服务提供商，提供定制化的一站式数据挖掘和统计分析咨询服务
统计分析和数据挖掘咨询服务：y0.cn/teradat（咨询服务请联系官网客服）
?QQ：3025393450
?
【服务场景】
科研项目; 公司项目外包;线上线下一对一培训;数据采集;学术研究;报告撰写;市场调查。
【大数据部落】提供定制化的一站式数据挖掘和统计分析咨询服务
?
R语言中的block Gibbs吉布斯采样贝叶斯多元线性回归
原文：https://www.cnblogs.com/tecdat/p/10751627.html
