? 全文转载于【深度学习】深入理解Batch Normalization批标准化；
? 之所以完全手敲，只为加深理解；
这几天面试经常被问到BN层的原理，虽然回答上来了，但还是感觉答得不是很好，今天仔细研究了一下Batch Normalization的原理，以下为参考网上几篇文章总结得出。
? Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原理，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文使对论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》的导读。
? 及其学习领域有个很重要的假设：==IID独立同分布假设 ，就是假设训练数据和测试数据使满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。==那BachNorm的作用使什么呢？BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。
转载-【深度学习】深入理解Batch Normalization批标准化
原文：https://www.cnblogs.com/chenzhen0530/p/10689366.html