一般使用bn的话，对于模型的初始化要求没那么高，但是最终的结果可能没那么好。
1.原始数据需要whitening的原因：
让数据尽可能的保持独立同分布。
1.数据已经正则了为什么还需要各种Normalization
深层训练困难因为数据在过了某些层之后，如果不进行正则的话，每一层更新后上层参数获得的输入分布会再一次变化，高层的数据分布变化的会很厉害，所以参数更新策略很重要。如果每一层的结果都能够进行normalization的话分布相对统一，可以避免每层接收分布不同产生的影响。
原文：https://www.cnblogs.com/wb-learn/p/11695609.html