Xavier在tanh中表现的很好,但在Relu激活函数中表现的很差,所何凯明提出了针对于relu的初始化方法。pytorch默认使用kaiming正态分布初始化卷积层参数。
(1)kaiming均匀分布
U(?bound,bound)
(2)kaiming正态分布
N(0,std)
Xavier、kaiming分布
原文:https://www.cnblogs.com/DDBD/p/14108027.html