首页 > 其他 > 详细

自定义参数初始化方法

时间:2019-12-20 23:12:36      阅读:216      评论:0      收藏:0      [点我收藏+]
def weight_init(m):
    if isinstance(m, nn.Linear):
        nn.init.xavier_normal_(m.weight)
        nn.init.constant_(m.bias, 0)
    # 也可以判断是否为conv2d,使用相应的初始化方式 
    elif isinstance(m, nn.Conv2d):
        nn.init.kaiming_normal_(m.weight, mode=‘fan_out‘, nonlinearity=‘relu‘)
     # 是否为批归一化层
    elif isinstance(m, nn.BatchNorm2d):
        nn.init.constant_(m.weight, 1)
        nn.init.constant_(m.bias, 0)
# 2. 初始化网络结构        
model = Net(in_dim, n_hidden_1, n_hidden_2, out_dim)
# 3. 将weight_init应用在子模块上
model.apply(weight_init)

  自定义参数初始化方法

原博客:https://blog.csdn.net/dss_dssssd/article/details/83990511

def weight_init(m):    if isinstance(m, nn.Linear):        nn.init.xavier_normal_(m.weight)        nn.init.constant_(m.bias, 0)    # 也可以判断是否为conv2d,使用相应的初始化方式     elif isinstance(m, nn.Conv2d):        nn.init.kaiming_normal_(m.weight, mode=‘fan_out‘, nonlinearity=‘relu‘)     # 是否为批归一化层    elif isinstance(m, nn.BatchNorm2d):        nn.init.constant_(m.weight, 1)        nn.init.constant_(m.bias, 0)# 2. 初始化网络结构        model = Net(in_dim, n_hidden_1, n_hidden_2, out_dim)# 3. 将weight_init应用在子模块上model.apply(weight_init)————————————————版权声明:本文为CSDN博主「墨氲」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。原文链接:https://blog.csdn.net/dss_dssssd/article/details/83990511

自定义参数初始化方法

原文:https://www.cnblogs.com/baitian963/p/12075271.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!