首页 > 其他 > 详细

pytorch网络参数初始化

时间:2020-04-10 15:19:43      阅读:115      评论:0      收藏:0      [点我收藏+]

在定义网络时,pythorch会自己初始化参数,但也可以自己初始化,详见官方实现

for m in self.modules():
        if isinstance(m, nn.Conv2d):
            nn.init.kaiming_normal_(m.weight, mode=‘fan_out‘, nonlinearity=‘relu‘)
        elif isinstance(m, (nn.BatchNorm2d, nn.GroupNorm)):
            nn.init.constant_(m.weight, 1)
            nn.init.constant_(m.bias, 0)

pytorch网络参数初始化

原文:https://www.cnblogs.com/huanxifan/p/12672907.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!