首页 > 其他 > 详细

pytorch children和modules

时间:2020-04-11 19:54:43      阅读:169      评论:0      收藏:0      [点我收藏+]

参考1
参考2
官方论坛讨论

children: 只包括网络的第一级孩子,不包括孩子的孩子
modules: 深度优先遍历,先输出孩子,再输出孩子的孩子,孩子的孩子的孩子。。。

children的用法:加载预训练模型

resnet = models.resnet50(pretrained=True)
modules = list(resnet.children())[:-1]  # 去除最后的fc层
resnet_base = nn.Sequential(*modules)
linear = nn.Linear(resnet.fc.in_features,  10)   # 替换新的fc层

# 或者直接替换
resnet = models.resnet50(pretrained=True)
for param in resnet.parameters():      # 冻结参数
    param.requires_grad = False
resnet.fc = nn.Linear(resnet.fc.in_features, 100)

modules的用法:初始化网络的参数,参考官方实现

for m in self.modules():
    if isinstance(m, nn.Conv2d):
        nn.init.kaiming_normal_(m.weight, mode=‘fan_out‘, nonlinearity=‘relu‘)
    elif isinstance(m, (nn.BatchNorm2d, nn.GroupNorm)):
        nn.init.constant_(m.weight, 1)
        nn.init.constant_(m.bias, 0)

pytorch children和modules

原文:https://www.cnblogs.com/huanxifan/p/12680439.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!