《PyTorch笔记》

NN初始化

https://github.com/TingsongYu/PyTorch_Tutorial

PDF

PyTorch 学习笔记（四）：权值初始化的十种方法

十种方法

 --> 正交初始化？conjugate？L1 正则初始化选择？

kaiming：“方差一致性” --> 每一步都保证稀疏，类似 LP 进基出基？

第二章2.3  模型finetune：—— map、filter 函数的使用值得借鉴

id() 函数返回对象的唯一标识符，标识符是一个整数。

CPython 中 id() 函数用于获取对象的内存地址。

# 将fc3层的参数从原始网络参数中剔除
ignored_params = list(map(id, net.fc3.parameters()))
base_params = filter(lambda p: id(p) not in ignored_params, net.parameters())

# 为fc3层设置需要的学习率
optimizer = optim.SGD([
    {‘params‘: base_params},
    {‘params‘: net.fc3.parameters(), ‘lr‘: lr_init*10}],  lr_init, momentum=0.9, weight_decay=1e-4)

PyTorch的hook及其在Grad-CAM中的应用

目录 hook简介 PyTorch的四个hook 1. torch.Tensor.register_hook(hook) 2. torch.nn.Module.register_forward_hook 3.…阅读全文?

?赞同 70??16 条评论

?分享

?收藏? 举报

《PyTorch笔记》

原文：https://www.cnblogs.com/cx2016/p/13098380.html