|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
|
import torch as tclass LeNet(t.nn.Module): def __init__(self): super(LeNet, self).__init__() self.features = t.nn.Sequential( t.nn.Conv2d(3, 6, 5), t.nn.ReLU(), t.nn.MaxPool2d(2, 2), t.nn.Conv2d(6, 16, 5), t.nn.ReLU(), t.nn.MaxPool2d(2, 2) ) # 由于调整shape并不是一个class层， # 所以在涉及这种操作（非nn.Module操作）需要拆分为多个模型 self.classifiter = t.nn.Sequential( t.nn.Linear(16*5*5, 120), t.nn.ReLU(), t.nn.Linear(120, 84), t.nn.ReLU(), t.nn.Linear(84, 10) ) def forward(self, x): x = self.features(x) x = x.view(-1, 16*5*5) x = self.classifiter(x) return xnet = LeNet() |
|
1
2
3
4
5
6
7
8
9
10
11
|
from torch import optim# 通常的step优化过程optimizer = optim.SGD(params=net.parameters(), lr=1)optimizer.zero_grad() # net.zero_grad()input_ = t.autograd.Variable(t.randn(1, 3, 32, 32))output = net(input_)output.backward(output)optimizer.step() |
为不同的子网络参数不同的学习率，finetune常用，使分类器学习率参数更高，学习速度更快（理论上）。
1.经由构建网络时划分好的模组进行学习率设定，
|
1
2
3
|
# # 直接对不同的网络模块制定不同学习率optimizer = optim.SGD([{‘params‘: net.features.parameters()}, # 默认lr是1e-5 {‘params‘: net.classifiter.parameters(), ‘lr‘: 1e-2}], lr=1e-5) |
2.以网络层对象为单位进行分组，并设定学习率
|
1
2
3
4
5
6
7
8
9
10
|
# # 以层为单位，为不同层指定不同的学习率# ## 提取指定层对象special_layers = t.nn.ModuleList([net.classifiter[0], net.classifiter[3]])# ## 获取指定层参数idspecial_layers_params = list(map(id, special_layers.parameters()))print(special_layers_params)# ## 获取非指定层的参数idbase_params = filter(lambda p: id(p) not in special_layers_params, net.parameters())optimizer = t.optim.SGD([{‘params‘: base_params}, {‘params‘: special_layers.parameters(), ‘lr‘: 0.01}], lr=0.001) |
|
1
2
3
4
5
6
7
8
9
|
‘‘‘调整学习率‘‘‘# 新建optimizer或者修改optimizer.params_groups对应的学习率# # 新建optimizer更简单也更推荐，optimizer十分轻量级，所以开销很小# # 但是新的优化器会初始化动量等状态信息，这对于使用动量的优化器（momentum参数的sgd）可能会造成收敛中的震荡# ## optimizer.param_groups:长度2的list，optimizer.param_groups[0]：长度6的字典print(optimizer.param_groups[0][‘lr‘])old_lr = 0.1optimizer = optim.SGD([{‘params‘: net.features.parameters()}, {‘params‘: net.classifiter.parameters(), ‘lr‘: old_lr*0.1}], lr=1e-5) |
可以看到optimizer.param_groups结构，[{‘params‘,‘lr‘, ‘momentum‘, ‘dampening‘, ‘weight_decay‘, ‘nesterov‘},{……}]，集合了优化器的各项参数。
原文：https://www.cnblogs.com/ranjiewen/p/9240512.html