权重衰减是应对过拟合问题的常用方法。
在深度学习中，我们常使用L2范数正则化，也就是在模型原先损失函数基础上添加L2范数惩罚项，从而得到训练所需要最小化的函数。
L2范数惩罚项指的是模型权重参数每个元素的平方和与一个超参数的乘积。如：\(w_1\),\(w_2\)是权重参数，b是偏差参数，带\(L_2\)范数惩罚项的新损失函数为：
\[\ell(w_1, w_2, b) + \frac{\lambda}{2}(w_1^2 + w_2^2),\]
\(\lambda\)调节了惩罚项的比重。
有了\(L_2\)范数后，在随机梯度下降中，以单层神经网络为例，权重的迭代公式变更为：
\[w_1 \leftarrow w_1 - \frac{\eta}{|\mathcal{B}|} \sum_{i \in \mathcal{B}}x_1^{(i)} (x_1^{(i)} w_1 + x_2^{(i)} w_2 + b - y^{(i)}) - \lambda w_1,\]
\[w_2 \leftarrow w_2 - \frac{\eta}{|\mathcal{B}|} \sum_{i \in \mathcal{B}}x_2^{(i)} (x_1^{(i)} w_1 + x_2^{(i)} w_2 + b - y^{(i)}) - \lambda w_2.\]
\(\eta\)为学习率，\(\mathcal{B}\)为样本数目，可见：\(L_2\)范数正则化令权重的每一步更新分别添加了\(-\lambda w_1\)和\(\lambda w_2\)。这就是\(L_2\)范数正则化被称为权重衰减(weight decay)的原因。
在实际中，我们有时也在惩罚项中添加偏差元素的平方和。
假设神经网络中某一个神经元的输入是\(x_1,x_2\)，使用激活函数\(\phi\)并输出\(\phi(x_1w_1+x_2w_2+b)\)。假设激活函数\(\phi\)是ReLU、tanh或sigmoid，如果\(w_1,w_2,b\)都非常接近0，那么输出也接近0。也就是说，这个神经元的作用比较小，甚至就像是令神经网络少了一个神经元一样。这样便有效降低了模型的复杂度，降低了过拟合。
我们通过高维线性回归为例来引入一个过拟合问题，并使用L2范数正则化来试着应对过拟合。
设数据样本特征的维度为p。对于训练数据集和测试数据集中特征为\(x_1,x_2,…,x_n\)的任一样本，我们使用如下的线性函数来生成该样本的标签：
\[y = 0.05 + \sum_{i = 1}^p 0.01x_i + \epsilon,\]
其中噪音项?服从均值为0和标准差为0.1的正态分布。
为了较容易地观察过拟合，我们考虑高维线性回归问题，例如设维度p=200；同时，我们特意把训练数据集的样本数设低，例如20。
n_train = 20
n_test = 100
num_inputs = 200
true_w = nd.ones((num_inputs, 1)) * 0.01
true_b = 0.05
features = nd.random.normal(shape=(n_train+n_test, num_inputs))
labels = nd.dot(features, true_w) + true_b
labels += nd.random.normal(scale=0.01, shape=labels.shape)
train_features, test_features = features[:n_train, :], features[n_train:, :]
train_labels, test_labels = labels[:n_train], labels[n_train:]def init_params():
w = nd.random.normal(scale=1, shape=(num_inputs, 1))
b = nd.zeros(shape=(1,))
params = [w, b]
for param in params:
param.attach_grad()
return paramsdef l2_penalty(w):
return (w**2).sum() / 2batch_size = 1
num_epochs = 10
lr = 0.003
net = gb.linreg
loss = gb.squared_loss
def fit_and_plot(lambd):
w, b = params = init_params()
train_ls = []
test_ls = []
for _ in range(num_epochs):
for X, y in gb.data_iter(batch_size, n_train, features, labels):
with autograd.record():
# 添加了 L2 范数惩罚项。
l = loss(net(X, w, b), y) + lambd * l2_penalty(w)
l.backward()
gb.sgd(params, lr, batch_size)
train_ls.append(loss(net(train_features, w, b),
train_labels).mean().asscalar())
test_ls.append(loss(net(test_features, w, b),
test_labels).mean().asscalar())
gb.semilogy(range(1, num_epochs+1), train_ls, 'epochs', 'loss',
range(1, num_epochs+1), test_ls, ['train', 'test'])
return 'w[:10]:', w[:10].T, 'b:', b设置lambd=0，训练误差远小于测试（泛化）误差，这是典型的过拟合现象。
fit_and_plot(lambd=0)
# output
('w[:10]:',
[[ 0.30343655 -0.08110731 0.64756584 -1.51627898 0.16536537 0.42101485
0.41159022 0.8322348 -0.66477555 3.56285167]]
<NDArray 1x10 @cpu(0)>, 'b:',
[ 0.12521751]
<NDArray 1 @cpu(0)>)
使用正则化，过拟合现象得到一定程度上的缓解。然而依然没有学出较准确的模型参数。这主要是因为训练数据集的样本数相对维度来说太小。
fit_and_plot(lambd=5)
# output
('w[:10]:',
[[ 0.01602661 -0.00279179 0.03075662 -0.07356022 0.01006496 0.02420521
0.02145572 0.04235912 -0.03388886 0.17112994]]
<NDArray 1x10 @cpu(0)>, 'b:',
[ 0.08771407]
<NDArray 1 @cpu(0)>)
原文：https://www.cnblogs.com/houkai/p/9520998.html