SGD与Adam识别MNIST数据集

  1 ‘‘‘
  2 基于Adam识别MNIST数据集
  3 ‘‘‘
  4 import torch
  5 import torchvision
  6 import torchvision.transforms as transform
  7 import torch.nn
  8 from torch.autograd import Variable
  9 
 10 ‘‘‘
 11 神经网络层级结构：
 12     卷积层Conv1,Conv2()
 13     最大池化层 MaxPool2d()
 14     损失函数 ReLU()
 15 参数：
 16     卷积神经网络的卷积层参数：------输入通道数、输出通道数、卷积核大小、卷积核移动步长和Padding的值
 17         Conv2d(input_channels,output_channels,kernel_size,stride,padding);
 18     最大池化层参数：------池化窗口大小、移动步长
 19         MaxPool2d(kernel_size,stride)
 20 方法：
 21     1.torch.nn.Sequential()用作参数序列化，神经网络模块会按照传入Suquential构造器顺序依次被添加到计算图中执行
 22     2.torch.nn.Linear(x,y)用作对矩阵线性变换，对于一个a*x大小的矩阵，变换后会变成a*y大小的矩阵，即矩阵的乘法
 23 ‘‘‘
 24 
 25 
 26 class LeNet(torch.nn.Module):
 27     def __init__(self):
 28         super(LeNet, self).__init__()
 29 
 30         # 卷积层1
 31         self.conv1 = torch.nn.Sequential(  # input_size=(1*28*28)
 32             torch.nn.Conv2d(1, 6, 5, 1, 2),  # padding=2保证输入输出尺寸相同
 33             # 输出尺寸计算公式：Height=(Height_input-kernel_size+2*padding)/stride+1
 34             # 输出尺寸=(28 - 5 + 2*2)/1 + 1 = 28
 35             torch.nn.ReLU(),  # input_size=(6*28*28)
 36             torch.nn.MaxPool2d(kernel_size=2, stride=2),  # output_size=(6*14*14)
 37             # 池化层尺寸计算公式： Height=(Height_input-Height_filter)/stride+1
 38             # Height = (28 - 2)/2 +1 = 14
 39         )
 40         # 卷积层2
 41         self.conv2 = torch.nn.Sequential(
 42             torch.nn.Conv2d(6, 16, 5),  # 默认stride=1，padding=0； 输入矩阵 6*14*14
 43             # Height = (14-5+0*2)/1 + 1 = 10
 44             torch.nn.ReLU(),  # input_size=(16*10*10)
 45             torch.nn.MaxPool2d(2, 2)  # output_size=(16*5*5)
 46             # Height = (10-2)/2 + 1 = 5
 47         )
 48         # 全连接层1
 49         self.fullConnection1 = torch.nn.Sequential(
 50             torch.nn.Linear(16 * 5 * 5, 120),
 51             torch.nn.ReLU()
 52         )
 53         # 全连接层2
 54         self.fullConnection2 = torch.nn.Sequential(
 55             torch.nn.Linear(120, 84),
 56             torch.nn.ReLU()
 57         )
 58         # 全连接层3
 59         self.fullConnection3 = torch.nn.Linear(84, 10)
 60 
 61     def forward(self, x):
 62         x = self.conv1(x)
 63         x = self.conv2(x)
 64         x = x.view(x.size()[0], -1)  # 对参数进行扁平化，因为之后要进行全连接，必须降低他的channel
 65         x = self.fullConnection1(x)
 66         x = self.fullConnection2(x)
 67         x = self.fullConnection3(x)
 68         return x
 69 
 70 
 71 EPOCH = 8  # 遍历总次数
 72 BATCH_SIZE = 64  # 批处理尺寸
 73 LEARNINGRATE = 0.001
 74 
 75 ‘‘‘
 76 ------------------------------定义数据预处理方式------------------------------
 77 现在需要考虑的是，计算机视觉的数据集很多是图片形式的，而PyTorch中计算的则是Tensor数据类型的变量，因此我们先要做的是数据类型的转换
 78 即 图像类型---->Tensor类型
 79 
 80 需要注意的是，有的时候我们的训练集是有限的，这个时候需要进行数据增强
 81 数据增强就是将图片进行各种变换，例如放大、缩小、水平翻转、垂直反转等
 82 torch.transforms()中有很多数据增强的变换类
 83 ‘‘‘
 84 transform = transform.ToTensor()
 85 
 86 # 定义训练数据集
 87 data_train = torchvision.datasets.MNIST(
 88     root=‘C://data/‘,
 89     train=True,
 90     download=False,
 91     transform=transform
 92 )
 93 
 94 # 定义训练批处理数据
 95 data_train_loader = torch.utils.data.DataLoader(
 96     data_train,
 97     batch_size=BATCH_SIZE,
 98     shuffle=True
 99 )
100 
101 # 定义测试数据集
102 data_test = torchvision.datasets.MNIST(
103     root=‘C://data/‘,
104     train=True,
105     download=False,
106     transform=transform
107 )
108 
109 # 定义测试批处理数据
110 data_test_loader = torch.utils.data.DataLoader(
111     data_test,
112     batch_size=BATCH_SIZE,
113     shuffle=False
114 )
115 
116 # 定义损失函数Loss function和优化方式（这里采用Adam）
117 net = LeNet()
118 loss_n = torch.nn.CrossEntropyLoss()  # 交叉熵损失函数
119 optimizer = torch.optim.Adam(net.parameters())
120 
121 # 训练
122 for epoch in range(EPOCH):
123     sum_loss = 0.0
124     # 读取数据
125     for i, data in enumerate(data_train_loader):
126         inputs, labels = data
127         inputs, labels = Variable(inputs), Variable(labels)
128 
129         # 梯度清理
130         optimizer.zero_grad()
131 
132         # forward + backward
133         outputs = net(inputs)  # 预测数据
134         loss = loss_n(outputs, labels)  # 预测数据与实际数据做交叉熵
135         loss.backward()
136         optimizer.step()  # 后向传播过后对模型进行更新
137 
138         # 每100个batch打印一次平均loss
139         sum_loss += loss.item()  # ???????????
140         if i % 100 == 99:
141             print(‘[%d,%d] loss:%.03f‘ % (epoch + 1, i + 1, sum_loss / 100))
142             sum_loss = 0.0  # 打印并且重置
143 
144         # 每次运行一次epoch打印一次正确率
145     with torch.no_grad():
146         correct = 0
147         total = 0
148         for data in data_test_loader:
149             images, labels = data
150             images, labels = Variable(images), Variable(labels)
151             outputs = net(images)
152             # 取得分最高的那个类
153             _, predicted = torch.max(outputs.data, 1)
154             total += labels.size(0)
155             correct += (predicted == labels).sum()
156             print(‘第%d个epoch的识别准确率为：%d%%‘ % (epoch + 1, (100 * correct / total)))
157         # torch.save(net.state_dict(), ‘%s/net_%03d.pth‘ % (opt.outf, epoch + 1))

‘‘‘
基于SGD优化函数识别MNIST数据集
‘‘‘
import torch
import torchvision as tv
import torchvision.transforms as transforms
import torch.nn as nn
import torch.optim as optim
import argparse

# 定义是否使用GPU
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
# 定义网络结构

‘‘‘
神经网络层级结构：
    卷积层Conv1,Conv2()
    最大池化层 MaxPool2d()
    损失函数 ReLU()
参数：
    卷积神经网络的卷积层参数：------输入通道数、输出通道数、卷积核大小、卷积核移动步长和Padding的值
        Conv2d(input_channels,output_channels,kernel_size,stride,padding);
    最大池化层参数：------池化窗口大小、移动步长
        MaxPool2d(kernel_size,stride)
方法：
    1.torch.nn.Sequential()用作参数序列化，神经网络模块会按照传入Suquential构造器顺序依次被添加到计算图中执行
    2.torch.nn.Linear(x,y)用作对矩阵线性变换，对于一个a*x大小的矩阵，变换后会变成a*y大小的矩阵，即矩阵的乘法
‘‘‘


class LeNet(nn.Module):
    def __init__(self):
        super(LeNet, self).__init__()
        # 卷积层1
        self.conv1 = nn.Sequential(  # input_size=(1*28*28)
            nn.Conv2d(1, 6, 5, 1, 2),  # padding=2保证输入输出尺寸相同
            nn.ReLU(),  # input_size=(6*28*28)
            nn.MaxPool2d(kernel_size=2, stride=2),  # output_size=(6*14*14)
        )
        # 卷积层2
        self.conv2 = nn.Sequential(
            nn.Conv2d(6, 16, 5),
            nn.ReLU(),  # input_size=(16*10*10)
            nn.MaxPool2d(2, 2)  # output_size=(16*5*5)
        )
        # 全连接层1
        self.fc1 = nn.Sequential(
            nn.Linear(16 * 5 * 5, 120),
            nn.ReLU()
        )
        # 全连接层2
        self.fc2 = nn.Sequential(
            nn.Linear(120, 84),
            nn.ReLU()
        )
        # 全连接层3
        self.fc3 = nn.Linear(84, 10)

    # 定义前向传播过程，输入为x
    def forward(self, x):
        x = self.conv1(x)
        x = self.conv2(x)
        # nn.Linear()的输入输出都是维度为一的值，所以要把多维度的tensor展平成一维
        x = x.view(x.size()[0], -1)
        x = self.fc1(x)
        x = self.fc2(x)
        x = self.fc3(x)
        return x


# 使得我们能够手动输入命令行参数，就是让风格变得和Linux命令行差不多
parser = argparse.ArgumentParser()
parser.add_argument(‘--outf‘, default=‘./model/‘, help=‘folder to output images and model checkpoints‘)  # 模型保存路径
parser.add_argument(‘--net‘, default=‘./model/net.pth‘, help="path to netG (to continue training)")  # 模型加载路径
opt = parser.parse_args()

# 超参数设置
EPOCH = 8  # 遍历数据集次数
BATCH_SIZE = 64  # 批处理尺寸(batch_size)
LR = 0.001  # 学习率

# 定义数据预处理方式
transform = transforms.ToTensor()

# 定义训练数据集
trainset = tv.datasets.MNIST(
    root=‘./data/‘,
    train=True,
    download=True,
    transform=transform)

# 定义训练批处理数据
trainloader = torch.utils.data.DataLoader(
    trainset,
    batch_size=BATCH_SIZE,
    shuffle=True,
)

# 定义测试数据集
testset = tv.datasets.MNIST(
    root=‘C://data//‘,
    train=False,
    download=True,
    transform=transform)

# 定义测试批处理数据
testloader = torch.utils.data.DataLoader(
    testset,
    batch_size=BATCH_SIZE,
    shuffle=False,
)

# 定义损失函数loss function 和优化方式（采用SGD）
net = LeNet().to(device)
criterion = nn.CrossEntropyLoss()  # 交叉熵损失函数，通常用于多分类问题上
optimizer = optim.SGD(net.parameters(), lr=LR, momentum=0.9)

# 训练
if __name__ == "__main__":

    for epoch in range(EPOCH):
        sum_loss = 0.0
        # 数据读取
        for i, data in enumerate(trainloader):
            inputs, labels = data
            inputs, labels = inputs.to(device), labels.to(device)

            # 梯度清零
            optimizer.zero_grad()

            # forward + backward
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            # 每训练100个batch打印一次平均loss
            sum_loss += loss.item()
            if i % 100 == 99:
                print(‘[%d, %d] loss: %.03f‘
                      % (epoch + 1, i + 1, sum_loss / 100))
                sum_loss = 0.0
        # 每跑完一次epoch测试一下准确率
        with torch.no_grad():
            correct = 0
            total = 0
            for data in testloader:
                images, labels = data
                images, labels = images.to(device), labels.to(device)
                outputs = net(images)
                # 取得分最高的那个类
                _, predicted = torch.max(outputs.data, 1)
                total += labels.size(0)
                correct += (predicted == labels).sum()
            print(‘第%d个epoch的识别准确率为：%d%%‘ % (epoch + 1, (100 * correct / total)))
    # torch.save(net.state_dict(), ‘%s/net_%03d.pth‘ % (opt.outf, epoch + 1))