《机器学习算法与实现 —— Python编程与应用实例》深度学习AlexNet

lospring

《机器学习算法与实现 —— Python编程与应用实例》深度学习AlexNet [复制链接]

 

AlexNet的网络架构如下图所示：

 

可见Alexnet模型由5个卷积层和3个池化Pooling和3个全连接层构成，共有6×1076×10^7个参数和65000个神经元，最终的输出层是1000通道的Softmax。AlexNet使⽤了更多的卷积层和更⼤的参数空间来拟合⼤规模数据集 ImageNet，它是浅层神经⽹络和深度神经⽹络的分界线。

以下使用PyTorch实现AlexNet

import torch.nn as nn
import torch
from torch.autograd import Variable


class AlexNet(nn.Module):
    def __init__(self, num_classes=1000, init_weights=False):   
        super(AlexNet, self).__init__()
        self.features = nn.Sequential( 
            nn.Conv2d(3, 96, kernel_size=11, stride=4, padding=2),  
            nn.ReLU(inplace=True),       #inplace可以载入更大的模型
            nn.MaxPool2d(kernel_size=3, stride=2),       

            nn.Conv2d(96, 256, kernel_size=5, padding=2),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),

            nn.Conv2d(256, 384, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),

            nn.Conv2d(384, 384, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),

            nn.Conv2d(384, 256, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2),
        )
        self.classifier = nn.Sequential(
            nn.Dropout(p=0.5),
            nn.Linear(256*6*6, 4096),  #全连接
            nn.ReLU(inplace=True),
            nn.Dropout(p=0.5),
            nn.Linear(4096, 4096),
            nn.ReLU(inplace=True),
            nn.Linear(4096, num_classes),
        )
        if init_weights:
            self._initialize_weights()

    def forward(self, x):
        x = self.features(x)
        x = torch.flatten(x, start_dim=1) #展平或者view()
        x = self.classifier(x)
        return x

 

由于AlexNet较复杂，使用简单的数据集无法体现其优势，因此本次试验需要用到CIFAR10数据集，CIFAR10 这个数据集一共有 50000 张训练集，10000 张测试集，两个数据集里面的图片都是 png 彩色图片，图片大小是 32 x 32 x 3，一共是 10 分类问题，分别为飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船和卡车。这个数据集是对网络性能测试一个非常重要的指标，可以说如果一个网络在这个数据集上超过另外一个网络，那么这个网络性能上一定要比另外一个网络好，目前这个数据集最好的结果是 95% 左右的测试集准确率。CIFAR10 已经被 PyTorch 内置了，使用非常方便，只需要调用torchvision.datasets.CIFAR10就可以了。

以下是训练AlexNet网络模型

from torchvision.datasets import CIFAR10
from torch.utils.data import DataLoader
from torchvision import transforms as tfs
from utils import train
import matplotlib.pyplot as plt
%matplotlib inline


# 数据转换
def data_tf(x):
    im_aug = tfs.Compose([
        tfs.Resize(227),
        tfs.ToTensor(),
        tfs.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])
    ])
    x = im_aug(x)
    return x
     
train_set  = CIFAR10('../../data', train=True, transform=data_tf)
train_data = torch.utils.data.DataLoader(train_set, batch_size=64, shuffle=True)
test_set   = CIFAR10('../../data', train=False, transform=data_tf)
test_data  = torch.utils.data.DataLoader(test_set, batch_size=128, shuffle=False)

net = AlexNet(num_classes=10)
optimizer = torch.optim.Adam(net.parameters(), lr=1e-3)
criterion = nn.CrossEntropyLoss()

res = train(net, train_data, test_data, 20, optimizer, criterion, use_cuda=True)

plt.plot(res[0], label='train')
plt.plot(res[2], label='valid')
plt.xlabel('epoch')
plt.ylabel('Loss')
plt.legend(loc='best')
plt.show()

plt.plot(res[1], label='train')
plt.plot(res[3], label='valid')
plt.xlabel('epoch')
plt.ylabel('Acc')
plt.legend(loc='best')
plt.show()

AlexNet网络模型需要输入的图像尺寸是227*227，所以需要使用tfs.Resize(227)将输入的图像重新采样为227*227大小，然后再转换成Tensor，最后对数据进行归一化处理。试验进行了20次迭代，损失和准确率变化如下，随着训练的进行，损失一直下降，准确率一直上升。