上节课我们学习了多层感知机在回归任务上的应用,这节课我们进一步学习一下多层感知机的分类任务。
任务
使用MLP+Softmax神经网络模型实现手写数字集MNIST分类
MNIST 数据集介绍
MNIST 数据集来自美国国家标准与技术研究所,由来自 250 个不同人手写的数字构成,其中 50% 是高中学生,50% 来自人口普查局的工作人员。
MNIST 数据集包含了四个部分:
mnist数据集文件
Training set images: train-images-idx3-ubyte.gz (9.9 MB, 解压后 47 MB, 包含 60,000 个样本)
Training set labels: train-labels-idx1-ubyte.gz (29 KB, 解压后 60 KB, 包含 60,000 个标签)
Test set images: t10k-images-idx3-ubyte.gz (1.6 MB, 解压后 7.8 MB, 包含 10,000 个样本)
Test set labels: t10k-labels-idx1-ubyte.gz (5KB, 解压后 10 KB, 包含 10,000 个标签)
部分训练图像展示如下:
训练集展示
数据集中的数字8
一张图片包含28*28个像素,我们把这一个数组展开成一个向量,长度是28*28=784.
如果把数据用矩阵表示,可以把MNIST训练数据变成一个形状为[60000,784]的矩阵,第一个维度数字用来索引图片,第二个维度数字用来索引每张图片中的像素点,图片里的每个像素的强度值介于0-1之间。
程序过程
1.数据集准备
我们使用torchvision.datasets.MNIST自动下载数据集到本地
自动下载数据集
相关参数解释:
root='dataset 下载数据,并且存放在dataset文件夹中
train=True 用于指定在数据集下载完成后需要载入哪部分数据,如果设置为True,则说明载入的是该数据集的训练集部分; train=False 如果设置为False,则说明载入的是该数据集的测试集部分。
transform=transforms.ToTensor() 数据的标准化等操作都在transforms中,此处是转换
download=True True为自动网络下载,False为使用本地已经下载好的数据集
然后使用torch.utils.data.DataLoader加载器加载数据集
数据加载器
相关参数解释:
batch_size 一个批次可以认为是一个包,每个包中含有batch_size张图片
shuffle=True 指数据是否打乱顺序
num_workers 非并行加载就填0
2.网络构建
建立一个四层感知机网络: 一个输入层,两个全连接的隐藏线性层,一个输出层
因为图片是28*28的,需要全部展开,最终我们要输出数字,一共10个数字。
10个数字实际上是10个类别,输出是概率分布,最后选取概率最大的作为预测值输出
网络结构
3.训练
该部分代码过长,只展示部分关键代码
训练部分代码
训练效果图如下:
训练300个epoch,测试集acc在0.98,训练集acc在0.993.
训练效果
训练集和测试集的精度曲线图:
acc曲线图
训练集和测试集的损失曲线图:
Loss曲线图
4.测试
测试部分代码
测试代码
Pytorch预测效果(从测试集选择一张图预测)
模型预测效果
总结,MNIST数据集作为机器学习中"hello world"级别的存在,被业界普遍认为是入门最佳数据集!有条件的快来动手试试吧!
| 留言与评论(共有 0 条评论) “” |