#我在头条搞创作#

前面两节课我们学习了线性回归和逻辑回归这两个单层神经网络，然而深度学习的主要特色就是网络层数的深度。所以，本节课我们将以多层感知机(Multi-Layer Perception,MLP)为例，介绍多层神经网络的应用。

简介

神经网络的变种目前有很多，如误差反向传播（Back Propagation，BP）神经网路、概率神经网络、卷积神经网络（Convolutional Neural Network ，CNN-适用于图像识别）、时间递归神经网络（Long short-term Memory Network ，LSTM-适用于语音识别）等。

但最简单且经典的神经网络则是多层感知器(Multi-Layer Perception,MLP)，只有理解经典的原版，才能更好的去理解功能更加强大的现代变种。

网络结构

最典型的MLP包括三层结构：输入层、隐层和输出层，MLP神经网络不同层之间是全连接的（全连接：上一层的任何一个神经元与下一层的所有神经元都有连接）。

神经网络基本模型

由前面单层神经网络的学习可知，神经网络主要有三个基本要素：权重、偏置和激活函数

权重：神经元之间的连接强度由权重表示，权重的大小表示可能性的大小

偏置：偏置的设置是为了正确分类样本，是模型中一个重要的参数，即保证通过输入算出的输出值不能随便激活。

激活函数：起非线性映射的作用，其可将神经元的输出幅度限制在一定范围内，一般限制在(-1~1)或(0~1)之间。最常用的激活函数是Sigmoid函数，其可将(-∞，+∞)的数映射到(0~1)的范围内。

实战应用（基于MLP的线性回归任务）

要求：根据广告投放不同平台的比重预测产生的收益

输入层：投放平台（TV、radio、newspaper，对应3个神经元）；

隐层：自定义神经元个数；

输出层：收益sales，对应1个神经元；

要点补充

激活函数曲线

sigmoid导函数曲线

ReLU导函数曲线

为什么选择ReLU作为激活函数，其相比较于传统的Sigmoid函数的优势是什么？

1. ReLU函数在大于0部分的梯度为常数，不存在梯度弥散问题，而sigmoid导数在正负极限处变换缓慢，导数趋于0，会导致梯度消失；

2. 稀疏激活性，ReLU函数在负半区导数为0，对应神经元不参与训练输出为0，进而减少参数相互关系，缓解过拟合；

3. ReLU函数的导数计算简单，求导速度快，而sigmoid函数是指数运算，计算量大。

总结: 多层感知机MLP作为深度学习入门网络模型，它和我们前面讲的线性回归模型最大的区别在于增加了网络的层数(深度)以及引入了激活函数ReLU。