深度学习——经典卷积神经网络

卷积神经网络的发展起点是神经认知机模型。

 

1、经典CNN——AlexNet

2012年ImageNet LSVRS（大规模视觉识别挑战赛）冠军 TOP-5错误率15.3%，远低于第二名的错误率（26.2%）；TOP-1错误率37.5%主要贡献： 防止过拟合：数据增强（data augmentation）,Dropout 数据增强方式 水平翻转、改变对比度、随机裁剪Dropout 用于 全连接层每次迭代以某概率将神经元输出置0，不参与前向和后向传播产生不同的网络结构，进行组合，大大减少了过拟合缺点：训练时间增加GPU实现：将网络分布在两个GPU上，且GPU之间在某些层能够互相通信非线性激活：ReLU代替sigmoid大数据训练：120万ImageNet图像数据集

2、经典CNN——VGGNet

可以看成加深版本的AlexNet5个卷积组Conv X-Y:卷积核尺寸X，深度Y11层~19层卷积核大小：3x3卷积核深度：大部分都采用了逐层递增的方式VGG-16和VGG-19

3、经典CNN——GoogleNet

GoogleNet思想主要围绕深度和宽度实现。

深度：22层，避免梯度消失问题，GoogleNet在网络不同深度的地方增加了两个损失函数，避免反向传播时候的梯度消失。宽度：多种大小的卷积核（Inception结构）

4、经典CNN——ResNet

56层网络比20层网络有更高的训练和测试误差，并非是过拟合问题，而是梯度消失问题，导致无法对前面网络层的权重进行有效调整。

 

引入捷径连接（shortcut connections）