鉴于平时接触的知识、概念等太多，一些知识点时间长了也容易忘记，因此这里对之前所了解的各种卷积神经网络做一个归纳。
大名鼎鼎的LeNet5 诞生于1994年，是最早的深层卷积神经网络之一，并且推动了深度学习的发展。从1988年开始，在多次成功的迭代后，这项由Yann LeCun完成的开拓性成果被命名为LeNet5。LeCun认为，可训练参数的卷积层是一种用少量参数在图像的多个位置上提取相似特征的有效方式，这和直接把每个像素作为多层神经网络的输入不同。像素不应该被使用在输入层，因为图像具有很强的空间相关性，而使用图像中独立的像素直接作为输入则利用不到这些相关性。
LeNet - 1998
AlexNet - 2012
ZF-Net - 2013
GoogLeNet - 2014
VGG - 2014
ResNet - 2015
残差结构：
