一种典型的用来识别数字的卷积网络是 LeNet-5 。
模型结构
C1 层是一个卷积层
输入图片： 32*32；卷积核大小：5*5；卷积核种类：6 ；输出featuremap 大小： 28*28 （32-5+1）神经元数量：28*28*6 ；可训练参数：（5*5+1） *6 （每个滤波器 5*5=25 个 unit 参数和一个 bias 参数，一共 6 个滤波器）；连接数：（5*5+1） *6*28*28
S2 层是一个下采样层
输入： 28*28 ；采样区域：2*2 ；采样方式：4 个输入相加，乘以一个可训练参数，再加上一个可训练偏置。结果通过 sigmoid；采样种类：6；输出featureMap大小：14*14（28/2）；神经元数量：14*14*6；可训练参数：2*6（和的权+偏置）；连接数：（2*2+1）*6*14*14；S2 中每个特征图的大小是 C1 中特征图大小的 1/
C3 层也是一个卷积层
输入： S2 中所有 6 个或者几个特征 map 组合；卷积核大小：5*5；卷积核种类：16；输出featureMap 大小： 10*10；C3中的每个特征 map 是连接到 S2 中的所有 6 个或者几个特征 map 的，表示本层的特征map 是上一层提取到的特征 map 的不同组合；存在的一个方式是：C3 的前 6 个特征图以 S2 中 3 个相邻的特征图子集为输入。接下来 6个特征图以S2 中 4 个相邻特征图子集为输入。然后的 3 个以不相邻的 4 个特征图子集为输入。最后一个将S2 中所有特征图为输入。则：可训练参数：6*（3*25+1）+6*（4*25+1）+3*（4*25+1） +（25*6+1） =1516； 连接数10*10*1516=151600
S4 层是一个下采样层
输入： 10*10 ；采样区域：2*2 ；采样方式：4 个输入相加，乘以一个可训练参数，再加上一个可训练偏置。结果通过 sigmoid ；采样种类：16 ；输出 featureMap 大小： 5*5 （ 10/2 ） ；神经元数量：5*5*16=400 ；可训练参数：2*16=32 （和的权 + 偏置） ；连接数：16* （2*2+1） *5*5=2000；S4 中每个特征图的大小是 C3 中特征图大小的 1/4
C5 层是一个卷积层
输入： S4 层的全部 16 个单元特征 map （与 s4 全相连） ；卷积核大小：5*5 ；卷积核种类：120 输出 featureMap 大小： 1*1 （5-5+1） ；可训练参数/ 连接： 120* （ 16*5*5+1 ） =48120
F6 层全连接层
输入： c5 120 维向量 ；计算方式：计算输入向量和权重向量之间的点积，再加上一个偏置，结果通过 sigmoid 函 数 ；可训练参数:84*(120+1)=10164
模型特性
卷积网络使用一个 3 层的序列：卷积、池化、非线性——这可能是自这篇论文以来面向图像的深度学习的关键特性！
使用卷积提取空间特征
使用映射的空间均值进行降采样
tanh 或 sigmoids 非线性
多层神经网络（ MLP ）作为最终的分类器
层间的稀疏连接矩阵以避免巨大的计算开销
