1.如何更好的理解分析深度卷积神经网络
用局部连接而不是全连接,同时权值共享。
局部连接的概念参考局部感受域,即某个视神经元仅考虑某一个小区域的视觉输入,因此相比普通神经网络的全连接层(下一层的某一个神经元需要与前一层的所有节点连接),卷积网络的某一个卷积层的所有节点只负责前层输入的某一个区域(比如某个3*3的方块)。这样一来需要训练的权值数相比全连接而言会大大减少,进而减小对样本空间大小的需求。
权值共享的概念就是,某一隐藏层的所有神经元共用一组权值。
这两个概念对应卷积层的话,恰好就是某个固定的卷积核。卷积核在图像上滑动时每处在一个位置分别对应一个“局部连接”的神经元,同时因为“权值共享”的缘故,这些神经元的参数一致,正好对应同一个卷积核。
顺便补充下,不同卷积核对应不同的特征,比如不同方向的边(edge)就会分别对应不同的卷积核。
激活函数f(x)用ReLU的话避免了x过大梯度趋于0(比如用sigmoid)而影响训练的权值的情况(即Gradient Vanishing)。同时结果会更稀疏一些。
池化之后(例如保留邻域内最大或采纳平均以舍弃一些信息)一定程度也压制了过拟合的情况。
综述
总体来说就是重复卷积-relu 来提取特征,进行池化之后再作更深层的特征提取,实质上深层卷积网络的主要作用在于特征提取。 最后一层直接用softmax来分类(获得一个介于0~1的值表达输入属于这一类别的概率)。
2.如何理解深度学习中的卷积
深度学习的概念源于人工神经网络的研究。
含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。
多层神经网络是指单计算层感知器只能解决线性可分问题,而大量的分类问题是线性不可分的。克服单计算层感知器这一局限性的有效办法是,在输入层与输出层之间引入隐层(隐层个数可以大于或等于1)作为输入模式“的内部表示” ,单计算层感知器变成多(计算)层感知器。
补充: 深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。
此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高训练性能。 深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。
3.12c
c 和 s 是卷积神经网络中对卷积层(convolution)和下采样层(subsampling)的缩写
12c-12s-24c-24s 表示该模型的前四层为
1:12 个卷积堆叠
2:12 个降采样堆叠
3: 24 个卷积堆叠
4: 24 个降采样堆叠
这种缩写表示法只包含了部分结构信息,没有包含卷积核、下采样比例大小;实际写论文时通常还会额外标注,例如 12c with kernel size = 5*5
4.mtcnn论文中的人脸检测达到了什么样的水准
CNN卷积神经网络是一种深度模型。
它其实老早就已经可以成功训练并且应用了(最近可能deeplearning太火了,CNNs也往这里面靠。虽然CNNs也属于多层神经网络架构,但把它置身于DL家族,还是有不少人保留自己的理解的)。
它在原始的输入中应用可训练的滤波器trainablefilters和局部邻域池化操作,得到一个分级的且逐渐复杂的特征表示。有实践表示,如果采用合适的规则化项来训练,它可以达到非常好的效果。
CNN还让人青睐的一点就是它会对例如姿势、光照和复杂背景存在不变性。
转载请注明出处众文网 » 卷积神经网络本科毕业论文(如何更好的理解分析深度卷积神经网络)