TBLEG
扫描微信账号

扫一扫微信二维码

哈尔滨工业大学沈俊楠:典型模式-卷积神经网络入门

2020-05-12 信息
区块链白皮书代写

哈尔滨工业大学沈俊楠分享了典型模式-卷积神经网络入门。本文详细介绍了关于卷积神经网络基础概念和知识与讲解,并列举实例展示了卷积和池化效果。直播视频回顾请点击以下是精彩视频内容整理:问题引出学习知识从问题引出入手是一个很好方法,所以本文将可以围绕下面三个问题来展开:1.CNN从何而来?有何作用?运行原理是什么?2.为什么现在图像上用得这么多?怎么用?3.我想要入门,怎么实践操作下?本文思维导图如下:

概念原理预备知识-神经元神经网络有大量节点(或称“神经元”、“单元”)和相互链接而成。每个神经元接受输入线性组合,进行非线性变换(亦称激活函数activation function)后输出。每两个节点之间连接代表加权值,称之为权重(weight)。不同权重和激活函数,则会导致神经网络不同输出。

以上图为例,该图即为一个神经元。神经元有a1,a2,a3...an输入,而每个输入中都有权值以及偏置值,对应图中w1,w2,w3...wn以及b。这些输入与权值乘积加上偏置会经过激活函数处理得到输出t。神经元作用我们可以根据上图以是否参加音乐节决策为实力来详细介绍一下。图中a1,a2代表是否有人陪同参加音乐节,w1,w2代表今天天气如何。分别赋值a1为1,a2为0,w1为5,w2为-2,偏置b代表随意事件,此处赋值为0。这些值和为s,s=a1w1+a2w2+b。s作为输入进入激活函数,此处激活函数代表决策,当决策大于某一个值时就参加音乐节,若小于该值就不参加音乐节,最后输出t即为是否参加音乐节。这就是神经远构成。预备知识-激活函数常用非线性激活函数有sigmoid、relu等等,前两者sigmoid比较常见与全连接层,后者relu常见与卷积层。这里先简要介绍下最基础sigmoid。sigmoid函数表达式如下:

其中z时一个线性组合,比如z可以等于:z=b+w1a1+w2a2。通过带入很大正数或很小负数到g(z)函数中可知,其结果趋近于0或1。因此,sigmoid函数g(z)图形表示如下图(横轴表示定义域z,纵轴表示值域g(z))。

Sigmoid函数功能是相当于把一个输出压缩至0到1之间。当z是非常大正数时,g(z)会趋近于1,而z是非常小负数时,则g(z)会趋近于0。压缩至0到1之间作用是这样以来便可以把激活函数看作一种“分类概率”,比如激活函数输出为0.9话便可以解释为90%概率为正样本。预备知识-神经网络定义:将神经元组织在一起,其实便形成了神经网络。下图便是一个三层神经网络结构

最左边原始输入信息称之为输入层,最右边神经元称之为输出层(上图中输出层只有一个神经元),中间叫隐藏层。输入层(Input layer)众多神经元(Neuron)接受大量非线性形输入讯息。输入讯息称为输入向量。输出层(Output layer)讯息在神经元链接中传输、分析、权衡,形成输出结果。输出讯息成为输出向量。隐藏层(Hidden layer)简称“隐层”,是输入层和输出层之间众多神经元和链接组成各个层面。如果有同多个隐藏层,则意味着多个激活函数同时,每一层都可能有单个或多个神经元组成,每一层输出将会作为下一层输入数据,不断传递,最终有输出层输出最终结果。CNN结构

卷积神经网络(Convolutional Neural Network,CNN)是受到神经科学启发后多层感知机模型进化。卷积概念来自信号处理,是对输入信号经过持续转换持续输出另一组信号过程。图像处理中可以通过卷积完成边缘检测、模糊、锐化等效果。在计算机视觉(Computer Version)领域中卷积层是指感受野(Receptive Field)与卷积核(Kernel)内积通过激活函数(Activation Function)之后输出特征图像(Feature Map)结果多层卷积层、池化层、全连接层,卷积神经网络便可以赋予计算机视觉等能力。CNN机构-感受野感受野是指某个卷积核在输入图像所看到空间。

上图表示卷积操作为:卷积核3x3、填充1、步长2。第一排是对5x5蓝色图像进行卷积操作,得到3x3绿色图像。相对左侧通常表示方法, 左侧表示方法更容易观察到特征关注点(感受野中心)和视野(感受野范围)。第二排是对3x3绿色图像进行卷积操作,得到2x2黄色图像。CNN结构-卷积操作图像处理中,卷积操作是从输入图像中取出与卷积核大小相同区块,与卷积核执行内积后生成一个像素,计算完毕后取下一个区块一次类推,最终得到特征图像,过程如下图所示:

卷积操作好处有两点,第一稀疏连接:眼睛在看东西时候目光是聚焦在要给相对很小局部,而不是全部。相对传统多层感知器隐层节点会连接到图像每个像素点上,卷积神经网络模拟了眼睛特性,每个隐层节点通过卷积核连接到图像某个足够小局部像素点上,从而大大减少权值参数。第二权值共享:如同神经中枢中神经细胞,知识对某些形状有反应,这样神经细胞被卷积核来模拟,同一个特征图像中卷积核权值是一样,从而大大减少全职参数。通过仿生而提出稀疏连接,卷积不仅仅符合视觉原理,复杂度也得到了很好控制。CNN结构-卷积核

以图像为例,卷积是从输入图像中取出与卷积核大小相同区块,与卷积核执行点乘后生成了特征图像(feature Map)中一个像素,当一个像素计算完毕后,移动一个像素取下一个区块执行相同运算。不同卷积核会得到不同输出数据,比如深浅,轮廓等。如
全文阅读
文章关键词
云栖社区
函数
神经网络
扫描关注微信账号

试试长按二维码加关注