AI人工智能 卷积神经网络（CNN）
卷积神经网络与普通神经网络相同，因为它们也由具有可学习的权重和偏差的神经元组成。普通的神经网络忽略了输入数据的结构，所有的数据在送入网络之前都被转换为一维数组。该过程适合常规数据，但是如果数据包含图像，则该过程可能很麻烦。
CNN很容易解决这个问题。它在处理图像时考虑了图像的二维结构，这使得它们可以提取特定于图像的属性。这样，CNN的主要目标就是从输入层中的原始图像数据到输出层中的正确类。普通神经网络和CNN之间唯一的区别在于处理输入数据和图层类型。
CNN的体系结构概述
在架构上，普通的神经网络接收输入并通过一系列隐藏层转换它。在神经元的帮助下，每层都连接到另一层。普通神经网络的主要缺点是它们不能很好地扩展到完整的图像。
CNN的体系结构具有三维排列的神经元，称为宽度，高度和深度。当前图层中的每个神经元都连接到前一图层的一小部分输出。它类似于在输入图像上叠加一个
20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络CNN（ConvolutionalNeuralNetworks）。
1980年，K.Fukushima提出的新识别机是卷积神经网络的第一个实现网络。随后，更多的科研工作者对该网络进行了改进。其中，具有代表性的研究成果是Alexander和Taylor提出的“改进认知机”，该方法综合了各种改进方法的优点并避免了耗时的误差反向传播。
现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。
CNN概念:
在机器学习中，卷积神经网络CNN（ConvolutionalNeuralNetwork）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，可以应用于语音识别、图像处理和图像识别等领域。
CNN引入意义:
在全连接神经网络中（下面左图），每相邻两层之间的每个神经元之间都是有边相连的。当输入层的特征维度变得很高时，这时全连接网络需要训练的参数就会增大很多，计算速度就会变得很慢。
而在卷积神经网络CNN中（下面右图），卷积层的神经元只与前一层的部分神经元节点相连，即它的神经元间的连接是非全连接的，且同一层中某些神经元之间的连接的权重w和偏移b是共享的，这样大量地减少了需要训练参数的数量。
CNN核心思想：
CNN模型限制参数了个数并挖掘了局部结构。主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。局部感受视野，权值共享以及时间或空间亚采样这三种思想结合起来，获得了某种程度的位移、尺度、形变不变性。通过“卷积核”作为中介。同一个卷积核在所有图像内是共享的，图像通过卷积操作后仍然保留原先的位置关系。
CNN实质：
CNN在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。卷积网络执行的是有导师训练，所以其样本集是由形如：（输入向量，理想输出向量）的向量对构成的。所有这些向量对，都应该是来源于网络即将模拟的系统的实际“运行”结果。它们可以是从实际运行系统中采集来的。在开始训练前，所有的权都应该用一些不同的小随机数进行初始化。“小随机数”用来保证网络不会因权值过大而进入饱和状态而导致训练失败；“不同”用来保证网络可以正常地学习。
CNN基本结构:
卷积神经网络CNN的结构一般包含下面几层：
1)输入层：用于数据的输入。
2)卷积层：卷积层是卷积核在上一级输入层上通过逐一滑动窗口计算而得，卷积核中的每一个参数都相当于传统神经网络中的权值参数，与对应的局部像素相连接，将卷积核的各个参数与对应的局部像素值相乘之和，得到卷积层上的结果。一般地，使用卷积核进行特征提取和特征映射。
l特征提取：每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；
l特征映射：网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。
卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。
3)激励层：由于卷积也是一种线性运算，因此需要增加非线性映射。使用的激励函数一般为ReLu函数：f(x)=max(x,0)。
4)池化层：进行下采样，对特征图稀疏处理，减少数据运算量。通过卷积层获得了图像的特征之后，理论上可以直接使用这些特征训练分类器（如softmax），但这样做将面临巨大的计算量挑战，且容易产生过拟合现象。为了进一步降低网络训练参数及模型的过拟合程度，需要对卷积层进行池化/采样(Pooling)处理。池化/采样的方式通常有以下两种：a）Max-Pooling:选择Pooling窗口中的最大值作为采样值；b）Mean-Pooling:将Pooling窗口中的所有值相加取平均，以平均值作为采样值。
5)全连接层：CNN尾部进行重新拟合，减少特征信息的损失。
6)输出层：用于最后输出结果。
CNN训练过程:
1.向前传播阶段：
a）从样本集中取一个样本(X,Yp)，将X输入网络；
b）计算相应的实际输出Op。
在本阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算，实际上就是输入与每层的权值矩阵相点乘，得到最后的输出结果：
Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n））
2.向后传播阶段：
a）计算实际输出Op与相应的理想输出Yp的差；
b）按极小化误差的方法反向传播调整权矩阵。
CNN优点:
1)输入图像和网络的拓扑结构能很好的吻合；
2)尽管使用较少参数，仍然有出色性能；
3)避免了显式的特征抽取，而隐式地从训练数据中进行学习；
4)特征提取和模式分类同时进行，并同时在训练中产生，网络可以并行学习；
5)权值共享减少网络的训练参数，降低了网络结构的复杂性，适用性更强；
6)无需手动选取特征，训练好权重，即得特征，分类效果好；
7)可以直接输入网络，避免了特征提取和分类过程中数据重建的复杂度。
CNN缺点:
1)需要调整参数；
2)需要大样本量，训练最好要GPU；
3)物理含义不明确，神经网络本身就是一种难以解释的“黑箱模型”。
CNN常用框架:
1.Caffe:源于Berkeley的主流CV工具包，支持C++,python,matlab;ModelZoo中有大量预训练好的模型供使用;
2.Torch:Facebook用的卷积神经网络工具包,通过时域卷积的本地接口，使用非常直观;定义新网络层简单；
3.TensorFlow**：**Google的深度学习框架；TensorBoard可视化很方便；数据和模型并行化好，速度快。
CNN应用场景：
应用场景包括机器学习、语音识别、文档分析、语言检测和图像识别等领域。
特别强调的是：CNN在图像处理和图像识别领域取得了很大的成功，在国际标准的ImageNet数据集上，许多成功的模型都是基于CNN的。CNN相较于传统的图像处理算法的好处之一在于：避免了对图像复杂的前期预处理过程，可以直接输入原始图像。
结语:
卷积神经网络CNN是近年发展起来，并引起广泛重视的一种高效识别方法。卷积神经网络以其局部权值共享的特殊结构在模式识别方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。CNN算法在人工智能之机器学习、语音识别、文档分析、语言检测和图像识别等领域等领域有着广泛应用。
人工智能，机器学习，深度学习，神经网络，四者的含义和关系
人工智能，机器学习，深度学习，神经网络，四者的含义和关系人工智能机器学习深度学习神经网络四者的关系在很多关于人工智能的书中都提到了这些词：人工智能，机器学习，深度学习，神经网络。为了弄懂这些词的含义，我查看了百度百科，翻了各种书籍，来看下我的总结吧。
人工智能英语：ArtificialIntelligence，缩写为AI。Artificial有人造的、仿造的、虚伪的、人工的，这些意思。Intelligence有智力、才智、智慧等这些意思。其实就是由人制作出来的，并带有知识储备的机器、计算机或者机器人，所表现出来的一种智慧。从广义来说，人工智能可以指一切能够自己工作的机器或代码。而狭义的人工智能，则是一种科学，是从计算机科学独立出来的一个分支。百度百科上说：
人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
360百科上说：
通常人工智能是指通过普通计算机程序来呈现人类智能的技术。
百度百科上说的更为狭义，而360百科上说的则是广义的人工智能。百科上还说：
人工智能是一门边缘学科，属于自然科学和社会科学的交叉。
我觉得不全对，人工智能的研究方向是属于自然科学和社会科学的，但是如果要学习人工智能的技术，就是思维科学的范畴。思维学有三个组成部分，抽象(逻辑)思维学、折叠形象(直感)思维学、折叠灵感(顿悟)思维学。所以，想要学习人工智能，思维科学、自然科学、社会科学，一个都不能少。用一张图来简单表示：另外百科上还介绍了人工智能涉及的学科和研究范畴：
涉及学科哲学和认知科学，数学，神经生理学，心理学，计算机科学，信息论，控制论，不定性论研究范畴自然语言处理，知识表现，智能搜索，推理，规划，机器学习，知识获取，组合调度问题，感知问题，模式识别，逻辑程序设计软计算，不精确和不确定的管理，人工生命，神经网络，复杂系统，遗传算法
简单来说，人工智能可以处理人类可以利用直觉就能解决的问题。
机器学习百科中给出的定义：
机器学习(MachineLearning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
机器学习比人工智能更进一步，不仅有了知识储备，还有了自我学习的能力。百科中有这样一句话：
它是人工智能核心，是使计算机具有智能的根本途径。
说的再具体一些，机器学习就是利用现有的数据，建立数据模型，然后利用模型去预测。就像一个人，在小时候，由父母和老师灌输一些知识，等到大一些，就能自己去举一反三地学习。
机器学习的应用范围有：数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人运用。
深度学习百度百科上是这样说深度学习的：
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
360百科是这样说深度学习的：
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。
深度学习的应用范围：搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域。深度学习的概念源于人工神经网络的研究。那么先来看看什么是神经网络？
神经网络神经网络也叫人工神经网络。英语：ArtificialNeuralNetworks，简写为ANNs。360百科上的定义是：
是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。
神经网络的研究领域主要包括：模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等。
四者的关系人工智能，机器学习，深度学习，神经网络，四者的关系如下：机器学习是人工智能的进阶，机器学习深入后是深度学习，深度学习是从神经网络研究中发掘的。
神经元与神经网络结构
人工神经网络（ArtificialNeuralNetwork，即ANN）
神经元模型1.生物神经元
神经元由一个细胞体和突两部分组成。突分两类，轴突和树突。树突和轴突共同作用，实现神经元之间的信息传递。
轴突的末端与树突进行进行信号传递的界面成为突触，通过突触向其他神经元发送信息。学习发生在突触附近，而且突触把经过一个神经元轴突的脉冲转化为下一个神经元的兴奋信号或抑制信号。
对某些突触的刺激促使神经元触发，只有神经元所有输入的总效应达到阈值电平，它才开始工作。
2.人工神经元
在简单的人工神经网络模型中，用权和乘法器模拟突触特性，用加法器模拟树突的互连作用，而且与阈值比较来模拟细胞体内电化学作用产生的开关特性。
xi——表示来自其他神经元的输入wi——表示相应的网络连接权重（大的正权对应强的兴奋，小的负权对应弱的抑制）
各个输入乘以相应权重并相加，把所有总和与阈值电平（称为神经元的偏置）比较：当总和高于阈值时，其输出为1；否则，输出为0。
神经网络的典型结构1.单层感知器网络单层感知器是其他网络结构的基本单元。常用的激活函数为S型的Sigmoid函数：
2.前馈型网络前馈网络的信号由输入层到输出层单向传输，每层的神经元仅与前一层的神经元相连，仅接受前一层传输来的信息。
3.前馈内层互联网络前馈内层互联网络属于前馈型的网络，但是内部有一些节点在层内互连。
4.反馈型网络反馈型网络在网络的输出层存在一个反馈回路到输入层作为输入层的一个输入，但网络本身还是反馈型结构。
5.全互联网络全互联网络中所有的神经元之间都有相互间的连接。