人工智能、机器学习、深度学习、神经网络概念说明
首先要简单区别几个概念：人工智能，机器学习，深度学习，神经网络。这几个词应该是出现的最为频繁的，但是他们有什么区别呢？
人工智能：人类通过直觉可以解决的问题，如：自然语言理解，图像识别，语音识别等，计算机很难解决，而人工智能就是要解决这类问题。
机器学习：机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。但从实践的意义上来说，机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。
深度学习：其核心就是自动将简单的特征组合成更加复杂的特征，并用这些特征解决问题。
神经网络：最初是一个生物学的概念，一般是指大脑神经元，触点，细胞等组成的网络，用于产生意识，帮助生物思考和行动，后来人工智能受神经网络的启发，发展出了人工神经网络。
来一张图就比较清楚了，如下图：
机器学习的范围机器学习跟模式识别，统计学习，数据挖掘，计算机视觉，语音识别，自然语言处理等领域有着很深的联系。
模式识别模式识别=机器学习。两者的主要区别在于前者是从工业界发展起来的概念，后者则主要源自计算机学科。在著名的《PatternRecognitionAndMachineLearning》这本书中，ChristopherM.Bishop在开头是这样说的“模式识别源自工业界，而机器学习来自于计算机学科。不过，它们中的活动可以被视为同一个领域的两个方面，同时在过去的10年间，它们都有了长足的发展”。数据挖掘数据挖掘=机器学习+数据库。这几年数据挖掘的概念实在是太耳熟能详。几乎等同于炒作。但凡说数据挖掘都会吹嘘数据挖掘如何如何，例如从数据中挖出金子，以及将废弃的数据转化为价值等等。但是，我尽管可能会挖出金子，但我也可能挖的是“石头”啊。这个说法的意思是，数据挖掘仅仅是一种思考方式，告诉我们应该尝试从数据中挖掘出知识，但不是每个数据都能挖掘出金子的，所以不要神话它。一个系统绝对不会因为上了一个数据挖掘模块就变得无所不能(这是IBM最喜欢吹嘘的)，恰恰相反，一个拥有数据挖掘思维的人员才是关键，而且他还必须对数据有深刻的认识，这样才可能从数据中导出模式指引业务的改善。大部分数据挖掘中的算法是机器学习的算法在数据库中的优化。
统计学习统计学习近似等于机器学习。统计学习是个与机器学习高度重叠的学科。因为机器学习中的大多数方法来自统计学，甚至可以认为，统计学的发展促进机器学习的繁荣昌盛。例如著名的支持向量机算法，就是源自统计学科。但是在某种程度上两者是有分别的，这个分别在于：统计学习者重点关注的是统计模型的发展与优化，偏数学，而机器学习者更关注的是能够解决问题，偏实践，因此机器学习研究者会重点研究学习算法在计算机上执行的效率与准确性的提升。计算机视觉计算机视觉=图像处理+机器学习。图像处理技术用于将图像处理为适合进入机器学习模型中的输入，机器学习则负责从图像中识别出相关的模式。计算机视觉相关的应用非常的多，例如百度识图、手写字符识别、车牌识别等等应用。这个领域是应用前景非常火热的，同时也是研究的热门方向。随着机器学习的新领域深度学习的发展，大大促进了计算机图像识别的效果，因此未来计算机视觉界的发展前景不可估量。语音识别语音识别=语音处理+机器学习。语音识别就是音频处理技术与机器学习的结合。语音识别技术一般不会单独使用，一般会结合自然语言处理的相关技术。目前的相关应用有苹果的语音助手siri等。
自然语言处理自然语言处理=文本处理+机器学习。自然语言处理技术主要是让机器理解人类的语言的一门领域。在自然语言处理技术中，大量使用了编译原理相关的技术，例如词法分析，语法分析等等，除此之外，在理解这个层面，则使用了语义理解，机器学习等技术。作为唯一由人类自身创造的符号，自然语言处理一直是机器学习界不断研究的方向。按照百度机器学习专家余凯的说法“听与看，说白了就是阿猫和阿狗都会的，而只有语言才是人类独有的”。如何利用机器学习技术进行自然语言的的深度理解，一直是工业和学术界关注的焦点。
机器学习的方法1、回归算法在大部分机器学习课程中，回归算法都是介绍的第一个算法。原因有两个：一.回归算法比较简单，介绍它可以让人平滑地从统计学迁移到机器学习中。二.回归算法是后面若干强大算法的基石，如果不理解回归算法，无法学习那些强大的算法。回归算法有两个重要的子类：即线性回归和逻辑回归。
实现方面的话，逻辑回归只是对对线性回归的计算结果加上了一个Sigmoid函数，将数值结果转化为了0到1之间的概率(Sigmoid函数的图像一般来说并不直观，你只需要理解对数值越大，函数越逼近1，数值越小，函数越逼近0)，接着我们根据这个概率可以做预测，例如概率大于0.5，则这封邮件就是垃圾邮件，或者肿瘤是否是恶性的等等。从直观上来说，逻辑回归是画出了一条分类线，见下图。
逻辑回归算法划出的分类线基本都是线性的(也有划出非线性分类线的逻辑回归，不过那样的模型在处理数据量较大的时候效率会很低)，这意味着当两类之间的界线不是线性时，逻辑回归的表达能力就不足。
2、神经网络让我们看一个简单的神经网络的逻辑架构。在这个网络中，分成输入层，隐藏层，和输出层。输入层负责接收信号，隐藏层负责对数据的分解与处理，最后的结果被整合到输出层。每层中的一个圆代表一个处理单元，可以认为是模拟了一个神经元，若干个处理单元组成了一个层，若干个层再组成了一个网络，也就是"神经网络"。
在神经网络中，每个处理单元事实上就是一个逻辑回归模型，逻辑回归模型接收上层的输入，把模型的预测结果作为输出传输到下一个层次。通过这样的过程，神经网络可以完成非常复杂的非线性分类。
3、SVM（支持向量机）
支持向量机算法从某种意义上来说是逻辑回归算法的强化：通过给予逻辑回归算法更严格的优化条件，支持向量机算法可以获得比逻辑回归更好的分类界线。但是如果没有某类函数技术，则支持向量机算法最多算是一种更好的线性分类技术。
但是，通过跟高斯“核”的结合，支持向量机可以表达出非常复杂的分类界线，从而达成很好的的分类效果。“核”事实上就是一种特殊的函数，最典型的特征就是可以将低维的空间映射到高维的空间。
我们如何在二维平面划分出一个圆形的分类界线？在二维平面可能会很困难，但是通过“核”可以将二维空间映射到三维空间，然后使用一个线性平面就可以达成类似效果。也就是说，二维平面划分出的非线性分类界线可以等价于三维平面的线性分类界线。于是，我们可以通过在三维空间中进行简单的线性划分就可以达到在二维平面中的非线性划分效果。
支持向量机是一种数学成分很浓的机器学习算法（相对的，神经网络则有生物科学成分）。在算法的核心步骤中，有一步证明，即将数据从低维映射到高维不会带来最后计算复杂性的提升。于是，通过支持向量机算法，既可以保持计算效率，又可以获得非常好的分类效果。因此支持向量机在90年代后期一直占据着机器学习中最核心的地位，基本取代了神经网络算法。直到现在神经网络借着深度学习重新兴起，两者之间才又发生了微妙的平衡转变。
4、聚类算法
无监督算法中最典型的代表就是聚类算法。让我们还是拿一个二维的数据来说，某一个数据包含两个特征。我希望通过聚类算法，给他们中不同的种类打上标签，我该怎么做呢？简单来说，聚类算法就是计算种群中的距离，根据距离的远近将数据划分为多个族群。聚类算法中最典型的代表就是K-Means算法。
5、降维算法
降维算法也是一种无监督学习算法，其主要特征是将数据从高维降低到低维层次。
降维算法的主要作用是压缩数据与提升机器学习其他算法的效率。通过降维算法，可以将具有几千个特征的数据压缩至若干个特征。另外，降维算法的另一个好处是数据的可视化，例如将5维的数据压缩至2维，然后可以用二维平面来可视。降维算法的主要代表是PCA算法(即主成分分析算法)。
6、推荐算法
推荐算法是目前业界非常火的一种算法，在电商界，如亚马逊，天猫，京东等得到了广泛的运用。推荐算法的主要特征就是可以自动向用户推荐他们最感兴趣的东西，从而增加购买率，提升效益。推荐算法有两个主要的类别：
一类是基于物品内容的推荐，是将与用户购买的内容近似的物品推荐给用户，这样的前提是每个物品都得有若干个标签，因此才可以找出与用户购买物品类似的物品，这样推荐的好处是关联程度较大，但是由于每个物品都需要贴标签，因此工作量较大。
另一类是基于用户相似度的推荐，则是将与目标用户兴趣相同的其他用户购买的东西推荐给目标用户，例如小A历史上买了物品B和C，经过算法分析，发现另一个与小A近似的用户小D购买了物品E，于是将物品E推荐给小A。
两类推荐都有各自的优缺点，在一般的电商应用中，一般是两类混合使用。推荐算法中最有名的算法就是协同过滤算法。
7、其他
除了以上算法之外，机器学习界还有其他的如高斯判别，朴素贝叶斯，决策树等等算法。但是上面列的六个算法是使用最多，影响最广，种类最全的典型。机器学习界的一个特色就是算法众多，发展百花齐放。
下面做一个总结，按照训练的数据有无标签，可以将上面算法分为监督学习算法和无监督学习算法，但推荐算法较为特殊，既不属于监督学习，也不属于非监督学习，是单独的一类。
监督学习算法：线性回归，逻辑回归，神经网络，SVM
无监督学习算法：聚类算法，降维算法
特殊算法：推荐算法
除了这些算法以外，有一些算法的名字在机器学习领域中也经常出现。但他们本身并不算是一个机器学习算法，而是为了解决某个子问题而诞生的。你可以理解他们为以上算法的子算法，用于大幅度提高训练过程。其中的代表有：梯度下降法，主要运用在线型回归，逻辑回归，神经网络，推荐算法中；牛顿法，主要运用在线型回归中；BP算法，主要运用在神经网络中；SMO算法，主要运用在SVM中。
机器学习的分类目前机器学习主流分为：监督学习，无监督学习，强化学习。
a)监督学习是最常见的一种机器学习，它的训练数据是有标签的，训练目标是能够给新数据（测试数据）以正确的标签。例如，将邮件进行是否垃圾邮件的分类，一开始我们先将一些邮件及其标签（垃圾邮件或非垃圾邮件）一起进行训练，学习模型不断捕捉这些邮件与标签间的联系进行自我调整和完善，然后我们给一些不带标签的新邮件，让该模型对新邮件进行是否是垃圾邮件的分类。
b)无监督学习常常被用于数据挖掘，用于在大量无标签数据中发现些什么。无监督主要有三种：聚类、离散点检测和降维。
它的训练数据是无标签的，训练目标是能对观察值进行分类或者区分等。例如无监督学习应该能在不给任何额外提示的情况下，仅依据所有“猫”的图片的特征，将“猫”的图片从大量的各种各样的图片中将区分出来。
c)强化学习通常被用在机器人技术上（例如机械狗），它接收机器人当前状态，算法的目标是训练机器来做出各种特定行为。工作流程多是：机器被放置在一个特定环境中，在这个环境里机器可以持续性地进行自我训练，而环境会给出或正或负的反馈。机器会从以往的行动经验中得到提升并最终找到最好的知识内容来帮助它做出最有效的行为决策。
机器学习模型的评估拿猫的识别来举例，假设机器通过学习，已经具备了一定的识别能力。那么，我们输入4张图片，机器的判断如下：
常用的评价指标有三种：准确率（precision）、召回率（recall）和精准率（accuracy），其中：
Precision=TP/（TP+FP），表示我们抓到的人中，抓对了的比例；
Recall=TP/（TP+FN），表示我们抓到的坏人占所有坏人的比例；
Accuracy=（TP+TN）/All，表示识别对了（好人被识别成好人，坏人被识别成坏人）的比例。
三个指标越高，表示算法的适应性越好。
机器学习的应用机器学习与大数据的结合产生了巨大的价值。基于机器学习技术的发展，数据能够“预测”。对人类而言，积累的经验越丰富，阅历也广泛，对未来的判断越准确。例如常说的“经验丰富”的人比“初出茅庐”的小伙子更有工作上的优势，就在于经验丰富的人获得的规律比他人更准确。而在机器学习领域，根据著名的一个实验，有效的证实了机器学习界一个理论：即机器学习模型的数据越多，机器学习的预测的效率就越好。
机器学习界的名言：成功的机器学习应用不是拥有最好的算法，而是拥有最多的数据！
在大数据的时代，有好多优势促使机器学习能够应用更广泛。例如随着物联网和移动设备的发展，我们拥有的数据越来越多，种类也包括图片、文本、视频等非结构化数据，这使得机器学习模型可以获得越来越多的数据。同时大数据技术中的分布式计算Map-Reduce使得机器学习的速度越来越快，可以更方便的使用。种种优势使得在大数据时代，机器学习的优势可以得到最佳的发挥。
机器学习的子类--深度学习2006年，GeoffreyHinton在科学杂志《Science》上发表了一篇文章，论证了两个观点：
1.多隐层的神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；
2.深度神经网络在训练上的难度，可以通过“逐层初始化”来有效克服。
通过这样的发现，不仅解决了神经网络在计算上的难度，同时也说明了深层神经网络在学习上的优异性。从此，神经网络重新成为了机器学习界中的主流强大学习技术。同时，具有多个隐藏层的神经网络被称为深度神经网络，基于深度神经网络的学习研究称之为深度学习。
目前业界许多的图像识别技术与语音识别技术的进步都源于深度学习的发展，除了本文开头所提的Cortana等语音助手，还包括一些图像识别应用，其中典型的代表就是下图的百度识图功能。
深度学习属于机器学习的子类。基于深度学习的发展极大的促进了机器学习的地位提高，更进一步地，推动了业界对机器学习父类人工智能梦想的再次重视。
机器学习的父类--人工智能人工智能是机器学习的父类。深度学习则是机器学习的子类。如果把三者的关系用图来表明的话，则是下图：
总结起来，人工智能的发展经历了如下若干阶段，从早期的逻辑推理，到中期的专家系统，这些科研进步确实使我们离机器的智能有点接近了，但还有一大段距离。直到机器学习诞生以后，人工智能界感觉终于找对了方向。基于机器学习的图像识别和语音识别在某些垂直领域达到了跟人相媲美的程度。机器学习使人类第一次如此接近人工智能的梦想。
让我们再看一下机器人的制造，在我们具有了强大的计算，海量的存储，快速的检索，迅速的反应，优秀的逻辑推理后我们如果再配合上一个强大的智慧大脑，一个真正意义上的人工智能也许就会诞生，这也是为什么说在机器学习快速发展的现在，人工智能可能不再是梦想的原因。
人工智能的发展可能不仅取决于机器学习，更取决于前面所介绍的深度学习，深度学习技术由于深度模拟了人类大脑的构成，在视觉识别与语音识别上显著性的突破了原有机器学习技术的界限，因此极有可能是真正实现人工智能梦想的关键技术。无论是谷歌大脑还是百度大脑，都是通过海量层次的深度学习网络所构成的。也许借助于深度学习技术，在不远的将来，一个具有人类智能的计算机真的有可能实现。
出处：
https://www.cnblogs.com/lizheng114/p/7439556.html
http://www.cnblogs.com/subconscious/p/4107357.html
什么是神经网络工作原理是什么——AI算法必懂
关注AI的同学一定都知道神经网络，这是AI算法中模拟人的大脑所衍生出来的学科和算法。可以说，不了解神经网络就不能说动算法，懂算法者必懂神经网络。下面我们就对神经网络的工作原理进行深入浅出的介绍。lnwednc
lnwednc
深度学习是机器学习中重要分支之一。它的目的是教会计算机做那些对于人类来说相当自然的事情。深度学习也是无人驾驶汽车背后的一项关键性技术，可以帮无人车识别停车标志、区分行人与路灯柱。它是手机、平板、电视和免提扬声器等设备实现语音控制的关键。深度学习近期以其前所未有的成果获得了广泛关注。lnwednc
在深度学习中，计算机模型直接从图像、文本或声音中学习直接如何执行分类任务。深度学习模型可以达到最高的准确度，有时甚至超过了人类的水平。我们通常使用大量标记的数据和包含许多层的神经网络体系结构来训练模型。lnwednc
lnwednc
lnwednc
深度学习的模型可应用到各种复杂任务中：lnwednc
1.人工神经网络（ANN）进行回归和分类lnwednc
2.用于计算机视觉的卷积神经网络（CNN）lnwednc
3.递归神经网络（RNN）用于时间序列分析lnwednc
4.自组织地图以进行特征提取lnwednc
5.推荐系统的深玻尔兹曼机lnwednc
6.推荐系统的自动编码器lnwednc
在本文中，我们将尽可能的介绍人工神经网络（ANN）的所有相关内容。lnwednc
“人工神经网络（ANN）是一种信息处理范例，它受到生物神经系统（大脑）信息处理方式的启发。由大量高度互连的处理元件（神经元）组成，这些元件协同工作以解决特定问题。”lnwednc
lnwednc
主要内容：lnwednc
1.神经元lnwednc
2.激活功能lnwednc
3.激活功能的类型lnwednc
4.神经网络如何工作lnwednc
5.神经网络如何学习（反向传播）lnwednc
6.梯度下降lnwednc
7.随机梯度下降lnwednc
8.随机梯度下降训练神经网络lnwednc
神经元lnwednc
神经元（也称为神经细胞）是大脑和神经系统的基本单元，通过树突接收来自外部世界的刺激信息，对该信息进行处理后，通过轴突输出给其他细胞。lnwednc
lnwednc
lnwednc
生物神经元lnwednc
细胞体（Soma）：神经元细胞的主要部分，包含细胞核，进行必要的生化反应。lnwednc
树突：神经元周围类似头发的管状结构。主要负责接受输入信号。lnwednc
轴突：这是一种细长的管状结构，类似于传输线。lnwednc
突触：神经元以复杂的空间排列相互连接。轴突末端再次分支，是一种高度复杂、高度专一的结构，我们称之为突触。两个神经元之间的联系就发生在这些突触处。lnwednc
树突接收其他神经元信息输入。细胞体处理这些传入信息，得到相应的输出结果，该结果通过轴突和突触发送到其他神经元。lnwednc
lnwednc
电信号流过神经元。lnwednc
下图代表了受生物神经元启发的ANN一般模型。它也被称为感知器。lnwednc
单层神经网络一般称为感知器，给定输入它将计算得到输出。lnwednc
lnwednc
感知器lnwednc
在上图中，x0,x1,x2,x3...x(n)代表该网络的输入（独立变量），每一个输入在经过所谓的树突时都要乘以相应的权重。该权重表示为w0,w1,w2,w3….w(n)，它显示特定节点的强度。b是偏差值。偏差值可以向上或向下移动激活函数。lnwednc
最简单的情况，将这些乘积相加并输入传递函数（激活函数）得到结果，然后将该结果作为输出发送。lnwednc
激活函数lnwednc
激活函数对于ANN学习和理解真正复杂的东西很重要。它们的主要目的是将ANN中节点的输入信号转换为输出信号，此输出信号将作为下一层的输入。lnwednc
激活函数通过计算加权总和偏差值来决定是否激活该神经元。目的是引入非线性。lnwednc
如果我们不应用激活函数，那么输出信号将仅仅是线性函数（一阶多项式）。线性函数很容易求解，功耗也相对较小，但是它们的复杂性受到一定的限制。因此没有激活函数，我们的模型就无法进行学习，也无法对复杂的数据进行建模，例如图像，视频，音频，语音等。lnwednc
为什么我们需要非线性函数？lnwednc
非线性函数是一种具有曲率的函数。现在我们需要神经网络能够进行学习，能够表示将输入映射到输出的任意复杂函数。因此神经网络也被认为是 “通用函数逼近器”。lnwednc
激活函数的类型：lnwednc
1. 阈值激活函数—（二进制阶跃函数）lnwednc
二进制阶跃函数是基于阈值的激活函数。如果输入值高于某个阈值，则神经元被激活并将完全相同的信号发送到下一层；低于某个阈值则不被激活。lnwednc
lnwednc
二进制函数lnwednc
此函数的问题是创建一个二进制分类器（1或0），但是如果我们要连接多个这样的神经元以引入更多类，如Class1、Class2、Class3等。在这种情况下，所有神经元都将给出1，我们将无法进行判断。lnwednc
2. Sigmoid激活函数-（逻辑函数）lnwednc
Sigmoid函数是一种数学函数，具有特征性的“S”形曲线或S型曲线，范围在0到1之间，因此它用于需要预测概率为输出。lnwednc
lnwednc
Sigmoid曲线lnwednc
Sigmoid函数是可微的，这意味着我们可以求解任意2个点的曲线斜率。Sigmoid激活函数的缺点是，如果提供较大的负输入，则可能导致神经网络在训练时卡住。lnwednc
3. 双曲正切函数—（tanh）lnwednc
类似于Sigmoid，但性能更好。它本质上是非线性的，因此我们可以对各层进行叠加。该函数的范围是（-1,1）。lnwednc
lnwednc
双曲正切函数lnwednc
此功能的主要优点是，负输入映射为负输出，而只有零值输入会被映射为接近零输出。因此，在训练过程中卡顿的可能性较小。lnwednc
4. 整流线性单元-（ReLu）lnwednc
ReLu是CNN和ANN中最常用的激活函数，范围从零到无穷大。[0，∞]lnwednc
lnwednc
ReLulnwednc
如果x为正，则给出输出为“x”；如果x为负，否则输出为0。ReLu看起来是线性函数的问题，但本质上是非线性的，并且ReLu的组合也是非线性的。实际上，它是一个很好的近似器，可以通过组合Relu来近似大部分函数。lnwednc
它一般应用于神经网络的隐藏层。对于输出层而言，分类问题通常使用softmax函数，回归问题使用线性函数。lnwednc
这里存在的一个问题是，某些梯度在训练过程中可能会消失。这会导致权重更新，任何数据点都无法激活该神经元。ReLu基本导致了神经元的死亡。lnwednc
为了解决这一问题，引入了LeakyReLu。LeakyReLu引入了一个小斜率来保证不出现上述问题。LeakyReLu范围从-∞到+∞。lnwednc
lnwednc
ReLuvsLeakyReLulnwednc
Leaky增加了ReLu函数的输出范围。通常，a=0.01。当a不为0.01时，则称为随机ReLu。lnwednc
神经网络如何工作？lnwednc
让我们以房地产价格为例，首先，我们将不同的因素汇总到一行数据中：Area,Bedrooms,DistancetocityandAge.lnwednc
lnwednc
输入值通过加权的突触直接到达输出层。四个输入值均会被分析并输入到激活函数中，产生输出结果。lnwednc
这很简单，但是通过在输入和输出层之间添加一个隐藏层可以扩大神经网络的功能并提高其准确性。lnwednc
lnwednc
具有隐藏层的神经网络（仅显示非0值）lnwednc
现在在上图中，所有4个变量都通过突触连接到神经元。但是，并非所有的突触都被加权。权值包括0值和非0值。在这里，非零值表示重要性，0值表示输入被丢弃。lnwednc
让我们以第一个神经元的Area和DistancetoCity为非零的示例为例，这意味着它们对第一个神经元重要。另外两个变量，Bedrooms而Age权值为0，因此不通过第一神经元。lnwednc
您可能想知道为什么第一个神经元只考虑四个变量中的两个。距离城市越远房子变得越便宜，这在房地产市场上很普遍。因此，这个神经元所做的事情可能是寻找离市区较近的房屋。lnwednc
神经元很多，每个神经元用这些变量的不同组合进行相似的计算。一旦满足标准，神经元就会使用激活函数进行计算。lnwednc
下一个神经元加权的突触可能是Distancetothecity和Bedrooms。因此神经元以非常灵活的方式工作，全面的搜索以查找特定的事物。lnwednc
神经网络如何学习？lnwednc
让我们先来做一个类比。神经网络的学习与我们正常的学习方式密切相关，我们首先完成一定的工作，并得到教练的纠正，下一次以更好的方式来完成这个工作。类似地，神经网络需要培训者，来描述该网络对输入做出的反应。用实际值和预测值之间的差异，计算一个误差值（也称为成本函数），并将其发送回系统。lnwednc
成本函数：实际值与输出值之间平方差的一半。lnwednc
对于网络的每一层，都会分析成本函数，并用其调整下一个输入的阈值和权重。我们的目标是使成本函数最小化。成本函数越低，实际值就越接近于预测值。这样随着网络的不断学习，每次运行的误差都减小。lnwednc
我们通过整个神经网络反馈结果数据。将输入变量连接到神经元的加权突触是我们唯一可以控制的事情，因此只要实际值和预测值之间存在差异，我们就需要调整权重。一旦稍微调整它们并再次运行神经网络，便会产生一个新的成本函数，我们希望它可以比上一个小。重复此过程，直到将成本函数降低到尽可能小的水平为止。lnwednc
lnwednc
上述过程称为反向传播，并通过网络连续进行，直到将误差值保持在最小值为止。lnwednc
反向传播lnwednc
调整权重的方法有两种：lnwednc1.蛮力方法lnwednc2.批梯度下降lnwednc
蛮力法lnwednc
适合单层前馈网络。在这里，我们需要考虑许多可能的权重。在这种方法中，我们想要舍弃除U形曲线底部权值以外的所有其他权重。最佳权值可以使用简单的消除技术找到。如果我们只需要优化一个权重，那么这种方法很有效。但如果是具有许多权重的复杂神经网络，该方法将因维数太高而无法实现。lnwednc
分批梯度下降lnwednc
它是一阶迭代优化算法，在训练具有不同权重模型的过程中找到最小成本值（损失）。lnwednc
lnwednc
梯度下降lnwednc
在“梯度下降”过程中，我们不会一次都查看每个权重并剔除错误的权重，而是查看函数斜率。lnwednc
如果斜率→负值，则表示您沿着曲线下降。lnwednc如果斜率→正，则不执行任何操作lnwednc
这样，可以消除大量不正确的权重。lnwednc
随机梯度下降（SGD）lnwednc
如上图所示，当我们具有凸曲线时，渐变下降效果很好。但是，如果我们没有凸曲线，则渐变下降将失败。lnwednc
“ 随机 ”一词是指与随机概率相关的系统或过程。因此，在随机梯度下降中，随机选择一些样本，而不是每次迭代的整个数据集。lnwednc
lnwednc
随机梯度下降lnwednc
在SGD中，我们一次获取一行数据，通过神经网络运行该数据，然后调整权重。对于第二行，我们运行它，然后比较Cost函数，然后再次调整权重。lnwednc
SGD帮助我们避免了局部极小值的问题。它比GradientDescent快得多，因为它一次运行每一行，并且不必将整个数据加载到内存中即可进行计算。lnwednc
要注意的一件事是，由于SGD通常比典型的GradientDescent噪声更大，因此由于其下降的随机性，通常需要更多的迭代次数才能达到最小值。尽管与典型的GradientDescent相比，它需要更多的迭代次数才能达到最小值，但在计算消耗上仍比典型的GradientDescent少得多。因此，在大多数情况下，SGD优于分批梯度下降。lnwednc
利用随机梯度下降训练神经网络lnwednc
步骤1→将权重随机初始化为接近0但不为0的小数。lnwednc
步骤2→在输入层中输入数据集的第一个观测值，每个要素放在一个节点中。lnwednc
步骤3→ 正向传播：从左到右，神经元按顺序被激活，直到获得预测值。每个神经元的影响都受权重的限制。lnwednc
步骤4→将预测结果与实际结果进行比较，并测量的误差（成本函数）。lnwednc
步骤5→ 反向传播：从右到左，误差反向传播。根据它们对错误造成的影响来更新权重。学习率决定了我们更新权重的程度。lnwednc
步骤6→重复步骤1至5，并在每次比较后更新权重（强化学习）lnwednc
步骤7→当整个训练集通过ANN时，就完成了。lnwednc
lnwednc
结语lnwednc
神经网络是一个全新的新概念，它还有很大潜力。可以应用于各种不同的概念中，并在测试阶段通过特定的反向传播和纠错机制进行学习。这些多层系统也许可以有一天仅靠学习来减少发生错误的可能性，而无需人工纠正。lnwednc
责编：Challeylnwednc
更多关于AI、算法方面的技术交流可以加责编微信（同名）。lnwednc
人工神经网络的基本原理是什么
人工神经网络，人工神经网络是什么意思一、人工神经网络的概念。
人工神经网络（ArtificialNeuralNetwork，ANN）简称神经网络(NN)，是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。该模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征，将信息的加工和存储结合在一起，以其独特的知识表示方式和智能化的自适应学习能力，引起各学科领域的关注。它实际上是一个有大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。
神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激活函数（activationfunction）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），神经网络就是通过这种方式来模拟人类的记忆。网络的输出则取决于网络的结构、网络的连接方式、权重和激活函数。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。神经网络的构筑理念是受到生物的神经网络运作启发而产生的。人工神经网络则是把对生物神经网络的认识与数学统计模型相结合，借助数学统计工具来实现。另一方面在人工智能学的人工感知领域，我们通过数学统计学的方法，使神经网络能够具备类似于人的决定能力和简单的判断能力，这种方法是对传统逻辑学演算的进一步延伸。
人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。
神经网络，是一种应用类似于大脑神经突触连接结构进行信息处理的数学模型，它是在人类对自身大脑组织结合和思维机制的认识理解基础之上模拟出来的，它是根植于神经科学、数学、思维科学、人工智能、统计学、物理学、计算机科学以及工程科学的一门技术。
二、人工神经网络的发展。
神经网络的发展有悠久的历史。其发展过程大致可以概括为如下4个阶段。
1.第一阶段----启蒙时期。
(1)、M-P神经网络模型：20世纪40年代，人们就开始了对神经网络的研究。1943年，美国心理学家麦克洛奇（Mcculloch）和数学家皮兹（Pitts）提出了M-P模型，此模型比较简单，但是意义重大。在模型中，通过把神经元看作个功能逻辑器件来实现算法，从此开创了神经网络模型的理论研究。
(2)、Hebb规则：1949年，心理学家赫布（Hebb）出版了《TheOrganizationofBehavior》（行为组织学），他在书中提出了突触连接强度可变的假设。这个假设认为学习过程最终发生在神经元之间的突触部位，突触的连接强度随之突触前后神经元的活动而变化。这一假设发展成为后来神经网络中非常著名的Hebb规则。这一法则告诉人们，神经元之间突触的联系强度是可变的，这种可变性是学习和记忆的基础。Hebb法则为构造有学习功能的神经网络模型奠定了基础。
(3)、感知器模型：1957年，罗森勃拉特（Rosenblatt）以M-P模型为基础，提出了感知器（Perceptron）模型。感知器模型具有现代神经网络的基本原则，并且它的结构非常符合神经生理学。这是一个具有连续可调权值矢量的MP神经网络模型，经过训练可以达到对一定的输入矢量模式进行分类和识别的目的，它虽然比较简单，却是第一个真正意义上的神经网络。Rosenblatt证明了两层感知器能够对输入进行分类，他还提出了带隐层处理元件的三层感知器这一重要的研究方向。Rosenblatt的神经网络模型包含了一些现代神经计算机的基本原理，从而形成神经网络方法和技术的重大突破。
(4)、ADALINE网络模型：1959年，美国著名工程师威德罗（B.Widrow）和霍夫（M.Hoff）等人提出了自适应线性元件(Adaptivelinearelement，简称Adaline)和Widrow-Hoff学习规则（又称最小均方差算法或称δ规则）的神经网络训练方法，并将其应用于实际工程，成为第一个用于解决实际问题的人工神经网络，促进了神经网络的研究应用和发展。ADALINE网络模型是一种连续取值的自适应线性神经元网络模型，可以用于自适应系统。
2.第二阶段----低潮时期。
人工智能的创始人之一Minsky和Papert对以感知器为代表的网络系统的功能及局限性从数学上做了深入研究，于1969年发表了轰动一时《Perceptrons》一书，指出简单的线性感知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题，如简单的线性感知器不可能实现“异或”的逻辑关系等。这一论断给当时人工神经元网络的研究带来沉重的打击。开始了神经网络发展史上长达10年的低潮期。
(1)、自组织神经网络SOM模型：1972年，芬兰的KohonenT.教授，提出了自组织神经网络SOM(Self-Organizingfeaturemap)。后来的神经网络主要是根据KohonenT.的工作来实现的。SOM网络是一类无导师学习网络，主要用于模式识别﹑语音识别及分类问题。它采用一种“胜者为王”的竞争学习算法，与先前提出的感知器有很大的不同，同时它的学习训练方式是无指导训练，是一种自组织网络。这种学习训练方式往往是在不知道有哪些分类类型存在时，用作提取分类信息的一种训练。
(2)、自适应共振理论ART：1976年，美国Grossberg教授提出了著名的自适应共振理论ART(AdaptiveResonanceTheory)，其学习过程具有自组织和自稳定的特征。
3.第三阶段----复兴时期。
(1)、Hopfield模型：1982年，美国物理学家霍普菲尔德（Hopfield）提出了一种离散神经网络，即离散Hopfield网络，从而有力地推动了神经网络的研究。在网络中，它首次将李雅普诺夫（Lyapunov）函数引入其中，后来的研究学者也将Lyapunov函数称为能量函数。证明了网络的稳定性。1984年，Hopfield又提出了一种连续神经网络，将网络中神经元的激活函数由离散型改为连续型。1985年，Hopfield和Tank利用Hopfield神经网络解决了著名的旅行推销商问题（TravellingSalesmanProblem）。Hopfield神经网络是一组非线性微分方程。Hopfield的模型不仅对人工神经网络信息存储和提取功能进行了非线性数学概括，提出了动力方程和学习方程，还对网络算法提供了重要公式和参数，使人工神经网络的构造和学习有了理论指导，在Hopfield模型的影响下，大量学者又激发起研究神经网络的热情，积极投身于这一学术领域中。因为Hopfield神经网络在众多方面具有巨大潜力，所以人们对神经网络的研究十分地重视，更多的人开始了研究神经网络，极大地推动了神经网络的发展。
(2)、Boltzmann机模型：1983年，Kirkpatrick等人认识到模拟退火算法可用于NP完全组合优化问题的求解，这种模拟高温物体退火过程来找寻全局最优解的方法最早由Metropli等人1953年提出的。1984年，Hinton与年轻学者Sejnowski等合作提出了大规模并行网络学习机，并明确提出隐单元的概念，这种学习机后来被称为Boltzmann机。
Hinton和Sejnowsky利用统计物理学的感念和方法，首次提出的多层网络的学习算法，称为Boltzmann机模型。
(3)、BP神经网络模型：1986年，儒默哈特（D.E.Rumelhart）等人在多层神经网络模型的基础上，提出了多层神经网络权值修正的反向传播学习算法----BP算法（ErrorBack-Propagation），解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决许多实际问题。
(4)、并行分布处理理论：1986年，由Rumelhart和McCkekkand主编的《ParallelDistributedProcessing：ExplorationintheMicrostructuresofCognition》，该书中，他们建立了并行分布处理理论，主要致力于认知的微观研究，同时对具有非线性连续转移函数的多层前馈网络的误差反向传播算法即BP算法进行了详尽的分析，解决了长期以来没有权值调整有效算法的难题。可以求解感知机所不能解决的问题，回答了《Perceptrons》一书中关于神经网络局限性的问题，从实践上证实了人工神经网络有很强的运算能力。
(5)、细胞神经网络模型：1988年，Chua和Yang提出了细胞神经网络（CNN）模型，它是一个细胞自动机特性的大规模非线性计算机仿真系统。Kosko建立了双向联想存储模型（BAM），它具有非监督学习能力。
(6)、Darwinism模型：Edelman提出的Darwinism模型在90年代初产生了很大的影响，他建立了一种神经网络系统理论。
(7)、1988年，Linsker对感知机网络提出了新的自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。
(8)、1988年，Broomhead和Lowe用径向基函数(Radialbasisfunction,RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。
(9)、1991年，Haken把协同引入神经网络，在他的理论框架中，他认为，认知过程是自发的，并断言模式识别过程即是模式形成过程。
(10)、1994年，廖晓昕关于细胞神经网络的数学理论与基础的提出，带来了这个领域新的进展。通过拓广神经网络的激活函数类，给出了更一般的时滞细胞神经网络(DCNN)、Hopfield神经网络（HNN）、双向联想记忆网络（BAM）模型。
(11)、90年代初，Vapnik等提出了支持向量机(Supportvectormachines,SVM)和VC(Vapnik-Chervonenkis)维数的概念。
经过多年的发展，已有上百种的神经网络模型被提出。
常见的神经网络结构
什么是人工神经网络？一.一些基本常识和原理
[什么叫神经网络?]
人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。
人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。
[人工神经网络的工作原理]
人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。
所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。
如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。