人工神经网络基础概念、原理知识（补）
一提到人工神经网络应当想到三个基础的知识点：一是神经元模型；二是神经网络结构；三是学习算法。神经网络的种类多种多样，但其分类依据逃不出上面上个基础知识点。所以在学习中如果能够仅仅把握住以上三个线索，就能触类旁通，拥有一个非常好的视角看待神经网络。今天就对这三个基础知识点进行总结，达到指导神经网络学习以及深化对神经网络的理解的目的。
一、神经元模型人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程，反映人脑某些特性的一种计算结构。它不是人脑神经系统的真实描写，而只是它的某种抽象、简化和模拟。根据前面对生物神经网络的介绍可知，神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元。在人工神经网络中，神经元常被称为“处理单元”。有时从网络的观点出发常把它称为“节点”。人工神经元是对生物神经元的一种形式化描述，它对生物神经元的信息处理过程进行抽象，并用数学语言予以描述；对生物神经元的结构和功能进行模拟，并用模型图予以表达。
1.神经元建模目前人们提出的神经元模型已有很多，其中最早提出且影响最大的，是1943年心理学家McCulloch和数学家W．Pitts在分析总结神经元基本特性的基础上首先提出的M-P模型。该模型经过不断改进后，形成目前广泛应用的形式神经元模型。关于神经元的信息处理机制，该模型在简化的基础上提出以下6点假定进行描述：
（１）每个神经元都是一个多输入单输出的信息处理单元；（２）神经元输入分兴奋性输入和抑制性输入两种类型；（３）神经元具有空间整合特性和阈值特性；（４）神经元输入与输出间有固定的时滞，主要取决于突触延搁；（５）忽略时间整合作用和不应期；（６）神经元本身是非时变的，即其突触时延和突触强度均为常数。
基于上面的6条假设，神经元建模图示如下：
实际上表达就是一个整合∑、映射F的数学建模。
2.神经元的数学模型由神经元模型示意图，可以得到神经元的数学模型如下：
若将阈值参数作为输入端与w0权值整合到∑当中，就可以得到如下的简化形式：
3.神经元的激活函数（映射F）神经元的各种不同数学模型的主要区别在于采用了不同的变换函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，因此变换函数的研究具有重要意义。神经元的变换函数反映了神经元输出与其激活状态之间的关系，最常用的变换函数有以下４种形式。
（1）阈值型变换函数采用单位阶跃响应函数，公式以及图示如下：（2）非线性变换函数非线性变换函数为实数域R到[0,1]闭集的非减连续函数，代表了状态连续型神经元模型。最常用的非线性变换函数是单极性的Sigmoid函数曲线，简称S型函数,其特点是函数本身及其导数都是连续的，因而在处理上十分方便。单极性以及双极型S型函数公式及图示如下：（3）分段线性变换函数该函数的特点是神经元的输入与输出在一定区间内满足线性关系。由于具有分段线性的特点，因而在实现上比较简单。这类函数也称为伪线性函数，单极性分段线性变换函数的g公式和图示如下：（4）概率型变换函数采用概率型变换函数的神经元模型其输入与输出之间的关系是不确定的，需用一个随机函数来描述其输出状态为１或为０的概率。设神经元输出为１的概率如下：式中，T称为温度参数。由于采用该变换函数的神经元输出状态分布与热力学中的玻尔兹曼（Boltzmann）分布相类似，因此这种神经元模型也称为热力学模型。二、神经网络结构大量神经元组成庞大的神经网络，才能实现对复杂信息的处理与存储，并表现出各种优越的特性。神经网络的强大功能与其大规模并行互连、非线性处理以及互连结构的可塑性密切相关。因此必须按一定规则将神经元连接成神经网络，并使网络中各神经元的连接权按一定规则变化。生物神经网络由数以亿计的生物神经元连接而成，而人工神经网络限于物理实现的困难和为了计算简便，是由相对少量的神经元按一定规律构成的网络。人工神经网络中的神经元常称为节点或处理单元，每个节点均具有相同的结构，其动作在时间和空间上均同步。
人工神经网络的模型很多，可以按照不同的方法进行分类。其中常见的两种分类方法是：按网络连接的拓扑结构分类和按网络内部的信息流向分类。
1. 网络拓扑结构类型神经元之间的连接方式不同，网络的拓朴结构也不同。根据神经元之间连接方式，可将神经网络结构分为两大类。
（1）层次型具有层次型结构的神经网络将神经元按功能分成若干层，如输入层、中间层（也称为隐层）和输出层，各层顺序相连，如下图所示
输入层各神经元负责接收来自外界的输入信息，并传递给中间各隐层神经元；隐层是神经网络的内部信息处理层，负责信息变换，根据信息变换能力的需要，隐层可设计为一层或多层；最后一个隐层传递到输出层各神经元的信息经进一步处理后即完成一次信息处理，由输出层向外界（如执行机构或显示设备）输出信息处理结果。层次型网络结构有３种典型的结合方式。
(A) 单纯型层次网络结构结构如上图所示，神经元分层排列，各层神经元接收前一层输入并输出到下一层，层内神经元自身以及神经元之间不存在连接通路。
(B) 输出层到输入层有连接的层次网络结构如图所示：
输入层到输出层有连接路径的层次型网络结构。其中输入层神经元既可接收输入，也具有信息处理功能。
(C) 层内有互连的层次网络结构如图所示：
同一层内神经元有互连的层次网络结构，这种结构的特点是在同一层内引入神经元间的侧向作用，使得能同时激活的神经元个数可控，以实现各层神经元的自组织。
（2）互连型结构对于互连型网络结构，网络中任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的互连程度将互连型网络结构细分为３种情况。
(A)全互连型网络中的每个节点均与所有其他节点连接，如下图所示：(B)局部互连型网络中的每个节点只与其邻近的节点有连接，如下图所示：(C) 稀疏连接型网络中的节点只与少数相距较远的节点相连。2.网络信息流向类型 根据神经网络内部信息的传递方向，可分为两种类型。（1） 前馈型网络前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名。从信息处理能力看，网络中的节点可分为两种：一种是输入节点，只负责从外界引入信息后向前传递给第一隐层；另一种是具有处理能力的节点，包括各隐层和输出层节点。前馈网络中某一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。因此这类网络很容易串联起来建立多层前馈网络。多层前馈网络可用一个有向无环路的图表示。其中输入层常记为网络的第一层，第一个隐层记为网络的第二层，其余类推。所以，当提到具有单层计算神经元的网络时，指的应是一个两层前馈网络（输入层和输出层），当提到具有单隐层的网络时，指的应是一个三层前馈网络（输入层、隐层和输出层）。
（2） 反馈型网络在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出。单纯全互连结构网络是一种典型的反馈型网络，可以用下图所示的完全的无向图表示：
神经网络的拓扑结构是决定神经网络特性的第二大要素，其特点可归纳为分布式存储记忆与分布式信息处理、高度互连性、高度并行性和结构可塑性。
三、神经网络学习人工神经网络的功能特性由其连接的拓扑结构和突触连接强度，即连接权值决定。神经网络全体连接权值的可用一个矩阵W表示，它的整体反映了神经网络对于所解决问题的知识存储。神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。神经网络的学习方式是决定神经网络信息处理性能的第三大要素，因此有关学习的研究在神经网络研究中具有重要地位。改变权值的规则称为学习规则或学习算法（亦称训练规则或训练算法），在单个处理单元层次，无论采用哪种学习规则进行调整，其算法都十分简单。但当大量处理单元集体进行权值调整时，网络就呈现出“智能”特性，其中有意义的信息就分布地存储在调节后的权值矩阵中。神经网络的学习算法很多，根据一种广泛采用的分类方法，可将神经网络的学习算法归纳为３类。一类是有导师学习，一类为无导师学习，还有一类是灌输式学习。有导师学习也称为有监督学习，这种学习模式采用的是纠错规则。在学习训练过程中需要不断地给网络成对提供一个输入模式和一个期望网络正确输出的模式，称为“教师信号”。将神经网络的实际输出同期望输出进行比较，当网络的输出与期望的教师信号不符时，根据差错的方向和大小按一定的规则调整权值，以使下一步网络的输出更接近期望结果。对于有导师学习，网络在能执行工作任务之前必须先经过学习，当网络对于各种给定的输入均能产生所期望的输出时，即认为网络已经在导师的训练下“学会”了训练数据集中包含的知识和规则，可以用来进行工作了。
无导师学习也称为无监督学习，学习过程中，需要不断地给网络提供动态输入信息，网络能根据特有的内部结构和学习规则，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入信息调整权值，这个过程称为网络的自组织，其结果是使网络能对属于同一类的模式进行自动分类。在这种学习模式中，网络的权值调整不取决于外来教师信号的影响，可以认为网络的学习评价标准隐含于网络的内部。在有导师学习中，提供给神经网络学习的外部指导信息越多，神经网络学会并掌握的知识越多，解决问题的能力也就越强。但是，有时神经网络所解决的问题的先验信息很少，甚至没有，这种情况下无导师学习就显得更有实际意义。灌输式学习是指将网络设计成能记忆特别的例子，以后当给定有关该例子的输入信息时，例子便被回忆起来。灌输式学习中网络的权值不是通过训练逐渐形成的，而是通过某种设计方法得到的。权值一旦设计好即一次性“灌输”给神经网络不再变动，因此网络对权值的“学习”是“死记硬背”式的，而不是训练式的。有导师学习和无导师学习网络的运行一般分为训练阶段和工作两个阶段。训练学习的目的是为了从训练数据中提取隐含的知识和规律，并存储于网络中供工作阶段使用。
可以认为，一个神经元是一个自适应单元，其权值可以根据它所接收的输入信号、它的输出信号以及对应的监督信号进行调整。 权向量Wj的在t时刻的调整量ΔWj（t）与t时刻的输入向量X（t）和学习信号r的乘积成正比。用数学式表示及其图示如下所示：
常用的学习规则总结如下表所示：
总结因为我对神经网络进行学习时并没有做到很好的按照一定的学习顺序进行安排，而是按照需求分篇章进行学习，所以总是急于求成。对原本最重要的基础部分都没有掌握就直接急着去学习新的网络结构和新的模型，这样导致学习效率低下，直到在学习中遇到了瓶颈，才回过头来去翻看了韩立群老师的《人工神经网络教程》中的人工神经网络基础章节，其基本内容如下面所讲述的一样。在读过这一章节之后，我感觉到似乎有一种提纲挈领的作用，反过头来再去看那些多层感知器、BP算法、Hopfield网络、模拟退火、波尔兹曼机、自组织竞争神经网络等，会感到一种归类整理的效果。所以，借着这篇博文进行总结，同时希望能够帮助更多人能够把握住神经网络中最为基础的三个纲：神经元模型、神经网络结构和神经网络学习。真正做到触类旁通，既能进得去，也能站出来看问题。
************************
2015-8-13
艺少
人工神经网络是什么
首页>机器学习算法人工神经网络是什么 在本教程的开篇《人工智能是什么》一节中详细的阐述了深度学习发展历程，以及人工智能、机器学习、深度学习三者间的关系。就目前而言，这三者中红到发紫的当属“深度学习”。深度学习（DeepLearning）这一概念是由 GeoffreyHinton（深度学习之父）于2006年提出，但它的起源时间要早得多，可追溯至20世纪四五十年代，也就是人类刚刚发明出电子计算机时就已经提出来了，但当时并非叫做深度学习，而是人工神经网络（artificialneuralnetwork,ANN），简称神经网络（NN），它是一种算法模型，其算法的构思灵感来源于生物神经网络。深度学习作为一个新兴概念，谈起时都会涉及如何搭建神经网络，由此可见深度学习的核心思想仍是人工神经网络模型。目前的神经网络算法与刚刚诞生时相比有了很大的变化，但总的来说，基本的算法思想并没有改变。本节内容将主要围绕人工神经网络展开介绍。MP神经元模型人工神经网络是一种有监督学习算法，它试图通过模拟人脑神经系统对复杂信息的处理机制来构建一种数学模型。我们知道，神经元是构成生物神经系统的基本单元，而人工神经网络也不例外，它也是从神经元模型的基础上发展而来的。1943年，美国心理学家麦克洛奇（Mcculloch）和数学家皮兹（Pitts）提出了M-P神经元模型（取自两个提出者姓名的首字母），这是最早、也是最简单的神经网络算法的模型，该模型意义重大，从此开创了神经网络模型的理论研究。在正式介绍MP神经元模型前，我们不妨先了解一下大脑神经元。1)生物神经元神经元是大脑神经系统重要组成单位，主要由细胞体、树突、轴突、突触组成。神经元是一种多输入单输出的信息处理单元，输入的电信号有两种，分别是兴奋性信号和抑制性信号。树突，可以看作输入端，接受从从其他细胞传递过来的电信号；轴突可以看作输出端，传递电信号给其他细胞；突触，则可以看成I/O接口，用于连接不同神经元，单个神经元可以和上千个神经元进行连接；细胞体内存在膜电位，外界传递过来电流时会使膜电位发生变化，当电位升高到一个阈值时，神经元就会被激活，产生一个脉冲信号，传递到下一个神经元。图1：生物神经元组成为了便于大家理解神经元传递信号的过程，我们不妨把神经元看成一个水桶。水桶一侧的下方连接着多根水管（看做树突），水管即可以把桶里的水排出去，也可以将其他桶内的水输入进来，水管的粗细不同（理解为权重大小），对桶内水位的影响程度不同，当桶内的水位达到某一范围时（阈值），就能通过水桶另一侧的排水管将水（轴突）排出，从而降低水桶的水位。2)M-P神经元M-P模型就是基于生物神经构建的一种数学模型，只过不它将生物神经元信息传导过程进行了抽象化，并以网络拓扑相关知识来表示。M-P模型是神经网络的基本组成单位，在神经网络中也称为『节点（node）』或者『单元（unit）』。节点从其他节点接受输入，或从外部源接受输入（即x1、x2、1），每个输入都带有一个权重值（weight，即w），权重大小取决于输入值的相对重要性。函数f位于节点处，它是一个关于ω、x的线性函数，记做f(x,ω)，输入b表示函数的偏置项，最后经过f(w,x)的计算得输出Y。模型如下所示：图2：神经元模型示例图上述模型对于神经网络说来说具有重要的意义，它是神经网络研究的开端。您可能会很诧异，几个带有箭头线段、一个圆形竟然就能表示M-P神经元模型？正所谓大道至简，它的确就是神经元模型，上图所示模型由3部分组成，从左往右依次为：神经元的输入、输入信号处理单元，以及神经元的输出。M-P模型采用数学模型模拟了生物神经元所包含的细胞体、树突、轴突和突出等生理特征。通过M-P模型提出了神经元的形式化数学描述和网络结构方法，从而证明了单个神经元能执行逻辑功能，但由于模型中的权重和偏置是人为设置的，因此该模型并不具备学习的能力。3)M-P模型解析我们知道，神经元是一种多端输入单端输出的信息处理单元，因此M-P神经元模型也遵循这个原理。神经元的输入端通常会被给予不同的权重，来权衡不同输入信号的重要程度，如图2所示是一个有3个输入，一个输出的神经元模型，该神经元模型接收3个输出信号，然后给予输入信号不同的权重，神经元的输入信号经过处理后得到神经元输出。注意，这里所说的信号可以理解为数据集中的数据样本。4)信息处理单元介于输入和输出之间的圆圈称为输入信息处理单元（即节点），之所以画成圆圈也是一种约定俗成的表示方式，而这个信息处理单元可以看成一个函数，当给这个模型“喂入”一个数据时，就会产生一个对应的输出。早期的MP神经元模型可以看成一种线性分类器，通过检验f(x,ω) 的正负来识别两种不同类别的时输入。由此可知，该模型需要正确设置权重参数，才能使模型的输出对应所期望的类别。注意：这里的x是表示输入值，ω是输入的权重值，f(x,ω) 是一个线性函数，这也决定了该模型只能解决简单的线性问题，而对于复杂的数据分布，就无法达到理想的拟合效果。
感知机模型新事物的诞生需要大众的一个认知过程，并非一问世就能一鸣惊人，虽然早在1943年基于M-P神经元人工神经网模型就被提出，但当时并没有引起人们的重视。直到20世纪50年代（1957年），美国学者罗森勃拉特提出了感知器（或称感知机）模型，这才引发了一次AI领域的研究热潮，因此从某种意义上来说，感知器模型是第一个具有学习能力的神经网络，该模型能根据每个类别的输入样本来学习权重。1)感知器模型感知器模型，也可称为单层感知器，它是最简单的神经网络，它包含输入层和输出层，并且层与层之间直接相连。该模型从神经元模型的基础上发展而来，单层感知器能模拟逻辑与、逻辑或、逻辑非和逻辑与非等操作，单层感知器模型如下：图3：感知器模型
虽然具备了学习的能力，但该模型只能解决简单的线性分类和线性回归问题，对于线性不可分问题（即异或问题，xor）仍无法解决（1969年，科学家明斯基和佩珀特证明）。如下图所示，无法找到一条直线可以把圆形和菱形分开：图4：线性不可分问题
感知器模型算法与神经元模型类似，是一个单层神经元结构，它首先对输入的数据进行加权求和，然后将得到的结果与阈值进行比较，假如与所期望的输出有较大误差，就对权值参数进行调整，反复多次，直到误差满足要求时为止。由上图可知单层感知器的输出为： 下面举个简单例子，看看单层感知器如何完成逻辑与运算（即And，x1∧x2）:令w1=w2=1，θ=1.5，则y=f(1*x1+1*x2-1.5)，显然，当x1和x2均为1时，y的值为1；而当x1和x2中有一个为0时，y的值就为0（通过y值的正负来取值，正值取值1，负值取值0，从而实现线性分类），当然逻辑或运算、与逻辑非运算也可通过此方法验证。异或是一个数学运算符号，使用⊕来表示，计算机一般用^来表示。异或也叫半加运算，其运算法则相当于不带进位的二进制加法，用1表示真，用0表示假，运算法则为“同为0，异为1”。：0⊕0=01⊕0=10⊕1=11⊕1=0因此 w1、w2和 θ必须满足以下方程组：
0+0-θ＜0-->θ>0ω1+0-θ≥0-->0≥θ-ω10+ω2-θ≥0-->0≥θ-ω2ω1+ω2-θ＜0-->θ>ω1+ω2将上述数值带入方程组后，只有第一个方程组是成立，其余方程均不成立。由此得出单层感知器模型是无法解决异或问题的（线性不可分问题）。
2)激活函数由上述函数表示式可知，感知器是一个二分类的线性模型，输入与输出结果是一组线性组合，这极大的限制了感知器的应用范围。但这一问题很快便得到了解决，我们只需将非线性函数以“激活函数”的身份加入神经网络算法中，就可以扩展感知器模型的应用范围。通过它对线性函数的输入结果进行非线性映射，然后将结果作为最终值输出。激活函数的加入对后期神经网络的发展提供了很大支持，目前这种算法思想仍在神经网络算法中广泛使用。下图展示了带有激活函数的感知器模型：
图5：感知器模型
上述感知器模型依然模拟了神经元结构，有输入（input）、权重（weight）、前馈运算（feedforward）、激活函数（activationfunction）、输出（output）等部分组成。注意，这里的前馈运算指的是图3中的『加权求和』，即在没有使用激活函数时输入值的加权求和结果，有时也记做『logit』。通过上述模型很容易实现二分类。只需将对加权求和的结果值进行判断即可，比如x>0为1类，若xf3(1+1-1.5)=1(1,0)：f1(1+0-0.5)=1f2(-1-0+1.5)=1-->f3(1+1-1.5)=1(0,0)：f1(0+0-0.5)=0f2(0-0+1.5)=1-->f3(0+1-1.5)=0(1,1)：f1(1+1-0.5)=1f2(-1-1+1.5)=0-->f3(1+0-1.5)=0可以看出输出层f3函数的结果完全符合异或运算法则，因此多层感知器可以解决“异或问题”。从函数图像上来看，多层感知器使用两条直线解决了线性不可分问题：图9：分类区域上图所示，位于红色直线之间的属于正类，而位于区域之外则属于负类。当然图像中只是包含了四个点而已，若是复杂的数据则可以选择不同的激活函数，比如sigmoid函数等。反向传播算法多层感知器的虽然解决了线性不可分问题，但随着隐藏层网络的加深，多层网络的训练和参数计算也越来越困难，因此多层感知器也显得“食之无味”。简单来说，就是当时的人们还不知道应该怎么训练多层神经网络，甚至不相信多层神经网络也是同样能被训练的。直到1986年，深度学习教父Hinton等人对反向传播算法（Backpropagationalgorithm，即误差逆向传播算法，简称BP算法）进行了重新描述，证明了该算法可以解决网络层数过深导致的参数计算困难和误差传递等问题。反向传播算法是一种用于训练神经网络的有监督学习算法，基于梯度下降（gradientdescent）策略，以目标的负梯度方向对参数进行调整。但受限于当时（20世纪80年代）计算机算力不足等因素的影响，BP算法只能以简单低效的方式来解决少数层神经网络训练问题，但即使如此，也已经弥足珍贵。BP算法的出现再次引发了AI研究的热潮，它是一款非常成功的神经网络算法，直到今天，该算法仍在深度学习领域发挥着重要的作用（用于训练多层神经网络）。总结经过几十年的发展，到目前为止，人工神经网络的发展进入了深度学习阶段，在这一阶段提出了许多新的神经网络模型，比如循环神经网络、卷积神经网络、生成对抗网络、深度信念网络等等。同时，深度学习又为人工神经网络引入了新的“部件”，比如卷积层、池化层等。如今深度学习已非“人工神经网络”一词所能完全替代，可谓是“青出于蓝，而胜于蓝”，它已发展出一整套复杂的知识体系，哪怕只进行概要性地介绍也都会花费大量的篇幅，因此这里不做重点讨论。
纵观人工神经网络的发展历程，从生物神经元起源，再到多层感知器模型，历经三起两落，终于成为机器学习算法中的佼佼者。理解人工神经网络的发展历程，同时掌握各个模型的核心思想，对于后续知识的学习非常重要。关注公众号「站长严长生」，在手机上阅读所有教程，随时随地都能学习。内含一款搜索神器，免费下载全网书籍和视频。
微信扫码关注公众号
推荐阅读一套完整的嵌入式开发学习路线（高薪就业版）一套课程卖1万，TMD太贵了！跑了3000公里，见了一位大佬Go语言浮点类型（小数类型）Shellwhile循环详解C++内联函数也可以用来代替宏Djangofor标签详解MySQL设置事务自动提交（开启和关闭）JS解析JSONC语言水仙花数什么是神经网络
神经网络是一种模拟人类神经系统工作方式的数学模型，它由许多个节点（也称为神经元）组成，这些节点相互连接并进行信息传递。神经网络通过学习输入数据和预期输出之间的关系，以自动识别模式并生成输出。
什么是神经网络？
神经网络的结构通常由多个层组成，其中输入层接收数据输入，输出层生成预测结果，中间的隐藏层则对数据进行处理和特征提取。神经网络通过对输入和输出数据进行训练，调整每个节点之间的连接和节点的权重，以改进预测准确性。
神经网络广泛应用于图像识别、语音识别、自然语言处理、推荐系统、智能控制等领域。深度神经网络（DeepNeuralNetworks，DNN）是一种特殊的神经网络结构，具有多层隐藏层的特点，被广泛应用于深度学习领域，已经取得了许多重要的成果。
免费分享一些我整理的人工智能学习资料给大家，整理了很久，非常全面。包括一些人工智能基础入门视频+AI常用框架实战视频、计算机视觉、机器学习、图像识别、NLP、OpenCV、YOLO、pytorch、深度学习与神经网络等视频、课件源码、国内外知名精华资源、AI热门论文等。
下面是部分截图，点击文末名片关注我的公众号【AI技术星球】发送暗号321领取（一定要发暗号321）目录
一、人工智能免费视频课程和项目
二、人工智能必读书籍
（图片上不了，该有的都有）
三、人工智能论文合集
四、机器学习+计算机视觉基础算法教程
五、深度学习机器学习速查表（共26张）
学好人工智能，要多看书，多动手，多实践，要想提高自己的水平，一定要学会沉下心来慢慢的系统学习，最终才能有所收获。
点击下方名片，扫码关注公众号【AI技术星球】发送暗号321免费领取文中资料。【人工智能】— 深度神经网络、卷积神经网络（CNN）、多卷积核、全连接、池化
【人工智能】—深度神经网络、卷积神经网络（CNN）、多卷积核、全连接、池化深度神经网络训练训练深度神经网络参数共享卷积神经网络（CNN）卷积多卷积核卷积全连接最大池化卷积+池化拉平向量激活函数优化小结深度神经网络训练Pre-training+Fine-tuning
Pre-training(预训练):监督逐层训练是多隐层网络训练的有效手段,每次训练一层隐层结点,训练时将上一层隐层结点的输出作为输入,而本层隐结点的输出作为下一层隐结点的输入,这称为”预训练”.Fine-tuning(微调):在预训练全部完成后,再对整个网络进行微调训练.微调一般使用BP算法.Comments:预训练+微调的做法可以视为将大量参数分组,对每组先找到局部看起来比较好的设置,然后再基于这些局部较优的结果联合起来进行全局寻优.训练深度神经网络参数共享参数共享是深度神经网络中的一种技术，它使多个神经元在网络中使用相同的参数集。这种技术有助于减少训练网络所需的参数数量，从而提高其计算效率。
卷积神经网络（CNN）CNN是一种层次特征提取器，用于提取越来越高层次的特征。由于特征的感受域越来越大，特征从局部变为全局。
卷积卷积是指对两个函数进行加权求和的操作。在卷积神经网络中，卷积操作是指将输入数据与一个卷积核（也称为滤波器或权重）进行卷积计算，得到一个特征映射的过程。
具体来说，卷积操作包括以下三个要素：
输入数据：需要进行卷积计算的数据。卷积核：用于对输入数据进行卷积的权重参数。特征映射：经过卷积操作得到的输出结果。多卷积核在卷积神经网络中，通常会在每一层使用多个卷积核（也称为过滤器或滤波器）来提取不同的特征。这是因为只使用一个卷积核无法充分提取输入数据的全部信息，而使用多个卷积核可以提取更多的特征信息。
如果只使用一个卷积核来提取特征，则可能会忽略输入数据中的其他特征信息，从而导致信息丢失。而使用多个卷积核可以提取更多的特征信息，并且可以通过堆叠这些特征来形成更高级别的特征表示。高级别的特征通常是由低级别的特征组合而成的，这也是为什么需要使用多个卷积核的原因。
卷积全连接最大池化卷积+池化拉平向量激活函数优化当计算从输出到输入的参数梯度时，这就是为什么它被称为反向传播。由于卷积本质上是加权和，CNN的BP类似于全连接网络的BP。小结CNN是分层特征提取器，高层特征是下层特征的组合。卷积是所有输入通道的加权和CNN最常用的激活是ReLUCNN最常用的池化策略是最大池化训练策略是BP在验证集中找到导致最大响应的补丁是可视化特征的一种非常简单的方法。LeNet-5、AlexNet、GoogleNet、VGG-Net、ResNet、BN什么是卷积神经网络
卷积神经网络从其他神经网络中脱颖而出的地方在于：它们在图像、语音或音频信号输入方面表现出超级的性能。它们具有三个主要类型的层，分别是：
卷积层池化层全连接(FC)层卷积层是卷积网络的第一层。虽然卷积层可以后跟另外的卷积层或池化层，但全连接层肯定是最后一层。随着层级的递进，CNN的复杂性也逐步增加，能够识别图像的更多部分。靠前的层关注于简单的特征，比如颜色和边缘。随着图像数据沿着CNN的层级逐渐推进，它开始识别对象中更大的元素或形状，直到最终识别出预期的对象。
卷积层卷积层是CNN的核心构建块，负责执行大部分计算。它需要几个组件，包括输入数据、过滤器和特征图。假设输入是彩色图像，由三维的像素矩阵组成。这意味着，输入具有三个维度：高度、宽度和深度，对应于图像中的RGB。我们还有一个特征检测器，也称为内核或过滤器，它在图像的各个感受野中移动，检查是否存在特征。这个过程称为卷积。
特征检测器是个二维权重数组，表示部分图像。虽然它们的大小可能各不相同，但过滤器大小通常为3×3的矩阵；这也决定了感受野的大小。然后，过滤器应用于图像的某个区域，并计算输入像素和过滤器的点积。此点积会进而提供给输出数组。接下来，过滤器移动一个步幅，重复这个过程，直到内核扫描了整个图像。来自输入和过滤器的一系列点积的最终输出称为特征图、激活图或卷积特征。
在每次卷积运算之后，CNN对特征图应用修正线性单元(ReLU)转换，为模型引入非线性特性。
如前所述，初始卷积层可以后跟另一个卷积层。如果是这种情况，CNN的结构就变成一个分层结构，因为后面层可以看到前面层的感受野中的像素。 例如，假设我们尝试确定图像中是否包含自行车。可将自行车视为各种零件的总和，它由车架、车把、车轮、踏板等组成。自行车的每个零件构成神经网络中一个较低层次的模式，而零件的组合则表示一个较高层次的模式，从而在CNN中形成特征层次结构。
池化层池化层也称为下采样层，它执行降维操作，旨在减少输入中参数的数量。与卷积层类似，池化运算让过滤器扫描整个输入，但区别在于，这个过滤器没有权重。内核对感受野中的值应用聚集函数，填充输出数组。有两种主要的池化类型：
最大池化：当过滤器在输入中移动时，它选择具有最大值的像素，将其发送给输出数组。顺便说一句，与平均池化相比，这种方法往往更为常用。平均池化：当过滤器在输入中移动时，它计算感受野中的平均值，将其发送给输出数组。虽然池化层中会丢失大量信息，但它还是给CNN带来的许多好处。该层有助于降低复杂性、提高效率，并限制过度拟合的风险。
全连接层全连接层的名称恰如其分地描述了它的含义。如前所述，输入图像的像素值并不直接连接到部分连接层的输出层。而在完全连接层中，输出层中的每个节点都直接连接到上一层中的一个节点。
该层根据通过先前层及其不同的过滤器提取的特征，执行分类任务。虽然卷积层和池化层一般使用ReLu函数，但完全连接层通常利用softmax激活函数对输入进行适当分类，从而产生0到1之间的概率。