ANN（人工神经网络）基础知识
ANN是一个非线性大规模并行处理系统
1.1人工神经元的一般模型神经元的具有的三个基本要素1、一组连接，连接的强度由个连接上的权值表示，若为正，则表示是激活，为负，表示，抑制2、一个求和单元：用于求各个输入信号的加权和3、一个非线性激活函数：起到非线性映射的作用，并将神经元输出幅度限制在一定的范围内，一般限制在（0,1）或者（-1,1）之间此外还有一个阈值求和部分总和减去阈值减去后的值经过线性激活函数得到输出Yk
将上面这个过程进行简化：
激活函数的种类1.1.1阈值函数（M-P模型）分段线性函数例如sigmoid函数1.1.2网络的拓扑结构前馈型网络：各神经元接收前一层的输入并且输出给下一层反馈型神经网络：人工神经网络的工作过程1、学习期：此时各个计算单元额状态不变，各连接线上的权值可以通过学习来修改（改变的是权值）2、工作期：此时各个连接权固定，计算单元状态的变化，以达到某种稳定状态。（改变的输出）
2.1感知器及其学习算法2.1.1线性阈值单元线性阈值单元也叫做LTU，包括一个神经元和一组可调节的权值，神经元采用M-P模型（也就是激活函数是阈值函数）线性阈值单元可实现，与或非，与非等逻辑函数异或逻辑是线性不可分的
2.1.2感知器感知器是单层前馈神经网络，只有两层，即输入层和中间层感知器只能解决线性可分问题，不能解决异或问题感知器的学习算法：
对于感知器的学习就是去求他的权值然后再通过：求出感知的输出接下来要求调节权系数：于是我们先求黄色框当中的式子，令e(n)=d(n)-y(n)（其中d(n)已知）=就可以求出下一秒的权值然后依次这样求解下去
感知器的局限性：1、只能用来解决简单问题2、感知器仅能够线性地将输入的矢量进行分类3、当输入的一个数据比另外一个数据大或者小的时候，可能收敛比较慢。
3.1多层前馈神经网络学习算法:正向传播：输入信息由输入层传递到隐层，最终在输出层输出。(改变的是输出)反向传播：修改各层神经元之间的权值，使得误差信号最小.(改变的的权值)BP神经网络也叫反向传播学习算法
当激活函数采用sigmoid函数的时候，上面的公式可以写为：求输出的正向的，求每个权值的误差的反向的BP的优点：1、有很好的逼近2、较强的泛化能力3、较好的容错性存在的主要问题：1、收敛速度慢2、目标函数存在局部极小点3、难以确定隐层和隐层结点的数目反向传播学习算法的一般步骤1、初始化选定合适的网络，设置所有可调节的参数（权值和阈值）2、求连接权的权值和修正量
3.2BP算法的设计流程图4.1径向基函数对于高维的数值分析，我们选择一种空间和函数作为基底。一般而言，在处理多元函数的问题的基时候选用：
径向基函数定义：选择N个基函数，每个基函数对应一个训练数据，各基函数的形式为：其中Xi是函数的中心，的输入空间的的点X与中心Xi的距离为自变量最常用的径向基函数是高斯核函数，高斯核函数的表示形式为：其中Ci为核函数中心，为核函数的宽度参数，也即是方差
径向基函数的网络一般包括三层，包含一个有输入层，一个隐层和一个线性输出层。隐层最常用的是高斯径向基函数，而输出层最常用的是线性激活函数。RBF网络的权值训练是一层一层进行的，对径向基层的权值训练可采用无导师训练，在输出层的权值设计可采用误差纠正算法，也就是有导师训练
RBF的优点RBF比多层前馈神经网络相比，规模大、但学习速度快、函数逼近、模式识别和分类能力都优于BP网络。
RBF神经元模型模块表示求取输入矢量和权值矢量的距离。传递函数为高斯函数，函数的输入n为x和w的距离乘以阈值b。高斯函数表示式为：
RBF网络有三组可调参数：隐含层基函数中心、方差和隐含层单元到输出单元的权值。如何确定这三个参数，主要是有两个方法：1、根据经验和聚类方法选择中心和方差，当选定中心和方差后，由于输出是线性单元，他的权值可以采用迭代的最小二乘法直接计算出来。2、通过训练样本，用误差纠正算法进行监督学习，逐步修正以上3个参数，也就是计算总的输出误差对各参数的梯度。再用梯度下降法修正待学习的参数。一种采用K均值的聚类算法确定各基函数的额中心，以及其方差，用局部梯度下降法修正网络权值的算法如下：广义RBF网络（GRNN）Cover定理：将复杂的模式分类问题非线性地投射到高维空间，将比投射到低维空间更可能是线性可分的。在RBF网络中，将输入空间的模式（点）非线性地映射到一个高维空间的方式是：设置一个隐层，令是隐层节点的激活函数，并且令隐层结点个数M大于输入节点N，形成一个高维空间如果M足够大，则在隐层空间输入时线性可分的。广义RBF网络（GRNN）正规化RBF网络的隐层结点个数和输入样本个数相等，但是样本很大。为了解决计算量很大的现象：解决的方式：减少隐节点的个数，使得N