《人工智能导论》课程研究报告材料总结材料doc
wordword1/19word《人工智能导论》课程研究报告题目：BP神经网络的非线性函数拟合班级：自动化1303班某某：汪洋、房亮、彭正昌、蔡博、X航、X金祥学号：2016年1月1日wordword2/19word目录第一章人工智能相关介绍-1-人工神经网络的研究背景和意义-2-神经网络的开展与研究现状-3-神经网络的应用-4-第二章神经网络结构与BP神经网络-5-神经元与网络结构-5-BP神经网络与其原理-8-BP神经网络的主要功能-10-第三章基于matlab的BP神经网络的非线性函数拟合-11--12--13-参考文献…………………………………………………………….-15-附录………………………………………………………………..-17-wordword4/19word人工智能相关介绍人工神经网络与matlab人工神经网络〔ArtificialNeuralNetworks，NN〕是由大量的、简单的处理单元〔称为神经元〕广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多根本特征，是一个高度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学****能力，特别适合处理需要同时考虑许多因素和条件的、不准确和模糊的信息处理问题。神经网络的开展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。神经网络具有非线性自适应的信息处理能力，克制了传统人工智能方法对于直觉的缺陷，因而在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。神经网络与其他传统方法相组合，将推动人工智能和信息处理技术不断开展。近年来，神经网络在模拟人类认知的道路上更加深入开展，并与模糊系统、遗传算法、进化机制等组合，形成计算智能，成为人工智能的一个重要方向。MATLAB是一种科学与工程计算的高级语言，广泛地运用于包括信号与图像处理，控制系统设计，系统仿真等诸多领域。为了解决神经网络问题中的研究工作量和编程计算工作量问题，目前工程领域中较为流行的软件MATLAB，提供了现成的神经网络工具箱〔NeuralNetworkToolbox，简称NNbox〕，为解决这个矛盾提供了便利条件。神经网络工具箱提供了很多经典的学****算法，使用它能够快速实现对实际问题的建模求解。在解决实际问题中，应用MATLAB语言构造典型神经网络的激活传递函数，编写各种网络设计与训练的子程序，网络的设计者可以根据需要调用工具箱中有关神经网络的设计训练程序，使自己能够从烦琐的编程中解脱出来，减轻工程人员的负担，从而提高工作效率。人工神经网络的研究背景和意义人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反响。人工神经网络就是模拟人思维的一种方式，是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。近年来通过对人工神经网络的研究，可以看出神经网络的研究目的和意义有以下三点：〔1〕通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的根源。〔2〕争取构造出尽可能与人脑具有相似功能的计算机，即神经网络计算机。〔3〕研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。wordword4/19word人工神经网络特有的非线性适应性信息处理能力，克制了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断开展。近年来，人工神经网络正向模拟人类认知的道路上更加深入开展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到开展。将信息几何应用于人工神经网《人工智能导论》课程研究报告材料总结材料来自淘豆网www.taodocs.com转载请标明出处.
人工智能导论——人工智能、机器学习和深度学习之间的区别与联系
一、人工智能--在机器实现智能
人工智能（Artificialintelligence）简称AI。是一门研究如何构造智能机器（智能计算机）或智能系统，使它能模拟、延伸、扩展人类智能的计算机学科。通俗的来说，人工智能就是要研究如何使机器具有能听、能说、能看、会写、能思考、会学习、能适应环境变化、能解决面临的各种实际问题等功能的一门学科。人工智能即是用人工的方法在机器（计算机）上实现的智能。
人工智能研究的基本内容主要有：知识表示、机器感知、机器思维、机器学习、机器行为这五方面。主要研究领域主要有：自动定理证明、博弈、模式识别机器视觉、自然语言理解、智能信息检索、数据挖掘与知识发现、专家系统、自动程序设计、机器人、组合优化问题、人工神经网络、分布式人工智能与多智能体、智能控制、智能仿真、智能计算机系统、智能通讯、智能网络系统和人工生命等。
人工智能目前分为弱人工智能和强人工智能和超人工智能。
（1）弱人工智能：弱人工智能（ArtificialNarrowIntelligence/ANI)，只专注于完成某个特定的任务，例如语音识别、图象识别和翻译等，是擅长于单个方面的人工智能。它们只是用于解决特定的具体类的任务问题而存在，大都是统计数据，以此从中归纳出模型。由于弱人工智能智能处理较为单一的问题，且发展程度并没有达到模拟人脑思维的程度，所以弱人工智能仍然属于“工具”的范畴，与传统的“产品”在本质上并无区别。
（2) 强人工智能：强人工智能（ArtificialGenerallnteligence/AGI)，属于人类级别的人工智能，在各方面都能和人类比肩，它能够进行思考、计划、解决问题、抽象思维、理解复杂理念、快速学习和从经验中学习等操作，并且和人类一样得心应手。
（3）超人工智能：超人工智能（ArtificialSuperintelligence/ASI)，在几乎所有领域都比最聪明的人类大脑都聪明许多，包括科学创新、通识和社交技能。在超人工智能阶段，人工智能已经跨过“奇点”，其计算和思维能力已经远超人脑。此时的人工智能已经不是人类可以理解和想象。人工智能将打破人脑受到的维度限制，其所观察和思考的内容，人脑已经无法理解，人工智能将形成一个新的社会。
目前我们仍处于弱人工智能阶段。
二、机器学习--一种人工智能方法
机器学习（MachineLearning）简称ML，就是研究如何使计算机具有类似于人的学习能力，使它能通过学习自动地获取知识。机器学习是一个难度较大的研究领域，属于人工智能的一个分支，也是人工智能的和核心，它与脑科学、神经心理学、计算机视觉、计算机听觉等都有密切的联系，依赖于这些学科的共同发展。
机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。机器学习方法主要有：
（1）有监督学习（SupeervisedLearning），从给定的有标注的训练集中学习出一个函数（模型参数），当新的数据到来时可以根据这个函数预测结果。常见的任务包括分类和回归。
（2）无监督学习（UnsupervisedLearning），没有标注的训练数据集，需要根据样本间的统计规律对样本进行分析。常见任务聚类。
（3）半监督学习（Semi-supervisedLearning），结合（少量的）标注训练数据和（大量的）未标注数据来进行数据的分类学习。它存在聚类假设（整体）和流形假设（局部）这两个基本假设。
（4）增强学习（ReinforcementLearning）,外部环境对输出只给出评价信息而非正确答案，学习机通过强化受奖励的动作来改善自身的性能。
（5）多任务学习（Multi-taskLearning）,把多个相关（related）的任务放在一起同时学习。
机器学习的一般过程有：
一、数据预处理（数据清洗、数据集成、数据采样）。
二、特征工程（特征编码、特征选择、特征降维、规范化）。
三、数据建模（回归问题、分类问题、聚类问题、其他问题）。
四、结果评估（拟合度量、查准率、查全率、F1值、PR曲线、ROC曲线）。
我们一般说的机器学习方法就是指在数学建模中所用的方法，主要有：
（1）分类问题。主要方法有决策树分类、贝叶斯分类、支持向量机、逻辑回归和集成学习。
（2）回归问题。主要方法有线性回归、岭回归和Lasso回归。
（3）聚类问题。主要方法有K-means、高斯混合聚类、密度聚类、层次聚类和谱聚类。
（4）其他问题。主要方法有隐马尔可夫模型、LDA主题模型、条件随机场、神经网络和深度学习。
三、深度学习--一种实现机器学习的技术
深度学习（DeepLearning）简称DL。它是机器学习(ML,MachineLearning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI,ArtificialIntelligence)。最初的深度学习是利用深度神经网络来解决特征表达的一种学习过程。深度神经网络本身并不是一个全新的概念，可大致理解为包含多个隐含层的神经网络结构。为了提高深层神经网络的训练效果，人们对神经元的连接方法和激活函数等方面做出相应的调整。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，如图象、声音、文本。
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图象和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。
深度学习是一类模式分析方法的统称，就具体研究内容而言，主要涉及三类方法：
（1）基于卷积运算的神经网络系统，即卷积神经网络(CNN)。
（2）基于多层神经元的自编码神经网络，包括自编码(Autoencoder)和稀疏编码(SparseCoding)两类。
（3）以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络(DBN)。
深度学习主要应用并取得成果的领域：
（1）搜索技术
（2）数据挖掘
（3）机器学习
（4）计算机视觉
（5）机器翻译
（6）自然语言处理、语音识别
（7）推荐和个性化技术
（8）无人驾驶等
四、区别与联系
深度学习是机器学习的一种，而机器学习是实现人工智能的必经路径。 关系如下图：
图片来源于网络
《人工智能概论》课程重点总结
目录遗传算法相关参数问题种群规模、迭代次数、交叉率、变异率对算法的影响A*算法中open表和close表的作用为什么A*算法中open表是增长的启发式函数h(n)取值的影响A*算法可以找到最优解的条件模式识别系统的组成有监督学习和无监督学习的区别模型评估三大原则查准率和查全率KNN中K值选取的影响回归问题和分类问题的区别线性回归问题机器学习的步骤模型训练时batch和epoch的含义sigmoid函数和ReLU函数的区别神经元模型BP学习算法的正向传播和反向传播BP算法的流程CNN中卷积层和池化层的作用CNN中的关键技术CNN优于全连接神经网络的地方GAN的工作流程遗传算法相关参数问题编码方式
二进制编码：把问题的解表示为由0和1组成的位串，每一位对应一个基因。二进制编码简单易用，但可能存在汉明悬崖问题，即相邻整数的二进制代码之间有很大的汉明距离，导致交叉和变异难以跨越。格雷编码：把问题的解表示为由0和1组成的位串，但每两个相邻的数用格雷码表示，其对应的码位只有一个不相同，从而可以提高算法的局部搜索能力。格雷编码可以避免汉明悬崖问题，但需要额外的编码和解码过程。实数编码：把问题的解表示为实数或浮点数，可以直接对应问题的参数空间，不需要编码和解码过程。实数编码适合处理连续优化问题，但需要设计特定的交叉和变异算子。排列编码：把问题的解表示为一种排列或序列，每个位置对应一个基因。排列编码适合处理组合优化问题，如旅行商问题，但也需要设计特定的交叉和变异算子。选择方法
轮盘赌选择法：这是一种最简单也最常用的选择法，它根据个体的适应度值与总适应度值的比例来分配选择概率，即适应度值越高的个体被选中的概率越大。具体步骤如下：将种群中个体的适应度值叠加，得到总适应度值每个个体的适应度值除以总适应度值得到个体被选择的概率计算个体的累积概率以构造一个轮盘产生一个[0,1]之间的随机数，根据轮盘确定被选中的个体锦标赛选择法：这是一种通过多轮比较来确定被选中个体的方法，它可以有效地控制选择压力和保持多样性。具体步骤如下：随机从种群中抽取k个个体，其中k是一个预设的参数，通常为2或3比较这k个个体的适应度值，选择最高者作为赢者将赢者复制到新种群中，重复以上步骤直到新种群满员交叉策略
单点交叉：在两个个体的染色体上随机选择一个交叉点，然后交换该点后面的部分基因。两点交叉：在两个个体的染色体上随机选择两个交叉点，然后交换这两个点之间的部分基因。变异策略
位反转变异：在一个个体的染色体上随机选择一个或多个基因位，然后将其取反，即0变为1，1变为0。交换变异：在一个个体的染色体上随机选择两个基因位，然后交换它们的值。插入变异：在一个个体的染色体上随机选择一个基因位，然后将其插入到另一个随机位置上，原来位置后面的基因位依次向前移动一位。逆转变异：在一个个体的染色体上随机选择一个子串，然后将其逆序排列。均匀变异：在一个个体的染色体上逐位比较基因，以一定概率改变不同的基因。种群规模、迭代次数、交叉率、变异率对算法的影响种群规模：种群规模是每代个体的固定总数，即初始解的个数。种群规模过小会导致搜索空间不足，陷入局部最优解；种群规模过大会导致计算量增加，收敛速度变慢。一般来说，种群规模应该根据问题的复杂度和搜索空间的大小来确定，一般取10到100之间的值。迭代次数：迭代次数是指遗传算法进行多少代的进化。迭代次数过少会导致搜索不充分，无法找到较好的解；迭代次数过多会导致计算时间增加，收敛速度变慢。一般来说，迭代次数应该根据问题的难度和收敛情况来确定，一般取50到500之间的值。交叉率：交叉率是指每代中进行交叉操作的个体比例。交叉操作是遗传算法中最重要的操作，它可以产生新的个体，增加种群的多样性，从而提高搜索能力。交叉率过低会导致搜索能力不足，陷入局部最优解；交叉率过高会导致搜索能力过强，破坏优秀个体，降低收敛速度。一般来说，交叉率应该根据问题的特点和搜索空间的大小来确定，一般取0.6到0.9之间的值。变异率：变异率是指每代中进行变异操作的基因比例。变异操作是遗传算法中辅助交叉操作的操作，它可以引入新的基因，增加种群的多样性，从而跳出局部最优解。变异率过低会导致搜索能力不足，陷入局部最优解；变异率过高会导致搜索能力过强，破坏优秀个体，降低收敛速度。一般来说，变异率应该根据问题的特点和搜索空间的大小来确定，一般取0.01到0.1之间的值。A*算法中open表和close表的作用A*算法是一种启发式搜索算法，它可以在图中找到从起点到终点的最短路径。A*算法使用了两个列表，分别是open表和close表open表是一个优先队列，它存储了所有已经被评估过启发函数值但还没有被扩展成后继节点的节点。启发函数值是一个估计值，表示从当前节点到目标节点的代价。A*算法每次从open表中选择一个启发函数值最小的节点，称为当前节点，然后将其从open表中移除，并将其加入到close表中。close表是一个集合，它存储了所有已经被访问过的节点。这样可以避免重复访问同一个节点，提高搜索效率。A*算法每次扩展当前节点的所有后继节点，计算它们的启发函数值，并检查它们是否已经在open表或close表中存在。如果不存在，就将它们加入到open表中；如果存在，就比较它们的启发函数值，如果新的值更小，就更新它们的值，并修改它们的父节点为当前节点。¹²这个过程一直重复，直到找到目标节点或者open表为空为止。如果找到目标节点，就沿着父节点指针回溯得到最短路径；如果open表为空，就说明没有可行的路径。¹²open表和close表的作用是帮助A*算法按照启发函数值的顺序搜索图中的节点，并记录已经访问过的节点，从而找到最短路径。为什么A*算法中open表是增长的Open表是增长的，因为每次扩展一个节点时，都会把它的相邻可达节点加入到Open表中（除非它们已经在Closed表中或者是障碍物）。这样，Open表中的节点数量会随着搜索过程而增加，直到找到终点或者没有可扩展的节点为止。启发式函数h(n)取值的影响h(n)比重大：降低搜索工作量，但可能导致找不到最优解；h(n)比重小：一般导致工作量加大，极限情况下变为盲目搜索，但可能可以找到最优解。A*算法可以找到最优解的条件启发函数必须是一致的（admissible）：启发函数不能高估从当前节点到目标节点的距离。也就是说，该函数估计的距离不能大于实际距离。如果启发函数是一致的，则A*搜索算法保证能够找到最短路径。图形结构必须不包括环路（acyclic）：A*算法只适用于图形结构不包括环路的问题。因为对于含有环路的图形结构，启发函数可能会导致算法在环路中无限循环下去。模式识别系统的组成举例：掌纹识别有监督学习和无监督学习的区别有监督学习和无监督学习是机器学习中的两个重要概念。有监督学习需要有标签数据作为训练数据，而无监督学习则不需要。有监督学习的目标是通过已知的标签数据来预测未知数据的标签，而无监督学习的目标是发现数据中的模式和结构模型评估三大原则奥卡姆剃刀：在性能得到满足的情况下，模型越简单越好数据集划分时的样本采样原则：训练集、测试集和验证集的分布应尽量一致测试集使用原则：训练阶段不要以任何理由偷看测试集；对测试集的反复评估也是一种隐蔽地偷看行为查准率和查全率查准率是指预测为正例的样本中，真正为正例的比例。它反映了预测结果的准确性，即避免将反例误判为正例。提高查准率的方法是增加预测为正例的门槛，只有当样本的正例概率很高时才将其判为正例，这样可以减少假正例（falsepositive）的数量，但同时也会增加假反例（falsenegative）的数量，即将正例误判为反例。查全率是指真正为正例的样本中，预测为正例的比例。它反映了预测结果的完整性，即尽可能地覆盖所有的正例。提高查全率的方法是降低预测为正例的门槛，只要样本有一定的正例概率就将其判为正例，这样可以减少假反例（falsenegative）的数量，但同时也会增加假正例（falsepositive）的数量，即将反例误判为正例。因此，查准率和查全率是一种权衡关系，提高一个往往会降低另一个，反之亦然。不同的任务或场景可能对查准率和查全率有不同的偏好或要求，例如，在垃圾邮件过滤中，我们更倾向于提高查准率，避免将正常邮件误判为垃圾邮件；而在疾病诊断中，我们更倾向于提高查全率，避免将患病者误判为健康者。KNN中K值选取的影响回归问题和分类问题的区别回归问题和分类问题的区别在于输出变量的类型。定量输出称为回归，或者说是连续变量预测；定性输出称为分类，或者说是离散变量预测。分类问题通常适用于预测一个类别（或类别的概率）而不是连续的数值。回归问题通常是用来预测一个值，如预测房价、未来的天气情况等等。线性回归问题机器学习的步骤1定义一个带有未知参数的函数（模型）2定义损失函数3基于优化方法得到最优参数模型训练时batch和epoch的含义在深度学习中，batch是指每次训练模型时，同时输入多个样本进行训练的一种方式。batchsize是指每个batch中包含的样本数。batchsize越大，训练速度越快，但内存消耗也越大；batchsize越小，训练速度越慢，但内存消耗也越小。epoch是指将所有训练数据都过一遍的训练过程。在每个epoch中，模型会对所有训练数据进行一次前向传播和反向传播，并更新模型参数。epoch数是指将所有训练数据都过一遍所需要的次数。sigmoid函数和ReLU函数的区别sigmoid函数和ReLU函数的主要区别在于它们的形状和性质。sigmoid函数在输入值较大或较小时，输出值接近于0或1，而在输入值接近于0时，输出值接近于0.5。这意味着sigmoid函数在输入值较大或较小时，梯度会变得很小，从而导致梯度消失问题。ReLU函数则不存在这个问题，因为它在输入值为负时，梯度为0，在输入值为正时，梯度为1。这使得ReLU函数更容易训练，并且可以加速收敛速度。另外，ReLU函数还具有稀疏性和非线性特性。稀疏性是指ReLU函数可以使一部分神经元的输出为0，从而使得神经网络更加稀疏；非线性特性是指ReLU函数可以引入非线性因素，从而使得神经网络更加灵活。这些特性使得ReLU函数在深度学习中被广泛使用，并且已经被证明比sigmoid函数更有效。神经元模型BP学习算法的正向传播和反向传播正向传播：输入信息由输入层传至隐层，最终在输出层输出。反向传播：修改各层神经元的权值，使误差信号最小BP算法的流程CNN中卷积层和池化层的作用在卷积神经网络（CNN）中，卷积层和池化层都是用于提取图像特征的。卷积层通过使用卷积核来提取图像的局部特征，而池化层则通过对卷积层输出的特征图进行下采样来减少特征图的大小。池化层可以帮助减少过拟合，提高模型的泛化能力CNN中的关键技术局部链接权值共享：所有卷积模板都相同多卷积核CNN优于全连接神经网络的地方卷积层相比于全连接层有以下优势：参数共享：卷积层的参数共享可以大大减少需要学习的参数数量，提高模型的泛化能力。相对于全连接层，卷积层需要学习的参数数量更少，因此更容易训练，而且更不容易过拟合。空间局部性：卷积层能够捕获输入数据中的空间局部性信息。在图像识别任务中，相邻像素之间的关系非常重要，卷积层能够利用这种关系来提取图像特征，而全连接层则无法捕获这种信息。计算复杂度：由于参数共享和空间局部性，卷积层的计算复杂度比全连接层低。在处理大规模数据时，卷积层更加高效。模型泛化能力：卷积层能够学习到输入数据的局部特征，因此具有更好的模型泛化能力。相对于全连接层，卷积层更容易处理输入数据中的噪声和变形。可解释性：卷积层的输出可以看做是输入数据的特征图，因此更容易解释模型的预测结果。相对于全连接层，卷积层更容易理解和可解释。综上所述，卷积层相比于全连接层具有更好的模型泛化能力、更高的计算效率和更好的可解释性，适用于处理图像、音频等二维或三维数据。GAN的工作流程生成对抗网络（GAN）是一种深度学习模型，由两个神经网络组成：生成器和判别器。生成器的作用是生成与训练数据相似的新数据，而判别器的作用是区分真实数据和生成器生成的数据。GAN的训练过程是交替训练这两个网络，直到生成器生成的数据能够以假乱真，并与判别器的能力达到一定均衡。GAN的工作流程如下：初始化生成器和判别器的参数。从训练集中抽取n个样本，以及从噪声分布中采样得到n个噪声样本。固定生成器，训练判别器，使其尽可能区分真假。固定判别器，训练生成器，使其尽可能欺骗判别器。多次更新迭代后，最终辨别器无法区分图片到底是来自真实的训练样本集合，还是来自生成器G生成的样本即可，此时辨别的概率为0.5，完成训练。