《人工智能及其应用》课程笔记（一）第1章 绪论
使用课本：《人工智能及其应用》第5版蔡自兴著，清华大学出版社
目录第1章绪论1.1人工智能的定义与发展1.1.1人工智能的定义1.1.2人工智能的起源与发展1.2人工智能的各种认知观1.2.1人工智能各学派的认识观1.2.2 人工智能的争议1.3人类智能与人工智能1.3.1智能信息处理系统的假设1.3.2人类智能的计算机模拟1.3.3人工智能对人类的影响1.4人工智能系统的分类1.4.1专家系统1.4.2 模糊系统1.4.3 神经网络系统1.4.4学习系统1.4.5仿生系统1.4.6群智能系统1.4.7多真体系统1.4.8混合智能系统1.5人工智能的研究目标和内容 1.5.1人工智能的研究目标 1.5.2 人工智能研究的基本内容1.6人工智能的研究与计算方法1.6.1人工智能的研究方法1.7人工智能的研究与应用领域题目：第1章绪论1.1人工智能的定义与发展1.1.1人工智能的定义关于人工智能的定义，众说纷纭，还没有统一的定义。
一般的解释：
人工智能：用人工的方法在机器（计算机）上实现的智能，或称机器智能、计算机智能。
知识：人们通过体验、学习或联想而知晓的对客观世界规律性的认识，包括事实、条件、过程、规则、关系和规律等。
智能：一种应用知识对一定环境或问题进行处理的能力或者进行抽象思考的能力。
智能机器：能够在各类环境中自主地或交互地执行各种拟人任务的机器。
1.1.2人工智能的起源与发展1.孕育时期（1956年前）
人工智能开拓者们在数理逻辑、计算本质、控制论、信息论、自动机理论、神经网络模型和电子计算机等方面做出的创造性贡献，奠定了人工智能发展的理论基础。
亚里士多德（公元前384—322）：古希腊伟大的哲学家和思想家，创立了演绎法。他提出的三段论至今仍然是演绎推理的最基本出发点。
莱布尼茨(1646—1716)：德国数学家和哲学家，把形式逻辑符号化，奠定了数理逻辑的基础
图灵(1912—1954)：英国数学家，1936年创立了自动机理论亦称图灵机，1950年在其著作《计算机器与智能》中首次提出“机器也能思维”，被誉为“人工智能之父”。
莫克利(1907—1980)：美国数学家、电子数字计算机的先驱，1946年研制成功了世界上第一台通用电子数字计算机ENIAC。
麦克洛奇和皮兹：美国神经生理学家，1943年建成第一个神经网络模型(MP模型)，神经网络连接机制后来发展为人工智能连接主义学派的代表。
维纳(1874—1956)：美国著名数学家、控制论创始人。1948年创立了控制论。控制论对人工智能的影响，形成了行为主义学派。
2.形成时期（1956-1970）
AI诞生于一次历史性的聚会—达特茅斯会议
1956年夏，10人参加在美国达特茅斯大学举办了一次长达2个多月的研讨会，热烈地讨论用机器模拟人类智能的问题。会上，首次使用了“人工智能”这一术语。这是人类历史上第一次人工智能研讨会，标志着人工智能学科的诞生，具有十分重要的历史意义。
迅速发展，过于乐观
1956年，塞缪尔在IBM计算机上研制成功了具有自学习、自组织和自适应能力的西洋跳棋程序。
1957年，纽厄尔、肖(Shaw)和西蒙等研制了一个称为逻辑理论机（LT)的数学定理证明程序。
1958年，麦卡锡建立了行动规划咨询系统。
1960年纽厄尔等研制了通用问题求解(GPS)程序。麦卡锡研制了人工智能语言LISP（表处理语言）。
1961年，明斯基发表了“走向人工智能的步骤”的论文，推动了人工智能的发展。
1965年，鲁宾逊提出了归结（消解）原理。费根鲍姆开发第一个专家系统DENDRAL，用于质谱仪分析有机化合物的分子结构。
3.暗淡（低潮）时期（1956-1970）
过高预言的失败，给AI的声誉造成重大伤害
“20年内，机器将能做人所能做的一切。” ——西蒙，1965
“在3-8年时间里，我们将研制出具有普通人智力的计算机。这样的机器能读懂莎士比亚的著作，会给汽车上润滑油，会玩弄政治权术，能讲笑话，会争吵。……它的智力将无以伦比。” ——明斯基，1977
同时，许多人工智能理论和方法未能得到通用化和推广应用，专家系统也尚未获得广泛开发。因此看不出人工智能的重要价值。
究其原因，当时的人工智能主要存在以下三个局限性：（1）知识局限性 （2）解法局限性 （3）结构局限性
4.知识应用时期（1970-1988）
专家系统 实现了人工智能从理论研究走向专门知识应用，是AI发展史上的一次重要突破与转折。
1972-1976年，费根鲍姆研制MYCIN专家系统，用于协助内科医生诊断细菌感染疾病，并提供最佳处方。
1976年，斯坦福大学的杜达等人研制地质勘探专家系统PROSPECTOR。
1977年，费根鲍姆提出了知识工程的概念
计算机视觉、机器人、自然语言理解、机器翻译等AI应用研究获得发展。
在开发专家系统的过程中，许多研究者获得共识：人工智能系统是一个知识处理系统，人工智能的三个基本问题：知识表示、知识利用、知识获取
5.集成发展时期（1986年至今）
专家系统的不足：应用领域狭窄、缺乏常识性知识、知识获取困难、推理方法单一、没有分布式功能、不能访问现存数据库等，促进专家系统的改进与发展。
机器学习、人工神经网络、计算智能、智能机器人和行为主义研究趋向热烈和深入。
计算智能（CI）弥补了人工智能中在数学理论和计算上的不足，更新和丰富了人工智能理论框架，使人工智能进入一个新的发展时期。
1.2人工智能的各种认知观人工智能的三个学派：符号主义、连接主义、行为主义
1.2.1人工智能各学派的认识观别名原理起源学派代表符号主义
逻辑主义、心理学派或计算机学派物理符号系统（即符号操作系统）假设和有限合理性原理数理逻辑/逻辑推理纽厄尔、西蒙和尼尔逊等连接主义仿生学派或生理学派神经网络及神经网络间的连接机制与学习算法。仿生学，特别是人脑模型的研究卡洛克、皮茨、霍普菲尔德、鲁梅尔哈特等。行为主义进化主义或控制论学派控制论及感知-动作型控制系统控制论布鲁克斯的六足行走机器人，一个基于感知-动作模式的模拟昆虫行为的控制系统。1.2.2 人工智能的争议对人工智能理论的争论对人工智能方法的争论符号主义认为人的认知基元是符号，认知过程即符号操作过程
认为人是一个物理符号系统，计算机也是一个物理符号系统，因此能够用计算机来模拟人的智能行为。
人工智能的核心问题是知识表示、知识推理和知识运用。
功能模拟方法：模拟人类认知系统所具备的功能，通过数学逻辑方法来实现人工智能。
连接主义认为思维基元是神经元，而不是符号处理过程。
认为人脑不同于电脑，并提出连接主义的大脑工作模式，用于取代符号操作的电脑工作模式。
结构模拟方法：模拟人的生理神经网络结构，不同的结构表现出不同的功能和行为。认为功能、结构和智能行为是不可分的。行为主义认为智能取决于感知和行动(所以被称为行为主义)，提出智能行为的“感知—动作”模式。
认为智能不需要知识、不需要表示、不需要推理；人工智能可以象人类智能一样逐步进化（称为进化主义）；智能行为只能在现实世界中与周围环境交互作用而表现出来。
行为模拟方法：采用行为模拟方法，也认为功能、结构和智能行为是不可分的。不同行为表现出不同功能和不同控制结构。对人工智能技术路线的争论
专用路线 强调研制与开发专用智能计算机、人工智能软件、开发工具、人工智能语言和其它专用设备。
通用路线 认为通用计算机硬件和软件能够对人工智能开发提供有效支持，解决一般人工智能问题。
硬件路线 认为人工智能发展主要依靠硬件技术。
软件路线 强调人工智能发展主要依靠软件技术。
1.3人类智能与人工智能1.3.1智能信息处理系统的假设1.人和计算机的认知活动：
人类：生理过程→初级信息处理→思维策略
计算机：计算机硬件→计算机语言→计算机程序
2.认知过程：
T表示时间，x表示认知操作，x的变化Δx为当时机体状态S和外界刺激R的函数
3. 符号操作系统（信息处理系统）的六种基本功能：
输入符号、输出符号、存储符号、复制符号、建立符号结构、条件性迁移
4.认知的四个层次
认知生理学、认知心理学、认知信息学、认知工程学
1.3.2人类智能的计算机模拟计算机早期工作主要集中在数值计算方面，但人类最主要的智力活动并不是数值计算，而是逻辑推理方面。
计算机可以模拟人的智能活动过程，如下棋、定理证明、翻译语言文字和解决难题等。
自学习、并行计算、启发式搜索、机器学习、智能决策等人工智能技术的发展已用于博弈程序设计，使得“计算机棋手”水平大为提高。
深蓝→小深→浪潮天梭→AlphaGo
电子计算机→量子计算机→光子计算机
1.3.3人工智能对人类的影响经济、社会、文化
1.4人工智能系统的分类专家系统、模糊系统、神经网络系统、学习系统、仿生系统、群智智能系统、多真体系统、混合智能系统
1.4.1专家系统人工智能和智能系统应用研究最活跃和最广泛的领域之一
专家系统的技术和方法，及工程控制论的反馈机制有机结合
一般研究具有不确定性的问题
应用领域：故障诊断、工业设计、过程控制等
主要组成：知识库、推理机、控制规则集、算法
1.4.2 模糊系统应用模糊集合理论的智能系统，模糊集合理论提出者：Zedeh
实现基于知识（规则）甚至语义描述的表示、推理和操作规律
对非线性系统设计容易，尤其含有不确定性的系统
1.4.3 神经网络系统人工神经网络ANN
生物神经元特性的互连模型
应用领域：模式识别、图像处理、自动控制、机器人、信号处理等
1.4.4学习系统通过学习获取和增加知识
1.4.5仿生系统模仿自然，包括人类和生物的自然智能
选择、交叉、变异来适应大自然，物竞天择，适者生存
遗传算法
1.4.6群智能系统群：某种交互作用的组织、Agent的结构集合
个体行为和全局群行为
蚁群算法
1.4.7多真体系统并行计算、分布式处理
真体：通过传感器感知环境并借助执行器作用于该环境的任何事物
1.4.8混合智能系统模糊系统擅长不确定，神经网络擅长学习，进化计算擅长优化
1.5人工智能的研究目标和内容 1.5.1人工智能的研究目标1.人工智能的一般研究目标
（1）理解人类智能
通过编写程序来模仿和检验人类智能的有关理论，更好地理解人类智能。
（2）实现人类智能
创造有用的灵巧程序，执行一般需要人类专家才能实现的任务，实现人类智能
2.人工智能的近期目标：
建造智能计算机代替人类的部分智力劳动。
3.人工智能的近期目标：
揭示人类智能的根本机理，用智能机器去模拟、延伸和扩展人类的智能。
近期目标为远期目标奠定了理论和技术基础，远期目标为近期目标指明了方向
1.5.2 人工智能研究的基本内容认知建模信息处理、符号运算、问题求解、思维、关联活动知识表示状态空间、问题归约、谓词逻辑、语义网络……知识推理确定性推理：启发式搜索、消解原理、规则演绎……
非经典推理：不确定性推理、概率推理、贝叶斯推理……
知识应用机器学习、专家系统、自动规划、自然语言理解……机器感知计算机视觉、机器听觉……机器思维对传感信息和内部工作信息进行有目的的处理机器学习学习新知识和新技术并在实践中不断改进和机器行为表达能力、行为能力智能系统构建构成技术、分析技术、语言设计1.6人工智能的研究与计算方法1.6.1人工智能的研究方法功能模拟法
结构模拟法
行为模拟法
集成模拟法
1.6.2人工智能的计算方法概率计算
符号规则逻辑计算
模糊计算
神经计算
进化计算与免疫计算
群优化计算
1.7人工智能的研究与应用领域问题求解与博弈
逻辑推理与定理证明
计算智能
分布式人工智能与真体（Agent）
自动程序设计
专家系统
机器学习
自然语言处理
机器人学
模式识别
机器视觉
神经网络
智能控制
……
题目：1、人工智能发展的三个阶段：[填空1]阶段、[填空2]阶段、[填空3]阶段。
[填空1]人工智能的推理阶段(1950-1970)这一阶段,大多数人认为,实现人工智能只需要赋予机器逻辑推理能力就可以,因此,机器只是具备了逻辑推理能力,并未达到智能化水平。
[填空2]人工智能的知识工程阶段(1970-1990)这一阶段,人们普遍认为,只有让机器学习知识之后才可以实现人工智能。在这种情况下,大量的专家系统被开发出来。但人们发现,给机器灌输已经总结好的知识并不是一件容易的事。
[填空3]人工智能的数据挖掘阶段(2000-)目前,已经提出的机器学习算法都得到了非常好的应用。深度学习技术获得了迅猛的进展。人们希望机器可以通过海量数据分析自动总结学习到知识,从而实现自身的智能化。
2、人工智能的三大认知观：[填空1]主义、[填空2]主义、[填空3]主义。
答案：符号主义、连接主义、行为主义
《人工智能原理》读书笔记：第4章 优化问题求解
目录第4章优化问题求解4.1引言4.2优化问题4.2.1智力游戏问题4.2.2现实世界问题4.3优化问题的求解4.3.1局部搜索4.3.2元启发式4.3.3群体智能4.4局部搜索方法4.4.1爬山法4.4.2局部束搜索4.5元启发式方法 4.5.1禁忌搜索4.5.2模拟退火算法4.5.3遗传算法 4.6群体智能方法4.6.1蚁群优化算法4.6.2粒子群优化算法4.7小结第4章优化问题求解4.1引言现实世界中的许多问题，往往存在多元的解空间，从多元的解空间中提取最优选项，则称为优化问题。
变量分为两类：一类是连续变量，另一类则是离散变量。涉及离散变量的优化问题，称为离散优化问题，其中包括组合优化问题以及NP优化问题。
优化问题又可以根据其约束情况分为两种，一种是无约束优化问题，另一种是约束优化问题。
4.2优化问题对于一般的优化问题，通过一系列复杂的计算可以求得最优解，但对NP完或NP难的优化问题而言，人工智能的方法是一条有效的途径。
对于优化问题来说，问题的解往往与路径无关，而且也往往无法事先设定问题的目标状态。
4.2.1智力游戏问题大多数智力游戏具有明确的目标状态，需要找到能够达到目标状态的动作序列，然而还有一些智力游戏问题属于优化问题，它们可能存在多个目标状态，且目标状态实现未知，问题的求解是通过某种既定的方式找到符合要求的目标状态。
例4.1旅行推销员问题
例4.2背包问题
4.2.2现实世界问题现实世界的优化问题，往往涉及我们生活中的多个领域。
一部分现实世界的优化问题属于旅行推销员问题的泛化，反过来也可以说是推销员问题在现实世界中的应用。还有一些现实世界的优化问题属于背包问题的泛化。
4.3优化问题的求解求解优化问题主要有以下几种途径，即：局部搜索、元启发式以及群体智能。
4.3.1局部搜索局部搜索是针对一些难以找到全局最优解的复杂问题，采用局部最优的思想，从问题空间中的某个候选解出发，每次找出一个相邻的候选解并进行比较，直到找到一个最优解为止。
4.3.2元启发式元启发式指的是基于客观约束条件或模拟自然现象而构建的一类通用的算法框架，旨在解决复杂的优化问题。
4.3.3群体智能群体智能是受自然界中集群智能的启发而形成的一类方法。集群智能是大量的同类智能主体通过合作实现的智能。
4.4局部搜索方法局部搜索方法是一类启发式优化方法的总称，即对于一些难以找到全局最优解的复杂问题，采用局部最优的思想去寻找一个局部最优解。
4.4.1爬山法爬山法是一种迭代算法，也叫作爬山搜索算法，其主要步骤是：开始时任意选择问题的一个解作为已有解；然后通过修改已有解的某些元素来生成一个候选解；如果候选解优于已有解，则将其作为新的解；重复上述操作直到无法得到进一步的改善为止。
随机爬山法是在向上移动的过程中随机选择下一个状态；选择的概率随向上移动的斜度而变化。与最陡爬山法相比，随机爬山法的收敛速度相对较慢，但增大了找到全局最大值的可能性。
首选爬山法随机生成若干个后继，直到生成一个比当前状态好的后继，当一个状态有许多后继状态时，用此策略为好。
随机重启爬山法是从随机生成的初始状态开始，进行一系列爬山搜索，直到找到目标。
4.4.2局部束搜索局部束搜索也是一个迭代算法，其步骤是：开始时随机选取k个状态；再生成k个状态的全部后继，如果这些后继中存在一个局部最优解，则搜索停止；否则算法将从选取最优的k个作为下一个状态，重复上述步骤。
在局部束搜索中，有用的信息能够在搜索线程之间传递，因此还可以进行并发处理。
局部束搜索会很快地集中在状态空间的某个小区域内，使得搜索代价比爬山法还要高。
随机数搜索是局部束搜索的改进版，它模仿随机爬山法，有助于缓解上述问题。
4.5元启发式方法 4.5.1禁忌搜索禁忌搜索是一种元启发式算法，用于解决组合优化问题。它根据所指定的禁忌条件，通过局部搜索或邻域搜索过程，从一个潜在的解到改进的相邻解之间反复移动，直到满足某些停止条件。在搜索过程中，该算法使用一种被称为禁忌表的数据结构，将每一步中找到的局部最优解暂时放入禁忌表中，以期获得更大的搜索空间。
4.5.2模拟退火算法模拟退火的灵感来自于退火技术，是一种求得近似全局最优解的概率方法。具体而言，模拟退火是在大型空间中搜索近似全局最优解的元启发式方法，通常用于离散的搜索空间。
模拟退火算法的核心思想可以概括为：它从剧烈的抖动开始（即使之达到很高的问题），然后逐步减少抖动的强度（即逐步降低温蒂）。
模拟退火算法的具体步骤是：首先使用启发式方法随机生成一个初始解；然后再随机生成一个相邻解，这是初始解的变异；若相邻解具有较低的代价则语义接受，而具有较高的代价则以概率P接受；当解的值低于阈值，或者已达到迭代最大次数时，则停止操作。
4.5.3遗传算法遗传算法是一种模仿自然选择过程的启发式搜索算法，该算法可看作是随机束搜索的变体，不同之处在于其后继节点是两个状态的组合而不是由单一状态所生成，其处理过程相当于有性繁殖，而不是无性繁殖。
遗传算法开始时随机生成k个状态，称其为种群，其中，每个状态称为个体。
4.6群体智能方法代表性的群体智能算法有：
4.6.1蚁群优化算法蚁群优化算法是一种解决计算问题的概率技术，可以用于发现一个图上的最佳路径。
蚁群优化算法是在搜索路径上积累虚拟的“嗅迹”。开始时某个“蚂蚁”选择一个节点作为初始节点，然后根据路径上嗅迹的量选择一条路径；具有较多嗅迹的路径则具有较高的被选择的概率；重复直到更多的蚂蚁在每个循环中都选择同一个路径。
4.6.2粒子群优化算法粒子群优化算法通过若干例子构成一个围绕搜索空间移动的群体来寻找最优解，搜索空间的每个粒子和其他粒子的经验调整其“飞行”。
人工神经网络是一种大脑神经网络的简单模拟，而反向传播算法是训练人工神经网络的方法之一。为了改进人工神经网络的训练方式，已经有大量的应用进化计算的方法，其中包括若干篇采用粒子群优化来代替反向传播算法的论文。其结果表明，粒子群优化算法是一种训练人工神经网络的有效方法，它的训练时间短，并且在多数情况下取得了较好的结果。
4.7小结本章介绍了三种优化问题求解的方式，分别是局部搜索、元启发式和群体智能方法。
局部搜索采用局部最优的思想去寻找一个局部最优解，并在内存中保持较少的节点而不是路径：其中爬山法仅保持一个节点的轨迹；局部束搜索算法保持k个状态的轨迹而不是仅仅一个。
元启发式是基于客观约束条件或模拟自然现象而构建的一类通用的优化算法框架，其中：禁忌搜索采用一种带约束的邻域搜索过程；模拟退火算法是一种在大搜索空间逼近全局最优解的方法；遗传算法模仿自然选择的进化过程。
群体智能是受群体智能的启发而产生的优化方法，其中：蚁群优化算法模拟蚂蚁觅食过程中的最短路径行为，可用于寻找图的最优路径；粒子群优化算法则通过若干粒子构成一个围绕搜索空间移动的群体来寻找最优解。