人工智能的发展历程
目录
一政策
二.主要发展阶段
三.60年历程关键事件
一.政策
为推动我国人工智能规模化应用，全面提升产业发展智能化水平，2017年7月20日，国务院印发了《新一代人工智能发展规划》，并将在制造、金融、农业、物流、商务、家居等重点行业和领域开展人工智能应用试点示范工作。就金融行业而言，《规划》指出，要在智能金融方面，建立金融大数据系统，提升金融多媒体数据处理与理解能力；创新智能金融产品和服务，发展金融新业态；鼓励金融行业应用智能客服、智能监控等技术和装备；建立金融风险智能预警与防控系统。
二.主要发展阶段
人工智能的起源：人工智能在五六十年代时正式提出，1950年，一位名叫马文·明斯基(后被人称为“人工智能之父”)的大四学生与他的同学邓恩·埃德蒙一起，建造了世界上第一台神经网络计算机。这也被看做是人工智能的一个起点。巧合的是，同样是在1950年，被称为“计算机之父”的阿兰·图灵提出了一个举世瞩目的想法——图灵测试。按照图灵的设想：如果一台机器能够与人类开展对话而不能被辨别出机器身份，那么这台机器就具有智能。而就在这一年，图灵还大胆预言了真正具备智能机器的可行性。1956年，在由达特茅斯学院举办的一次会议上，计算机专家约翰·麦卡锡提出了“人工智能”一词。后来，这被人们看做是人工智能正式诞生的标志。就在这次会议后不久，麦卡锡从达特茅斯搬到了MIT。同年，明斯基也搬到了这里，之后两人共同创建了世界上第一座人工智能实验室——MITAILAB实验室。值得追的是，茅斯会议正式确立了AI这一术语，并且开始从学术角度对AI展开了严肃而精专的研究。在那之后不久，最早的一批人工智能学者和技术开始涌现。达特茅斯会议被广泛认为是人工智能诞生的标志，从此人工智能走上了快速发展的道路。
如果你想要系统地学习人工智能，那么推荐你去看床长人工智能教程。非常棒的大神之作，教程不仅通俗易懂，而且很风趣幽默。点击这里可以查看教程。
人工智能的第一次高峰：在1956年的这次会议之后，人工智能迎来了属于它的第一段HappyTime。在这段长达十余年的时间里，计算机被广泛应用于数学和自然语言领域，用来解决代数、几何和英语问题。这让很多研究学者看到了机器向人工智能发展的信心。甚至在当时，有很多学者认为：“二十年内，机器将能完成人能做到的一切。” 人工智能第一次低谷： 70年代，人工智能进入了一段痛苦而艰难岁月。由于科研人员在人工智能的研究中对项目难度预估不足，不仅导致与美国国防高级研究计划署的合作计划失败，还让大家对人工智能的前景蒙上了一层阴影。与此同时，社会舆论的压力也开始慢慢压向人工智能这边,导致很多研究经费被转移到了其他项目上。 在当时，人工智能面临的技术瓶颈主要是三个方面，第一,计算机性能不足，导致早期很多程序无法在人工智能领域得到应用；第二，问题的复杂性，早期人工智能程序主要是解决特定的问题，因为特定的问题对象少，复杂性低，可一旦问题上升维度，程序立马就不堪重负了；第三，数据量严重缺失，在当时不可能找到足够大的数据库来支撑程序进行深度学习，这很容易导致机器无法读取足够量的数据进行智能化。 因此，人工智能项目停滞不前，但却让一些人有机可乘,1973年Lighthill针对英国AI研究状况的报告。批评了AI在实现“宏伟目标”上的失败。由此，人工智能遭遇了长达6年的科研深渊。 **人工智能的崛起：**1980年，卡内基梅隆大学为数字设备公司设计了一套名为XCON的“专家系统”。这是一种，采用人工智能程序的系统，可以简单的理解为“知识库+推理机”的组合，XCON是一套具有完整专业知识和经验的计算机智能系统。这套系统在1986年之前能为公司每年节省下来超过四千美元经费。有了这种商业模式后，衍生出了像Symbolics、LispMachines等和IntelliCorp、Aion等这样的硬件，软件公司。在这个时期，仅专家系统产业的价值就高达5亿美元。 人工智能第二次低谷：可怜的是，命运的车轮再一次碾过人工智能，让其回到原点。仅仅在维持了7年之后，这个曾经轰动一时的人工智能系统就宣告结束历史进程。到1987年时，苹果和IBM公司生产的台式机性能都超过了Symbolics等厂商生产的通用计算机。从此，专家系统风光不再。 人工智能再次崛起：上世纪九十年代中期开始，随着AI技术尤其是神经网络技术的逐步发展，以及人们对AI开始抱有客观理性的认知，人工智能技术开始进入平稳发展时期。1997年5月11日，IBM的计算机系统“深蓝”战胜了国际象棋世界冠军卡斯帕罗夫，又一次在公众领域引发了现象级的AI话题讨论。这是人工智能发展的一个重要里程。 2006年，Hinton在神经网络的深度学习领域取得突破，人类又一次看到机器赶超人类的希望,也是标志性的技术进步。 【注】GeoffreyHinton的论文《Afastlearningalgorithmfordeepbeliefnets》链接地址 在最近三年引爆了一场商业革命。谷歌、微软、百度等互联网巨头，还有众多的初创科技公司，纷纷加入人工智能产品的战场，掀起又一轮的智能化狂潮，而且随着技术的日趋成熟和大众的广泛接受，这一次狂潮也许会架起一座现代文明与未来文明的桥梁。
三.60年历程关键事件
时至今日，人工智能发展日新月异，此刻AI已经走出实验室，离开棋盘，已通过智能客服、智能医生、智能家电等服务场景在诸多行业进行深入而广泛的应用。可以说，AI正在全面进入我们的日常生活，属于未来的力量正席卷而来。让我们来回顾下人工智能走过的曲折发展的60年历程中的一些关键事件：
1946年，全球第一台通用计算机ENIAC诞生。它最初是为美军作战研制，每秒能完成5000次加法，400次乘法等运算。ENIAC为人工智能的研究提供了物质基础。
1950年，艾伦·图灵提出“图灵测试”。如果电脑能在5分钟内回答由人类测试者提出的一些列问题，且其超过30%的回答让测试者误认为是人类所答，则通过测试。这边论文语言了创造出具有真正智能的机器的可能性。
1956年，“人工智能”概念首次提出。在美国达特茅斯大学举行的一场为其两个月的讨论会上，“人工智能”概念首次被提出。
1959年，首台工业机器人诞生。美国发明家乔治·德沃尔与约瑟夫·英格伯格发明了首台工业机器人，该机器人借助计算机读取示教存储程序和信息，发出指令控制一台多自由度的机械。它对外界环境没有感知。
1964年，首台聊天机器人诞生。美国麻省理工学院AI实验室的约瑟夫·魏岑鲍姆教授开发了ELIZA聊天机器人，实现了计算机与人通过文本来交流。这是人工智能研究的一个重要方面。不过，它只是用符合语法的方式将问题复述一遍。
1965年，专家系统首次亮相。美国科学家爱德华·费根鲍姆等研制出化学分析专家系统程序DENDRAL。它能够分析实验数据来判断未知化合物的分子结构。
1968年，首台人工智能机器人诞生。美国斯坦福研究所（SRI）研发的机器人Shakey，能够自主感知、分析环境、规划行为并执行任务，可以柑橘人的指令发现并抓取积木。这种机器人拥有类似人的感觉，如触觉、听觉等。
1970年，能够分析语义、理解语言的系统诞生。美国斯坦福大学计算机教授T·维诺格拉德开发的人机对话系统SHRDLU，能分析指令，比如理解语义、解释不明确的句子、并通过虚拟方块操作来完成任务。由于它能够正确理解语言，被视为人工智能研究的一次巨大成功。
1976年，专家系统广泛使用。美国斯坦福大学肖特里夫等人发布的医疗咨询系统MYCIN，可用于对传染性血液病患诊断。这一时期还陆续研制出了用于生产制造、财务会计、金融等个领域的专家系统。
1980年，专家系统商业化。美国卡耐基·梅隆大学为DEC公司制造出XCON专家系统，帮助DEC公司每年节约4000万美元左右的费用，特别是在决策方面能提供有价值的内容。
1981年，第五代计算机项目研发。日本率先拨款支持，目标是制造出能够与人对话、翻译语言、解释图像，并能像人一样推理的机器。随后，英美等国也开始为AI和信息技术领域的研究提供大量资金。
1984年，大百科全书（Cyc）项目。Cyc项目试图将人类拥有的所有一般性知识都输入计算机，建立一个巨型数据库，并在此基础上实现知识推理，它的目标是让人工智能的应用能够以类似人类推理的方式工作，成为人工智能领域的一个全新研发方向。
1997年，“深蓝”战胜国际象棋世界冠军。IBM公司的国际象棋电脑深蓝DeepBlue战胜了国际象棋世界冠军卡斯帕罗夫。它的运算速度为每秒2亿步棋，并存有70万份大师对战的棋局数据，可搜寻并估计随后的12步棋。
2011年，Watson参加智力问答节目。IBM开发的人工智能程序“沃森”（Watson）参加了一档智力问答节目并战胜了两位人类冠军。沃森存储了2亿页数据，能够将于问题相关的关键词从看似相关的答案中抽取出来。这一人工智能程序已被IBM广泛应用于医疗诊断领域。
2016~2017年，AlphaGo战胜围棋冠军。AlphaGo是由GoogleDeepMind开发的人工智能围棋程序，具有自我学习能力。它能够搜集大量围棋对弈数据和名人棋谱，学习并模仿人类下棋。DeepMind已进军医疗保健等领域。
2017年，深度学习大热。AlphaGoZero（第四代AlphaGo）在无任何数据输入的情况下，开始自学围棋3天后便以100:0横扫了第二版本的“旧狗”，学习40天后又战胜了在人类高手看来不可企及的第三个版本“大师”。
人工智能与计算机发展史
人工智能的由来人工智能的发展得益于信息化技术，人工智能也就是信息化发展的新阶段，是新一轮科技革命和产业变革的前沿领域，是培育新动能的重要方向。
谈到信息化，我们应该谈到两个人及其理论，首先想到了“现代计算机之父”—冯.诺依曼，他在二十世纪四十年代，设计了经典的冯.诺依曼结构，就是将软件命令和数据都存在一起，把程序本身当做数据来对待，整个设备由中央处理器，内存，硬盘，输入接口，输出设备组合而成。今天，我们仍然采用这样的结构开发人工智能软件。
其次就是“信息论之父”—香农（ClaudeShannon），信息是个很抽象的概念，很难量化描述，直到1948年，美国的数学家香农提出了“信息熵”的概念，才解决了对信息的量化、度量问题。信息熵可理解成某种特定信息的出现概率，在机器学习、深度学习、强化学习中得到大量的应用。
人工智能(ArtificialIntelligence)概念，是在1956年达特茅斯（Dartmouth）学会上提出的。达特茅斯会议主要发起人有当时在达特茅斯学院数学系任教的麦卡锡（JohnMcCarthy）及在哈佛大学任教的明斯基（MarvinMinsky）。后来，麦卡锡被称为“人工智能之父”，也是Lisp语言的发明者，马文．明斯基（MarvinMinsky）是人工神经网络（ANNs）领域的早期贡献者，以及重要的参会者还有信息论之父香农等等。英国科学家图灵（AlanTuring）做给出了最早的智慧定义。在图灵逝世14年后，他的论文原稿《智能机器》才被大家所发现，在《科学美国人》杂志上发表，图灵也被称为“人工智能之父”。
现代人工智能标志性的事件是1997年5月，在超级电脑“深蓝”在国际象棋上打败国际象棋冠军卡斯特洛夫，以及这二十年之后，2016年3月人工智能AlphaGO才在围棋上击败了李世石。“深蓝”以暴力穷举为基础的特定用途人工智能，而AlphaGo是几乎没有特定领域知识的、基于深度学习、泛化的人工智能。“深蓝”是以超级计算机为代表的一个象征性的人工智能里程碑，而AlphaGo则更具实用意义，接近实用的人工智能。
中间这二十年，是计算机硬件、软件飞速发展的二十年，虽然是人工智能沉寂了，但是，人们对人工智能的研究没有止步。人工智能随计算机技术和信息化技术的发展，大数据、机器学习、深度学习等人工智能技术也得到快速发展。可以说，没有计算机软硬件的飞速发展，也很难有今天的人工智能风口浪尖。
自从2016年3月，AlphaGo在围棋上击败李世石，人工智能迎来发展新的高峰，政府、企业、科研机构纷纷布局人工智能，例如大学开设人工智能课程，这将会使人工智能产业不断向前发展，并与传统产业结合，同时我们将会迎接更多的人工智能产品走进我们的生活。
什么是人工智能？1891年，德国解剖学家瓦尔德尔（WilhelmWaldeyer）提出了“神经元学说”，人们认为人脑中约有上千亿个神经元，以及这些神经元被上百万亿的突触链接，从而形成庞大、复杂的神经网络（neuralnetwork）。思维学认为，人的大脑的思维有三种基本方式：逻辑思维、形象思维和灵感思维。其中逻辑思维是根据逻辑规则进行推理的过程，这一过程已经可以由计算机代替完成。而形象思维是将分布式存储的信息综合起来想出解决问题的方法。这种思维方式有以下两个特点：一是信息在神经元上的分布存储，二是神经元之间的同时相互作用并做出决策的过程。人工智能（简称AI,ArtificialIntelligence）就是模拟这一种形象思维方式。
通俗的按计算机技术来说，人工智能就是使用计算机及相关硬件、软件系统、程序及数学算法集成为统一整体，来模拟人类感知、思维和行为的方式，来实现目前必须借助人类智慧才能实现的工作。从应用范围层面来说，人工智能有狭义和广义之分：狭义的人工智能是指其主要是通过软件和算法的设计及优化，模拟人类的智能行为和思维方式，在特定领域完成单一任务，比如现阶段的照片识别、语音处理，自动驾驶，“AlphaGo”就属于这一个范畴。而广义的人工智能则是指是包括硬件发展在内进一步模拟人脑，可以跨领域解决不同的问题，具有像人一样的推理和思考能力。
人工智能发展历史最早的神经网络的思想起源于美国心理学家麦卡洛克（WarrenMcCullock）和数学家皮特斯（WalterPitts）在1943年首次提出的MCP人工神经元模型，一个简化版大脑细胞的概念，当时是希望能够用计算机来模拟人的神经元反应的过程。在同时代，冯.诺依曼设计出了经典计算机结构。1950年，图灵发表了题为《机器能思考吗》的论文，在论文里提出了著名的“图灵测试”。图灵测试由计算机、被测试的人和主持试验的人组成。人们这些研究，终于在1956年达特茅斯（Dartmouth）学会上，由麦卡锡等人提出了”人工智能“。
上图人物分别是图灵（左）和麦卡锡（右）。
1、人工智能起步阶段（1956—1980）
最早的神经网络的思想起源于1943年的MCP人工神经元模型，当时是希望能够用计算机来模拟人的神经元反应的过程，该模型将神经元简化为了三个过程：输入信号线性加权，求和，非线性激活（阈值法）。
1958年罗森.布拉特（Rosenblatt）发明的感知器（perceptron）算法。该算法使用MCP模型对输入的多维数据进行二分类，且能够使用梯度下降法从训练样本中自动学习更新权值。1962年，该方法被证明为能够收敛，理论与实践效果引起第一次神经网络的浪潮。1969年，美国数学家及人工智能先驱Minsky在其著作中证明了感知器本质上是一种线性模型，只能处理线性分类问题，就连最简单的XOR（亦或）问题都无法正确分类。这等于直接宣判了感知器的死刑，神经网络的研究也陷入了近20年的停滞。
2、专家系统阶段（1980—1990）
1965年在美国国家航空航天局要求下，斯坦福大学成功研制了DENRAL专家系统，到20世纪70年代中期，专家系统已逐步成熟起来，专家系统时代最成功的案例是DEC的专家配置系统XCON。DEC是PC时代来临之前的宠儿，他们用小型机冲击IBM。当客户订购DEC的VAX系列计算机时，XCON可以按照需求自动配置零部件。从1980年投入使用到1986年，XCON一共处理了八万个订单。
第一次打破非线性诅咒的是深度学习之父——弗里.辛顿（GeoffregHinton），在1986年发明了适用于多层感知器（MLP）的BP算法，并采用Sigmoid进行非线性映射，有效解决了非线性分类和学习的问题。该方法引起了神经网络的第二次热潮。
1989年，RobertHecht-Nielsen证明了MLP的万能逼近定理，即对于任何闭区间内的一个连续函数f，都可以用含有一个隐含层的BP网络来逼近该定理的发现极大的鼓舞了神经网络的研究人员。同年，LeCun发明了卷积神经网络-LeNet，并将其用于数字识别，且取得了较好的成绩，不过当时并没有引起足够的注意。
虽然，1997年，LSTM模型被发明，尽管该模型在序列建模上的特性非常突出，但由于正处于NN的下坡期，也没有引起足够的重视。
3、深度学习阶段（2000—至今）
1986年，弗里·辛顿提出了一种适用于多层感知器的反向传播算法——BP算法，让人工神经网络再次的引起了人们广泛的关注。同时期，计算机的计算能力得到快速发展，特别是进入二十一世纪，计算机软件、硬件的快速发展，为神经网络，特别是深度神经网络的研究提供了算力资源，陆续出现了CNN、RNN。
在2006年深度学习理论被正式提出后，卷积神经网络的表征学习能力得到了关注，并随着数值计算设备的更新开始快速发展。自2012年的AlexNet开始，卷积神经网络多次成为ImageNet大规模视觉识别竞赛（ImageNetLargeScaleVisualRecognitionChallenge,ILSVRC）的优胜算法，包括2013年的ZFNet、2014年的VGGNet、GoogLeNet和2015年的ResNet。
其中，随着2008年大数据时代的到来，由于数据量增大，神经网络深度加深等情况越来越普遍，计算机GPU的重要性被突显出来，拥有CPU的计算机，其算力，特别是图像处理能力特到大幅的提升。大数据、机器学习的发展，人工智能爆发式的发展起来。
2017年7月20日，国务院印发《新一代人工智能发展规划》（以下简称规划），该规划提出了面向2030年我国新一代人工智能发展的指导思想、战略目标、重点任务和保障措施，部署构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国。
随着人工智能落地、推广，各行各业急需大量人工智能研发技术人员，扩大人工智能在我们生活中的应用，以及人工智能与工业生产广泛的融合。
人工智能知识体系从机器学习和IT的视角来看，人工智能很大一部分是数据治理与挖掘，机器学习属于数据治理与挖掘的子集，机器学习又包括深度学习、强化学习子集。如下图所示。
机器学习“机器学习”的概念提出者是亚瑟.塞缪尔于1952年提出来的，“使计算机在没有明确编程的情况下进行学习”。今天，机器学习是专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，机器学习是对能通过经验自动改进的计算机算法的研究，
什么是机器学习？机器学习（简称ML,MachineLearning）是对于某给定的任务T，在合理的性能度量方案P的前提下，某计算机程序可以自主学习任务T的经验E；随着提供合适、优质、大量的经验E，该程序对于任务T的性能逐步提高。
这里最重要的是机器学习的对象：*任务Task,T，一个或者多个*经验Experience,E*性能Performance,P
基于人工智能来描述，机器学习是人工智能的一个分支。我们使用计算机设计一个系统，使它能够根据提供的训练数据按照一定的方式来学习；随着训练次数的增加，该系统可以在性能上不断学习和改进；通过参数优化的学习模型，能够用于预测相关问题的输出。
机器学习是实现人工智能的一种途径，它和数据挖掘有一定的相似性，也是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。对比于数据挖掘从大数据之间找相互特性而言，机器学习更加注重算法的设计，让计算机能够白动地从数据中“学习”规律，并利用规律对未知数据进行预测。因为学习算法涉及了大量的统计学理论，与统计推断联系尤为紧密，所以也被称为统计学习方法。
机器学习为数据挖掘提供了理论方法，而数据挖掘技术是机器学习技术的一个应用场景。数据挖掘一般是指从大量的数据中通过算法搜索、分析隐藏于其中信息的过程。数据挖掘与机器学习关系上像是机器学习和人工智能的基础，它的主要目的是从各种各样的数据源中，按需求提取出信息，然后将这些信息整合，发现新的的模式和内在关系。
机器学习可以分为以下六个大类：（1）监督学习：从给定的训练数据集中学习出-一个函数，当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求是输人和输出，也可以说是特征和目标。训练集中的目标是由人标注的。常见的监督学习算法包括回归与分类。（2）无监督学习：无监督学习与监督学习相比，训练集没有人为标注的结果。常见的无监督学习算法有聚类等。（3）半监督学习：这是一"种介于监督学习与无监督学习之间的方法。（4）迁移学习：将已经训练好的模型参数迁移到新的模型来帮助新模型训练数据集。（5）深度学习：的学名又称“深层神经网络”（deepneuralnetwork），是从人工神经网络模型演变而来，其对应的是“浅层（单层或双层）神经网络”。（6）强化学习：通过观察周围环境来学习。每个动作都会对环境有所影响，学习对象根据观察到的周围环境的反馈来做出判断。
传统的机器学习算法有以下几种：线性回归模型、logistic回归模型、k-临近算法、决策树、随机森林、支持向量机、人工神经网络、EM算法、概率图模型等。
深度学习什么是深度学习？深度学习（简称DL,DeepLearning）是机器学习领域中一个分支，研究人工神经网络方向，它被引入机器学习使其更接近于最初的目标——人工智能。
深度学习是基于人工神经网络学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像、行为和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别并处理文字、图像和声音等数据。
深度学习在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、知识图谱、推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。
从结构上来说，“深度学习”的学名又称“深层神经网络”（deepneuralnetwork），是从人工神经网络模型演变而来，其对应的是“浅层（单层或双层）神经网络”。由于这一类模型一般采用计算机科学中的网络图模型来直观表达，“深度”即是指网络图模型的层数以及每一层的节点数量。
深度学习的特征深度学习的方式以识别狗和猫为例，如果是传统机器学习的方法，我们会首先定义一些特征，比如胡须，耳朵、鼻子、嘴巴的特征等等。这样，我们首先要确定相应的“面部特征”作为我们的机器学习的特征，以此来对我们的对象进行分类识别。
而现在，深度学习的方法则更进一步。深度学习自动地找出这个分类问题所需要的重要特征！由于这些特征不被人们所了解，也就是很难解释。而传统机器学习则需要我们人工地给出特征！
深度学习的优点在大数据的前提下，深度学习提出了一种让计算机自动学习模式特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性。而目前以深度学习为核心的某些机器学习应用，在满足特定条件的应用场景下，已经达到了超越现有算法的识别或分类性能。
深度学习的缺点深度学习虽然能够自动的学习模式的特征，并可以达到很好的识别精度，但这也恰恰是深度学习存在的一个缺点：也就是说在只能提供有限数据量的应用场景下，深度学习算法便不能够对数据的规律进行准确的归类和总结，因此在识别效果上可能不如一些已有的简单算法。另外，由于深度学习中，图模型的复杂化导致了这个算法的时间复杂度急剧提升，为了保证算法的实时性，需要更高的并行编程技巧以及更好更多的硬件支持（比如GPU阵列）。所以，目前也只有一些经济实力比较强大的科研机构或企业，才能够用深度学习算法，来做一些比较前沿而又实用的应用。
深度学习的局限从功能上来说，目前深度学习的应用集中于人工智能中的模式识别，如图像／语音识别等。但是在人脑中，识别功能仅仅是其中一小部分，甚至不是核心部分。人脑的核心功能在于学习和运用。目前而言，深度学习仅仅能对特定条件下的信息进行处理，从而达到特定的目的。导致深度学习在功能上趋近与大脑的原因，很大程度上是由于目前深度学习中的神经元模型和突触模型还没有突破传统模型的限制。
强化学习强化学习任务通常使用马尔可夫决策过程（MarkovDecisionProcess，简称MDP）来描述，具体而言：机器处在一个环境中，每个状态为机器对当前环境的感知；机器只能通过动作来影响环境，当机器执行一个动作后，会使得环境按某种概率转移到另一个状态；同时，环境会根据潜在的奖赏函数反馈给机器一个奖赏。综合而言，强化学习主要包含四个要素：状态、动作、转移概率以及奖赏函数。————周志华《机器学习》
人工智能的未来新一代人工智能AI2.0，AI2.0时代大数据人工智能具体表现为：从浅层计算到深度神经推理；从单纯依赖于数据驱动的模型到数据驱动与知识引导相结合学习；从领域任务驱动智能到更为通用条件下的强人工智能（从经验中学习）。下一代人工智能（AI2.0）将改变计算本身，将大数据转变为知识，以支持人类社会更好决策。