李彦宏：AI发展经历三大历史阶段
原标题：李彦宏：AI发展经历三大历史阶段7月9日，2020世界人工智能大会云端峰会开幕式在上海世博中心金厅拉开帷幕。百度公司创始人、董事长兼首席执行官李彦宏出席并发表“人工智能新起点：开放平台及新型基础设施”的主题演讲。
李彦宏表示，AI发展会经历三个大历史阶段。第一个阶段叫做技术的智能化。人工智能在60多年前被提出，近十年来算法有着快速的迭代和创新，通过云计算、大数据这些赋能已经逐步发展成为新的技术平台，但是人工智能的科学家们主要的努力都集中在概念的导入、技术的探索，并没有演变成为一种产业或者经济现象。
第二阶段叫做经济的智能化。随着移动互联网的发展，人类产生的有效数据指数级上升，云计算的发展则提供了海量计算所需要的能力，加上经济和社会的普遍数字化和互联网化所创造的基础环境，人工智能终于可以开始在广泛的经济领域施展魔力。这个阶段又可以分为上下两个阶段：前半段，人工智能的发展主要是围绕通用能力的开发和作为一种资源的AI能力平台化，以及智能搜索和信息流的智能推荐这两个标志性行业应用；在后半段，人类的人工智能可以开始全面产业化，就是行业应用和商业化的全面普及。
第三个阶段是社会的智能化。人工智能将从经济领域渗透到更加广泛的社会领域，全社会和全球范围内智能协作与制度的创新将是这个阶段的主要特点，最终的协作和变革又会对经济产生更加深远的影响，人类终将进入智能社会。
来源：Donews返回搜狐，查看更多
责任编辑：人工智能、机器学习、神经网络和深度学习的发展历程
“学习任何领域，了解总是第一步，而认识该领域的发展历程是了解一个领域十分有效的方法。”这一期跟大家分享人工智能、机器学习、神经网络和深度学习的发展历程。
一、人工智能的发展历程
人工智能从诞生至今，经历了一次又一次的繁荣与低谷，其发展历程大体上可以分为推理期、知识期和学习期。
人工智能的发展经历了很长时间的历史积淀，早在1950年，阿兰·图灵就提出了图灵测试机，大意是将人和机器放在一个小黑屋里与屋外的人对话，如果屋外的人分不清对话者是人类还是机器，那么这台机器就拥有像人一样的智能。
1、推理期
1956年达特茅斯会议之后的十几年里人工智能迎来了第一次高峰，大部分早期研究员都通过人类的经验，基于逻辑或事实归纳出来一些规则，然后通过编写程序来让计算机完成一个任务。
在这段长达十余年的时间里，计算机被广泛应用于数学和自然语言领域，用来解决代数、几何和英语问题。这让很多研究者看到了机器向人类智能发展的希望，比如1959年，第一台工业机器人诞生；1964年，首台聊天机器人也诞生了。甚至在当时，有很多学者认为：“二十年内，机器将能完成人能做到的一切。”
但随着研究的深入，研究者意识到这些推理规则过于简单，对项目难度评估不够，人工智能的研究开始陷入低谷还让大家对人工智能的前景蒙上了一层阴影。与此同时，社会舆论的压力也开始慢慢压向人工智能这把，导致很多研究经费被转移到了其他项目上。
在当时，人工智能面临的技术瓶颈主要是三个方面。第一，计算机性能不足，导致早期很多程序无法在人工智能领域得到应用；第二，问题的复杂性，早期人工智能程序主要是解决特定的问题，因为特定的问题对象少，复杂性低，可一旦问题上升维度，程序立马就不堪重负了；第三，数据量严重缺水，在当时不可能找到足够大的数据库来支撑程序进行深度的学习，这很容易导致机器无法获取足够量的数据进行智能化。
2、知识期
到了70年代，研究者意识到知识对于人工智能系统的重要性。特别是对于一些复杂的任务，需要专家来构建知识库。在这一时期，出现了各种各样的专家系统，并在特定的专业领域取得了很多成果。
专家系统可以简单理解为“知识库＋推理机”，是一类具有专门知识和经验的计算机智能程序系统。专家系统一般采用知识表示和知识推理等技术来完成通常由相关领域专家才能解决的复杂问题，因此专家系统也被称为基于知识的系统。
1980年，卡内基梅隆大学设计出了第一套专家系统—XCON。从这时起，机器学习开始兴趣，各种专家系统开始被人们广泛使用。不幸的是，随着专家系统的应用领域越来越广，问题也逐渐暴露了出来。专家系统应用有限，且经常在常识性问题上出错，因此人工智能迎来了第二个寒冬。
3、学习期
对于人类的很多智能行为比如语言理解、图像理解等，我们很难知道其中的原理，也无法描述这些智能行为背后的“知识”。也就导致了很难通过知识和推理的方式来实现这些行为的智能系统。为了解决这类问题，研究者开始重点转向让计算机从数据中自己学习。事实上，“学习”本身也是一种智能行为，从人工智能的萌芽时期开始，就有一些研究者尝试让机器来自动学习，即机器学习（MachineLearning）。
1997年，IBM公司的“深蓝”计算机战胜了国际象棋世界冠军卡斯帕罗夫，这成为了人工智能史上一个重要里程碑。之后，人工智能开始平稳向上的发展。
2006年，李飞飞教授意识到专家学者在研究算法的过程中忽视了“数据”的重要性，于是开始带头构建大型图像数据集—ImageNet，图像识别大赛由此拉开帷幕。同年，由于人工神经网络的不断发展，“深度学习”的概念被提出，之后，深度神经网络和卷积神经网络开始不断映入人们的眼帘。深度学习的发展又一次掀起人工智能的研究狂潮，这一狂潮至今仍在持续。
二、机器学习的发展历程
机器学习实际上已经存在了几十年或者也可以认为存在了几个世纪。追溯到17世纪，贝叶斯、拉普拉斯关于最小二乘法的推导和马尔科夫链，这些构成了机器学习广泛使用的工具和基础。
自1950年阿兰·图灵提出图灵测试机，到21世纪有深度学习的实际应用，机器学习有了很大的进展。从上世纪50年代研究机器学习以来，不同时期的研究途径和目标并不相同，可以划分为四个阶段。
1、知识推理期
知识推理期起始于20世纪50年代中期，这时候人们以为只要能赋予机器逻辑推理能力，机器就能具有智能。这一阶段的代表性工作有赫伯特·西蒙和艾伦·纽厄尔实现的自动定理证明系统LogicTherise证明了著名数学家罗素和怀特海的名著—《数学原理》中的全部52条定理，并且其中一条定理甚至比罗素和怀特海证明得更巧妙。
然而随着研究向前发展，人们逐渐认识到，仅具有逻辑推理能力是远远实现不了人工智能的，要使机器具有智能，就必须设法使机器具有知识。
2、知识工程期
从20世纪70年代中期开始，人工智能进入知识工程期。这一时期大量专家系统问世，在很多应用领域取得了大量成果，费根鲍姆作为知识工程之父在1994年获得了图灵奖。由于人工无法将所有知识都总结出来教给计算机系统，所以这一阶段的人工智能面临知识获取的瓶颈。
这个时期主要研究将各个领域的知识植入到系统里，在本阶段的目的是通过机器模拟人类学习的过程。同时还采用了图结构及其逻辑结构方面的知识进行系统描述，在这一研究阶段，主要是用各种符号来表示机器语言。在此期间，人们从学习单个概念扩展到学习多个概念，探索不同的学习策略和学习方法，且在本阶段已开始把学习系统与各种应用结合起来，并取得了很大的成功。同时，专家系统在知识获取方面的需求也极大地刺激了机器学习的研究和发展。
3、归纳学习期
1980年夏，在美国卡耐基梅隆大学举行了第一届机器学习研讨会（IWML)；1983年Tioga出版社出版了R.S.Michalski、J.G.Carbonell和T.Mitchell主编的《机器学习：一种人工智能途径》，对当时的机器学习研究工作进行了总结；1986年，第一本机器学习专业专刊MachineLearning创刊；1989年，人工智能领域的权威期刊ArtificialIntelligence出版机器学习专辑，刊发了当时一些比较活跃的研究工作。总的来看，20世纪80年代是机器学习成为一个独立的学科领域、各种机器学习技术百花初绽的时期。
20世纪80年代以来，被研究最多、应用最广的是“从样例中学习”，即从训练样例中归纳出学习结果，也就是广义的归纳学习，它涵盖了监督学习和无监督学习等。
在20世纪80年代，“从样例中学习”的一大主流是符号主义学习，其代表包括决策树和基于逻辑的学习。典型的决策树学习以信息论为基础，以信息熵的最小化为目标，直接模拟了人类对概念进行判定的树形流程；基于逻辑的学习的著名代表是归纳逻辑程序设计，可以看做机器学习与逻辑程序设计的交叉，它使用一阶逻辑（即谓词逻辑）来进行知识表示，通过修改和扩充逻辑表达式（例如Prolog表达式）来完成对数据的归纳。符号主义学习占据主流地位与整个人工智能领域的发展历程是分不开的。
20世纪90年代中期之前，“从样例中学习”的另一主流技术是基于神经网络的连接主义学习。连接主义学习在20世纪50年代取得了大发展，但因为早期的很多人工智能研究者对符号表示有特别偏爱，所以当时连接主义的研究未被纳入人工智能主流研究范畴。1983年,霍普菲尔德利用神经网络求解“流动推销员问题”这个著名的NP难题取得重大进展，使得连接主义重新受到人们关注。1986年，著名的BP算法诞生，产生了深远的影响。
20世纪90年代中期，统计学习出现并迅速占据主流舞台，代表性技术是支持向量机（SVM）以及更一般的“核方法”。这方面的研究早在20世纪60年代就已经开始，统计学习理论在那个时期也已打下了基础，但直到90年代中期统计学习才开始成为机器学习的主流。一方面是由于有效的支持向量机算法在90年代初才被提出，其优越性能到90年代中期在文本分类应用中才得以显现；另一方面，正是在连接主义学习技术的局限性凸显之后，人们才把目光转向了以统计学习理论为直接支撑的统计学习技术。在支持向量机被普遍接受后，核技巧被人们用到了机器学习的几乎每一个角落，核方法也逐渐成为机器学习的基本内容之一。
4、深度学习
21世纪初，连接主义学习又卷土重来，掀起了以“深度学习”为名的热潮。2006年，深度学习概念被提出。2007年，希尔顿发表了深度信念网络论文，本吉奥等人发表了逐层训练方法的论文—《GreedyLay-WiseTrainingofDeepNetworks》，扬·勒丘恩团队发表了《EfficientLearningofSparseRepresentationswithanEnergy-BasedModel》论文，这些时间标志着人工智能正式进入了深层神经网络的实践阶段。同时，云计算和GPU并行计算为深度学习的发展提供了基础保障，特别是最近几年，机器学习在各个领域都取得了突飞猛进的发展。
新的机器学习算法面临的主要问题更加复杂，机器学习的应用领域从广度向深度发展，这对模型训练和应用都提出了更高的要求。随着人工智能的发展，冯·诺依曼式的有限状态机和理论基础越来越难以应对目前神经网络中层数的要求，这些都对机器学习提出了挑战。
三、神经网络和深度学习的发展历程
1、前言
在介绍神经网络和深度学习起源之前，首先介绍一下人类大脑是怎么工作的。1981年的诺贝尔医学奖，分发给了DavidHubel、TorstenWiesel和PogerSperry。前两位的主要贡献是发现了人的视觉系统的信息处理是分级的。如下图所示，从视网膜（Retina）出发，经过低级的V1区提取边缘特征，到V2区形成基本形状或目标的局部，再到高层V4形成整个目标（如判定为一张人脸），以及到更高层的PFC（前额叶皮层）进行分类判断等。从视觉处理机制可以看出高层的特征是低层特征的组合，从低层到高层的特征表达越来越抽象和概念化。
这个发现激发了人们对于神经系统的进一步思考。大脑的工作过程是一个对接收信号不断迭代、不断抽象概念化的过程。例如，从原始信号摄入开始（瞳孔摄入像素），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定眼前物体的形状，比如是椭圆形），然后进一步抽象（大脑进一步判定该物体是一张人脸），最后识别人脸。这个过程其实和我们的常识是相吻合的，因为复杂的图形往往就是由一些基本结构组合而成的。同时还可以看出：大脑是一个深度架构，认知过程也是深度的。
而深度学习，恰恰就是通过组合低层特征形成更加抽象的高层特征（或属性类别）。例如，在计算机视觉领域，深度学习算法从原始图像去学习得到一个低层次表达，例如边缘检测器、小波滤波器等，然后在这些低层次表达的基础上，通过线性或者非线性组合，来获得一个高层次的表达。此外，不仅图像存在这个规律，声音也是类似的。
2、起源阶段
1943年，心理学家麦卡洛克和数学逻辑学家皮兹发表论文《神经活动中内在思想的逻辑演算》，提出了MP模型。MP模型是模仿神经元的结构和工作原理，构成出的一个基于神经网络的数学模型，本质上是一种“模拟人类大脑”的神经元模型。MP模型作为人工神经网络的起源，开创了人工神经网络的新时代，也奠定了神经网络模型的基础。当时提出MP模型是希望能够用计算机来模拟人的神经元反应的过程，该模型将神经元的工作过程简化为了三部分：输入信号线性加权，求和，非线性激活（阈值法）。如下图所示：
1945年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。1948年，他在研究工作中比较了人脑结构与存储程序式计算机的根本区别，提出了以简单神经元构成的再生自动机网络结构。但是，指令存储式计算机技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指令存储式计算机技术的研究，并在此领域作出了巨大贡献。虽然，冯·诺依曼的名字是与普通计算机联系在一起的，但他也是人工神经网络研究的先驱之一。
1949年，加拿大著名心理学家唐纳德·赫布在论文《Theorganizationofbehavior》中提出了神经心理学理论。赫布认为神经网络的学习过程最终是发生在神经元之间的突出部位，突触的连接强度随着突触前后神经元的活动而变化，变化的量与两个神经元的活性之和成正比。然后在《行为的组织》中提出了一种基础无监督学习的规则—赫布学习规则（HebbRule）。赫布规则模仿人类认知世界的过程建立一种“网络模型”，该网络模型针对训练集进行大量的训练并提取训练集的统计特征，然后按照样本的相似程度进行分类，把相互之间联系密切的样本分为一类，这样就把样本分成了若干类。赫布规则与“条件反射”机理一致，为以后的神经网络学习算法奠定了基础，具有重大的历史意义。
20世纪50年代末，在MP模型和赫布学习规则的研究基础上，美国科学家罗森布拉特发现了一种类似于人类学习过程的算法—感知机学习。并于1958年，正式提出了由两层神经元组成的神经网络，称之为感知器（Perceptron）。感知器本质上是一种线性模型，可以对输入的训练集数据进行二分类，且能够在训练集中自动更新权值。感知器的提出引起了大量科学家对人工神经网络研究的兴趣，对神经网络的发展具有里程碑式的意义。
在1969年，马文·明斯基和西蒙·派珀特共同编写了一本书籍《感知器》，在书中他们证明了单层感知器无法解决线性不可分问题（例如：异或问题）。由于这个致命的缺陷以及没有及时推广感知器到多层神经网络中，在20世纪70年代，人工神经网络进入了第一个寒冬期，人们对神经网络的研究也停滞了将近20年。
3、发展阶段
真理的果实总是垂青于能够坚持研究的科学家。尽管人工神经网络ANN的研究陷入了前所未有的低谷，但仍有为数不多的学者致力于ANN的研究。
1982年，著名物理学家约翰·霍普菲尔德发明了Hopfield神经网络。Hopfield神经网络是一种结合存储系统和二元系统的循环神经网络。Hopfield网络也可以模拟人类的记忆，根据激活函数的选取不同，有连续型和离散型两种，分别用于优化计算和联想记忆。但由于容易陷入局部最小值的缺陷，该算法并未在当时引起很大的轰动。
1984年，辛顿与年轻学者谢诺夫斯基等合作提出了大规模并行网络学习机，并明确提出隐藏单元的概念，这种学习机后来被称为玻尔兹曼机（Boltzmannmachine）。他们利用统计物理学的概念和方法，首次提出的多层网络的学习算法，称为玻尔兹曼机模型。
由神经网络之父杰弗里·辛顿在1986年发明了适用于多层感知器（MLP）的BP算法（BackPropagation），并采用了Sigmoid函数进行非线性映射，有效解决了非线性分类和学习的问题。BP算法引起了神经网络的第二次热潮，其在传统神经网络正向传播的基础上，增加了误差的反向传播过程。反向传播过程不断地调整神经元之间的权值和阈值，直到输出的误差达到减小到允许的范围之内，或达到预先设定的训练次数为止。BP算法完美的解决了非线性分类问题，让人工神经网络再次引起了人们广泛的关注。
1991年BP算法被指出存在梯度消失问题，也就是说在误差梯度后向传递的过程中，后层梯度以乘性方式叠加到前层，由于Sigmoid函数的饱和特性，后层梯度本来就小，误差梯度传到前层时几乎为0，因此无法对前层进行有效的学习，该问题直接阻碍了深度学习的进一步发展。
此外90年代中期，支持向量机算法诞生（SVM算法）等各种浅层机器学习模型被提出，SVM也是一种有监督的学习模型，应用于模式识别，分类以及回归分析等。支持向量机以统计学为基础，和神经网络有明显的差异，支持向量机等算法的提出再次阻碍了深度学习的发展。
4、崛起阶段
2006年，杰弗里·辛顿以及他的学生鲁斯兰·萨拉赫丁诺夫正式提出了深度学习的概念。他们在世界顶级学术期刊《Science》发表的一篇文章中详细的给出了“梯度消失”问题的解决方案——通过无监督的学习方法逐层训练算法，再使用有监督的反向传播算法进行调优。该深度学习方法的提出，立即在学术圈引起了巨大的反响，斯坦福大学、纽约大学、加拿大蒙特利尔大学等成为研究深度学习的重镇，至此开启了深度学习在学术界和工业界的浪潮。
2011年，ReLU激活函数被提出，该激活函数能够有效的抑制梯度消失问题。2011年以来，微软首次将DL应用在语音识别上，取得了重大突破。微软研究院和Google的语音识别研究人员先后采用深度神经网络DNN技术降低语音识别错误率至20％~30％，是语音识别领域十多年来最大的突破性进展。
2012年，DNN技术在图像识别领域取得惊人的效果，在ImageNet评测上将错误率从26％降低到15％。在这一年，DNN还被应用于制药公司的DrugeActivity预测问题，并获得世界最好成绩。2012年，在著名的ImageNet图像识别大赛中，杰弗里·辛顿课题组为了证明深度学习的潜力，首次参加ImageNet图像识别比赛，其通过构建的CNN网络AlexNet一举夺得冠军，且碾压第二名（SVM方法）的分类性能。也正是由于该比赛，CNN吸引到了众多研究者的注意。深度学习算法在世界大赛的脱颖而出，也再一次吸引了学术界和工业界对于深度学习领域的注意。
随着深度学习技术的不断进步以及数据处理能力的不断提升，2014年，Facebook基于深度学习技术的DeepFace项目，在人脸识别方面的准确率已经能达到97%以上，跟人类识别的准确率几乎没有差别。这样的结果也再一次证明了深度学习算法在图像识别方面的一骑绝尘。
2016年3月，由谷歌（Google）旗下DeepMind公司开发的AlphaGo(基于深度学习算法)与围棋世界冠军、职业九段棋手李世石进行围棋人机大战，以4比1的总比分获胜；2016年末2017年初，该程序在中国棋类网站上以“大师”（Master）为注册帐号与中日韩数十位围棋高手进行快棋对决，连续60局无一败绩。
2017年，基于强化学习算法的AlphaGo升级版AlphaGoZero横空出世。其采用“从零开始”、“无师自通”的学习模式，以100:0的比分轻而易举打败了之前的AlphaGo。除了围棋，它还精通国际象棋等其它棋类游戏，可以说是真正的棋类“天才”。此外在这一年，深度学习的相关算法在医疗、金融、艺术、无人驾驶等多个领域均取得了显著的成果。所以，也有专家把2017年看作是深度学习甚至是人工智能发展最为突飞猛进的一年。
5、神经网络和深度学习发展史上的里程碑
本文转自微信号：壹脑云
作者：袅袅
校对：喵君姐姐、TingZhang
人工智能的三次浪潮与三种模式
■史爱武
谈到人工智能，人工智能的定义到底是什么？
达特茅斯会议上对人工智能的定义是：使一部机器的反应方式就像是一个人在行动时所依据的智能。
百度百科上对人工智能的定义是：它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
尽管人工智能现在还没有非常严格准确或者所有人都接受的定义，但是有一些约定俗成的说法。通常人工智能是指机器智能，让机器达到人智能所实现的一些功能。人工智能既然是机器智能，就不是机械智能，那么这个机器是指什么呢？是指计算机，用计算机仿真出来的人的智能行为就可以叫作人工智能。
2017年7月，国务院印发了《新一代人工智能发展规划》。2017年12月，人工智能入选“2017年度中国媒体十大流行语”。这一国家级战略和社会流行趋势标志着，人工智能发展进入了新阶段，我国要抢抓人工智能发展的重大战略机遇，构筑人工智能发展的先发优势，加快建设创新型国家和世界科技强国。
人工智能的三次浪潮
自1956年开始，人工智能经历了三起三落，出现了几次浪潮，现在人工智能已经是处于第三次浪潮了。
第一次浪潮（1956-1976年，20年），最核心的是逻辑主义
逻辑主义主要是用机器证明的办法去证明和推理一些知识，比如用机器证明一个数学定理。要想证明这些问题，需要把原来的条件和定义从形式化变成逻辑表达，然后用逻辑的方法去证明最后的结论是对的还是错的，也叫做逻辑证明。
早期的计算机人工智能实际上都是沿着这条路在走。当时很多专家系统，比如医学专家系统，用语言文字输入一些症状，在机器里面变换成逻辑表达，用符号演算的办法推理出大概得了什么病。所以当时的主要研究都集中在逻辑抽象、逻辑运算和逻辑表达等方面。
在第一次浪潮中，数学定理证明实际上是实现效果最好的，当时有很多数学家用定理思路证明了数学定理。为了更好地完成定理证明工作，当时出了很多和逻辑证明相关的逻辑程序语言，比如很有名的Prolog。
虽然当时的成果已经能够解开拼图或实现简单的游戏，却几乎无法解决任何实用的问题。
第二次浪潮（1976—2006年，30年），联结主义盛行
在第一次浪潮期间，逻辑主义和以人工神经网络为代表的联结主义相比，逻辑主义是完全占上风的，联结主义那时候不太吃香。然而逻辑主义最后无法解决实用的问题，达不到人们对它的期望，引起了大家的反思，这时候人工神经网络（也就是联结主义）就慢慢占了上风。
在70年代末，整个神经元联结网络、模型都有突飞猛进的进步，最重要的是BP前馈神经网络。1986年BP前馈神经网络刚出来的时候解决了不少问题，后来大家往更大的领域应用，实现了比较大的成果。在很多模式识别的领域、手写文字的识别、字符识别、简单的人脸识别也开始用起来，这个领域一下子就热起来，一时之间，人们感觉人工智能大有可为。随后十几年人们发现神经网络可以解决一些单一问题，解决复杂问题却有些力不从心。训练学习的时候，数据量太大，有很多结果到一定程度就不再往上升了。
这时期所进行的研究，是以灌输“专家知识”作为规则，来协助解决特定问题的“专家系统”为主。虽然有一些实际的商业应用案例，应用范畴却很有限，第二次热潮也就慢慢趋于消退。
第三次浪潮（2006—现在），基于互联网大数据的深度学习的突破
如果按照技术分类来讲，第二次和第三次浪潮都是神经网络技术的发展，不同的是，第三次浪潮是多层神经网络的成功，也就是深度学习取得突破。这里既有硬件的进步，也有卷积神经网络模型与参数训练技巧的进步。
若观察脑的内部，会发现有大量称为“神经元”的神经细胞彼此相连。一个神经元从其他神经元那里接收的电气信号量达某一定值以上，就会兴奋（神经冲动）；在某一定值以下，就不会兴奋。兴奋起来的神经元，会将电气信号传送给下一个相连的神经元。下一个神经元同样会因此兴奋或不兴奋。简单来说，彼此相连的神经元，会形成联合传递行为。我们透过将这种相连的结构来数学模型化，便形成了人工神经网络。
经模型化的人工神经网络，是由“输入层”“隐藏层”及“输出层”等三层构成。深度学习往往意味着有多个隐藏层，也就是多层神经网络。另外，学习数据则是由输入数据以及相对应的正确解答来组成。
为了让输出层的值跟各个输入数据所对应的正解数据相等，会对各个神经元的输入计算出适当的“权重”值。通过神经网络，深度学习便成为了“只要将数据输入神经网络，它就能自行抽出特征”的人工智能。
伴随着高性能计算机、云计算、大数据、传感器的普及，以及计算成本的下降，“深度学习”随之兴起。它通过模仿人脑的“神经网络”来学习大量数据的方法，使它可以像人类一样辨识声音及影像，或是针对问题做出合适的判断。在第三次浪潮中，人工智能技术及应用有了很大的提高，深度学习算法的突破居功至伟。
深度学习最擅长的是能辨识图像数据或波形数据这类无法符号化的数据。自2010年以来，Apple、Microsoft及Google等国际知名IT企业，都投入大量人力物力财力开展深度学习的研究。例如AppleSiri的语音识别，Microsoft搜索引擎Bing的影像搜寻等等，而Google的深度学习项目也已超过1500项。
深度学习如此快速的成长和应用，也要归功于硬件设备的提升。图形处理器（GPU）大厂英伟达（NVIDIA）利用该公司的图形适配器、连接库（Library）和框架（Frame⁃work）产品来提升深度学习的性能，并积极开设研讨课程。另外，Google也公开了框架TensorFlow，可以将深度学习应用于大数据分析。
人工智能的3种模式
人工智能的概念很宽泛，根据人工智能的实力可以分成3大类，也称为3种模式。
（1）弱人工智能：擅长于单个方面的人工智能，也叫专业人工智能。比如战胜世界围棋冠军的人工智能AlphaGo，它只会下围棋，如果让它下国际象棋或分辨一下人脸，它可能就会犯迷糊，就不知道怎么做了。当前我们实现的几乎全是弱人工智能。
（2）强人工智能：是指在各方面都能和人类比肩的人工智能，这是类似人类级别的人工智能，也叫通用人工智能。人类能干的脑力活，它都能干，创造强人工智能比创造弱人工智能难得多，目前我们还做不到。
（3）超人工智能：知名人工智能思想家NickBostrom把超级智能定义为“在几乎所有领域都比最聪明的人类大脑都聪明很多，包括科学创新、通识和社交技能”。超人工智能可以是各方面都比人类强点，也可以是各方面都比人类强很多倍。超人工智能现在还不存在，很多人也希望它永远不要存在。否则，可能像好莱坞大片里面的超级智能机器一样，对人类也会带来一些威胁或者颠覆。
我们现在处于一个充满弱人工智能的世界。比如，垃圾邮件分类系统是个帮助我们筛选垃圾邮件的弱人工智能；Google翻译是可以帮助我们翻译英文的弱人工智能等等。这些弱人工智能算法不断地加强创新，每一个弱人工智能的创新，都是迈向强人工智能和超人工智能的进步。正如人工智能科学家AaronSaenz所说，现在的弱人工智能就像地球早期软泥中的氨基酸，可能突然之间就形成了生命。如世界发展的规律看来，超人工智能也是未来可期的！
发展人工智能 需要经历的三个重要阶段
其实，人工智能经历的这六十多年，都有一个很明显的规律。我认为，这个规律就是人工智能在发展过程中必须经历的三个阶段。现如今，人工智能的浪潮越来越热，技术也越来越强大，对于人工智能这个词相信大家已经耳熟能详了。人工智能从1956年被提出之后，经过岁月的变迁，从提出到发展到如今已经有了62年的历史，这期间积累的人工智能技术和人才，可以说都是在为了我们现在的高科技产品、人工智能产品实现落地，以及实现这些产品应用在日常生活场景中奠定基础。但其实，人工智能从一开始的提出到现在的发展，经历的这六十多年，都有一个很明显的规律，或者说这个规律其实是人工智能在发展途中所需要经历的。我认为，这个规律就是人工智能在发展过程中必须经历的三个阶段。
那么，这三个阶段分别是什么呢?
第一阶段
首先是第一阶，我认为第一阶段是运算智能阶段，也就是在最开始诞生基础理论的阶段，为什么这么说呢，因为第一个阶段，也就是这个阶段奠定了人工智能技术发展的基本规则。并且，在这个阶段的人工智能，具备了存储和运算的能力，而且也拥有了最基本的开发工具，为我们后面的人工智能研究提供了条件，毕竟没有工具，一切都是徒然。除此之外，这个最基本的开发工具也为后来人们升级更好的工具开创了良好的条件。在基础算法和原始开发工具的加持下，人们对于人工智能的研究产生了极大的动力，并且对算法程序和语言开发投入了极大的热情，也正因为如此，这第一个阶段就给人工智能的发展带来了第一波的高潮，大家争先恐后抢占研发，为日后人工智能技术的迭代更新打下了非常重要的基础。
所以这第一个阶段就是集中诞生基础理论的阶段，也是为人工智能的未来打基础的阶段，也是非常重要的一个阶段。
第二阶段
那第一阶段谈理论打基础，那么第二阶段会是什么呢?其实很好猜也很好理解，第二个阶段就是人工智能技术要更新迭代进步的阶段。在这个阶段。由于前个阶段人们研究人工智能所打下的基础，使得现在可以获得和分析的数据飞速增长，经过也一遍一遍的数据分析与研究，认人工智能的超级大规模运算成为了可能，不再存在于幻想中。不过运算的结果是相互的，由于需要不断的运算，那么人们所需要的数据也要非常多，这就倒过来让人们被迫的加速对数据的采集，由于数据过多过杂，也让人们学会了对数据的清洗，同时也增加了对经验的积累。光有数据不行，于是人们也开始研究起硬件来，并将数据转移到硬件上，这一举措使得相应的软硬件基础设施得到了快速的发展，再通过这些基础设施，反过来又带动了大数据行业的蓬勃发展。
如果说第一阶段是因为对人工智能的一时兴起，而带来了第一波高潮，但是原来第一阶段的人们可能不研究人工智能了，那么这第二阶段的高潮，可以说是大企业带来的，大企业在这个阶段发挥出了规模优势，是推动人工智能发展第二波高潮的主要力量，同时也是动力。所以第二阶段也可以叫可以说是感知智能阶段。
第三阶段
前面两个阶段，可以简单的理解为起源和发展，那么到了第三阶段，目标就很明显了。经过第一阶段和第二阶段的研究与进步，到了第三阶段自然就是要对前两个阶段的东西进行实际落地应用，毕竟研究了许久，为的就是这一刻。随着人工智能技术的发展和数据积累，相信大部分行业会逐渐发现人工智能技术好像到达了天花板，短期之内无法再通过研究加强人工智能，于是企业便把目标转向人工智能深入到具体应用上。所以在第三阶段，数据分布的情境化特性使得人工智能在特定情境下的垂直发展成为了可能。
那么还有第四阶段吗?目前来看是没有的，我们需要克服目前第三阶段的困难才能前进。企业们要挖掘人工智能在实际场景中应用的可能性，让机器具备能理解思考、像人一样能够学习和推理的能力。所以，我们可以看见目前有越来越多基于人工智能的科技产品诞生，例如它不仅能下围棋，还可以当医生、当老师，甚至做律师，可以在很多方面，不光从是代替人类做简单重复的机械式体力劳动，还可以替代人类很多纷繁复杂的脑力劳动，释放出人类更聪明的智慧和灵感。所以第三阶段也叫实际场景应用阶段，当然，也可以以人工智能的角度来看，那就是认知智能阶段，这里的认知智能，意思是让人工智能去学习、学会像人类一样的思考，具有自己认知的能力。
当然，随着人工智能在三个阶段里不断的完善发展，目前各个行业基本都会有人工智能的影子在，相信大家也都有接触过，那么这里我们就来举几个人工智能在部分行业的应用。
人工智能应用场景举例
比如智能家居，想必也是大家听到最多的一个词，智能家居是以住宅为平台，基于物联网技术，由硬件、软件系统、云计算平台构成的一个家居生态圈，其中包括家居生活中多种产品，涵盖多个家庭生活场景。虽然大家听到非常多的智能家居，但是呢，我国智能家居市场其实正在处于启动阶段，尚未进入爆发期，而且产品渗透率较低，并不是大家想象的那般已经非常普及了，但是可以想象，人工智能技术肯定会为智能家居行业带来颠覆性的突破。
再例如智能安防，不要以为安防与我们无关，这其实是错的。安防在我们的身边到处都是，但是安防为什么能和人工智能扯上关系呢?那是因为随着物联网技术的发展，传统简单被动的安防形式已无法满足日常多样化的生活和工作场景，比如现在越来越高明的骗术和利用高科技偷窃等，与其被动，不如我们主动防护，所以在大数据、人工智能等技术的带动下，安防向城市化、综合化、主动安防方向发展，智能安防成为当前发展的主流趋势，其应用覆盖了金融、交通、教育等行业，囊括银行机构、政府、学校、家庭等场所。把安防赋予人工智能的强大能力，让我们能够持续的在安全环境中生活。
人工智能的未来展望
总的来说，依据人工智能这几十年的发展规律，是完全符合那三个阶段的。当前，人工智能可以说是非常的火爆，就比如现在正在举办的2021世界人工智能大会，在大会上就出现了非常非常多的优秀的人工智能实际落地场景，可谓是百花齐放。最后说回我们国内，单纯看我们国内的话，其实还是处于第二阶段的，也就是还处在成长期。因为目前人工智能在技术、应用、安全、隐私以及道德伦理等方面，还有不少问题需要不断完善。
人工智能的发展是为了满足人民的美好生活，工具为人服务，人工智能是人创造的，也必须为人服务，要有利于维护社会公平正义，解决发展不平衡、不充分的问题，推动全体人民的共同富裕、共同发展。未来，希望各大企业都可以围绕着“满足人民的美好生活”为目标，不断的在人工智能里深入研究，并基于人工智能开发出为人民服务的实用工具，早日解决发展不平衡、不充分的问题，推动全体人民的共同富裕、共同发展。