人工智能、机器学习、神经网络和深度学习的发展历程（下）
Hello，这里是行上行下
我是隔壁壹脑云准时不拖更的袅袅~
随着AlphaGo落下最后一枚棋子，举世瞩目的人机围棋大战以4:1的比分落下帷幕，这也是人工智能史上里程碑式的事件。从此，神经网络与深度学习等技术不断涌入大众的视野之中，并对社会产生了极其深远的影响。之前向大家介绍了人工智能和机器学习的发展历程，今天我们分享神经网络和深度学习这一段同样跌宕起伏且波澜壮阔的发展历程。
一、前言
在介绍神经网络和深度学习起源之前，首先介绍一下人类大脑是怎么工作的。1981年的诺贝尔医学奖，分发给了DavidHubel、TorstenWiesel和PogerSperry。前两位的主要贡献是发现了人的视觉系统的信息处理是分级的。如下图所示，从视网膜（Retina）出发，经过低级的V1区提取边缘特征，到V2区形成基本形状或目标的局部，再到高层V4形成整个目标（如判定为一张人脸），以及到更高层的PFC（前额叶皮层）进行分类判断等。从视觉处理机制可以看出高层的特征是低层特征的组合，从低层到高层的特征表达越来越抽象和概念化。
这个发现激发了人们对于神经系统的进一步思考。大脑的工作过程是一个对接收信号不断迭代、不断抽象概念化的过程。例如，从原始信号摄入开始（瞳孔摄入像素），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定眼前物体的形状，比如是椭圆形），然后进一步抽象（大脑进一步判定该物体是一张人脸），最后识别人脸。这个过程其实和我们的常识是相吻合的，因为复杂的图形往往就是由一些基本结构组合而成的。同时还可以看出：大脑是一个深度架构，认知过程也是深度的。
而深度学习，恰恰就是通过组合低层特征形成更加抽象的高层特征（或属性类别）。例如，在计算机视觉领域，深度学习算法从原始图像去学习得到一个低层次表达，例如边缘检测器、小波滤波器等，然后在这些低层次表达的基础上，通过线性或者非线性组合，来获得一个高层次的表达。此外，不仅图像存在这个规律，声音也是类似的。
二、起源阶段
1943年，心理学家麦卡洛克和数学逻辑学家皮兹发表论文《神经活动中内在思想的逻辑演算》，提出了MP模型。MP模型是模仿神经元的结构和工作原理，构成出的一个基于神经网络的数学模型，本质上是一种“模拟人类大脑”的神经元模型。MP模型作为人工神经网络的起源，开创了人工神经网络的新时代，也奠定了神经网络模型的基础。当时提出MP模型是希望能够用计算机来模拟人的神经元反应的过程，该模型将神经元的工作过程简化为了三部分：输入信号线性加权，求和，非线性激活（阈值法）。如下图所示：
1945年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。1948年，他在研究工作中比较了人脑结构与存储程序式计算机的根本区别，提出了以简单神经元构成的再生自动机网络结构。但是，指令存储式计算机技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指令存储式计算机技术的研究，并在此领域作出了巨大贡献。虽然，冯·诺依曼的名字是与普通计算机联系在一起的，但他也是人工神经网络研究的先驱之一。
1949年，加拿大著名心理学家唐纳德·赫布在论文《Theorganizationofbehavior》中提出了神经心理学理论。赫布认为神经网络的学习过程最终是发生在神经元之间的突出部位，突触的连接强度随着突触前后神经元的活动而变化，变化的量与两个神经元的活性之和成正比。然后在《行为的组织》中提出了一种基础无监督学习的规则—赫布学习规则（HebbRule）。赫布规则模仿人类认知世界的过程建立一种“网络模型”，该网络模型针对训练集进行大量的训练并提取训练集的统计特征，然后按照样本的相似程度进行分类，把相互之间联系密切的样本分为一类，这样就把样本分成了若干类。赫布规则与“条件反射”机理一致，为以后的神经网络学习算法奠定了基础，具有重大的历史意义。
20世纪50年代末，在MP模型和赫布学习规则的研究基础上，美国科学家罗森布拉特发现了一种类似于人类学习过程的算法—感知机学习。并于1958年，正式提出了由两层神经元组成的神经网络，称之为感知器（Perceptron）。感知器本质上是一种线性模型，可以对输入的训练集数据进行二分类，且能够在训练集中自动更新权值。感知器的提出引起了大量科学家对人工神经网络研究的兴趣，对神经网络的发展具有里程碑式的意义。
在1969年，马文·明斯基和西蒙·派珀特共同编写了一本书籍《感知器》，在书中他们证明了单层感知器无法解决线性不可分问题（例如：异或问题）。由于这个致命的缺陷以及没有及时推广感知器到多层神经网络中，在20世纪70年代，人工神经网络进入了第一个寒冬期，人们对神经网络的研究也停滞了将近20年。
三、发展阶段
真理的果实总是垂青于能够坚持研究的科学家。尽管人工神经网络ANN的研究陷入了前所未有的低谷，但仍有为数不多的学者致力于ANN的研究。
1982年，著名物理学家约翰·霍普菲尔德发明了Hopfield神经网络。Hopfield神经网络是一种结合存储系统和二元系统的循环神经网络。Hopfield网络也可以模拟人类的记忆，根据激活函数的选取不同，有连续型和离散型两种，分别用于优化计算和联想记忆。但由于容易陷入局部最小值的缺陷，该算法并未在当时引起很大的轰动。
1984年，辛顿与年轻学者谢诺夫斯基等合作提出了大规模并行网络学习机，并明确提出隐藏单元的概念，这种学习机后来被称为玻尔兹曼机（Boltzmannmachine）。他们利用统计物理学的概念和方法，首次提出的多层网络的学习算法，称为玻尔兹曼机模型。
由神经网络之父杰弗里·辛顿在1986年发明了适用于多层感知器（MLP）的BP算法（BackPropagation），并采用了Sigmoid函数进行非线性映射，有效解决了非线性分类和学习的问题。BP算法引起了神经网络的第二次热潮，其在传统神经网络正向传播的基础上，增加了误差的反向传播过程。反向传播过程不断地调整神经元之间的权值和阈值，直到输出的误差达到减小到允许的范围之内，或达到预先设定的训练次数为止。BP算法完美的解决了非线性分类问题，让人工神经网络再次引起了人们广泛的关注。
1991年BP算法被指出存在梯度消失问题，也就是说在误差梯度后向传递的过程中，后层梯度以乘性方式叠加到前层，由于Sigmoid函数的饱和特性，后层梯度本来就小，误差梯度传到前层时几乎为0，因此无法对前层进行有效的学习，该问题直接阻碍了深度学习的进一步发展。
此外90年代中期，支持向量机算法诞生（SVM算法）等各种浅层机器学习模型被提出，SVM也是一种有监督的学习模型，应用于模式识别，分类以及回归分析等。支持向量机以统计学为基础，和神经网络有明显的差异，支持向量机等算法的提出再次阻碍了深度学习的发展。
四、崛起阶段
2006年，杰弗里·辛顿以及他的学生鲁斯兰·萨拉赫丁诺夫正式提出了深度学习的概念。他们在世界顶级学术期刊《Science》发表的一篇文章中详细的给出了“梯度消失”问题的解决方案——通过无监督的学习方法逐层训练算法，再使用有监督的反向传播算法进行调优。该深度学习方法的提出，立即在学术圈引起了巨大的反响，斯坦福大学、纽约大学、加拿大蒙特利尔大学等成为研究深度学习的重镇，至此开启了深度学习在学术界和工业界的浪潮。
2011年，ReLU激活函数被提出，该激活函数能够有效的抑制梯度消失问题。2011年以来，微软首次将DL应用在语音识别上，取得了重大突破。微软研究院和Google的语音识别研究人员先后采用深度神经网络DNN技术降低语音识别错误率至20％~30％，是语音识别领域十多年来最大的突破性进展。
2012年，DNN技术在图像识别领域取得惊人的效果，在ImageNet评测上将错误率从26％降低到15％。在这一年，DNN还被应用于制药公司的DrugeActivity预测问题，并获得世界最好成绩。2012年，在著名的ImageNet图像识别大赛中，杰弗里·辛顿课题组为了证明深度学习的潜力，首次参加ImageNet图像识别比赛，其通过构建的CNN网络AlexNet一举夺得冠军，且碾压第二名（SVM方法）的分类性能。也正是由于该比赛，CNN吸引到了众多研究者的注意。深度学习算法在世界大赛的脱颖而出，也再一次吸引了学术界和工业界对于深度学习领域的注意。
随着深度学习技术的不断进步以及数据处理能力的不断提升，2014年，Facebook基于深度学习技术的DeepFace项目，在人脸识别方面的准确率已经能达到97%以上，跟人类识别的准确率几乎没有差别。这样的结果也再一次证明了深度学习算法在图像识别方面的一骑绝尘。
2016年3月，由谷歌（Google）旗下DeepMind公司开发的AlphaGo(基于深度学习算法)与围棋世界冠军、职业九段棋手李世石进行围棋人机大战，以4比1的总比分获胜；2016年末2017年初，该程序在中国棋类网站上以“大师”（Master）为注册帐号与中日韩数十位围棋高手进行快棋对决，连续60局无一败绩。
2017年，基于强化学习算法的AlphaGo升级版AlphaGoZero横空出世。其采用“从零开始”、“无师自通”的学习模式，以100:0的比分轻而易举打败了之前的AlphaGo。除了围棋，它还精通国际象棋等其它棋类游戏，可以说是真正的棋类“天才”。此外在这一年，深度学习的相关算法在医疗、金融、艺术、无人驾驶等多个领域均取得了显著的成果。所以，也有专家把2017年看作是深度学习甚至是人工智能发展最为突飞猛进的一年。
五、神经网络和深度学习发展史上的里程碑
本期内容分享到这里，感谢大家的观看，欢迎大家在留言区互相交流，喜欢的话记得三连哦，期待下一期更精彩的内容~
参考资料：
1、百度百科，神经网络（通信定义）
阅读链接：
https://baike.baidu.com/item/神经网络/16600562
2、百度百科，深度学习（人工神经网络的研究的概念）
阅读链接：
https://baike.baidu.com/item/深度学习/3729729
3、博客园，《深度学习的起源、发展和现状》
阅读链接：https://www.cnblogs.com/jhding/p/5687549.html
4、博客园，《人工智能、机器学习及深度学习的起源和发展》
阅读链接：https://www.cnblogs.com/quxiangjia/p/12239351.html
5、程序员客栈，《深度学习的起源、发展和挑战总结》
阅读链接：https://jishuin.proginn.com/p/763bfbd601ed
6、CSDN，《人工神经网络简介》
阅读链接：https://blog.csdn.net/fengbingchun/article/details/50274471
7、腾讯云，《浅谈神经网络发展史：从莫克罗-彼特氏神经模型到深层神经网络》
阅读链接：https://cloud.tencent.com/developer/article/1010049
8、搜狐，《CMU论文：一部深度学习发展史，看神经网络兴衰更替》
阅读链接：https://www.sohu.com/a/127786076_473283
9、知乎，《深度学习（deeplearning）的发展史》阅读链接：https://zhuanlan.zhihu.com/p/29096536
10、知乎，《深度学习发展史》阅读链接：https://zhuanlan.zhihu.com/p/34472753
11、知乎，《神经网络发展历史》
阅读链接：https://zhuanlan.zhihu.com/p/379350530
12、简书，《深度学习-概述-深度学习的发展历程》阅读链接：https://www.jianshu.com/p/2a5936c2a6dd
作者：袅袅
校对：喵君姐姐、TingZhang
图片来源：百度
人工智能是从什么起源的
人工智能(ArtificialIntelligence，简称AI)的起源可以追溯到20世纪50年代。当时，计算机技术刚刚兴起，科学家们开始思考如何利用计算机模拟人类智能。最早的人工智能研究集中在推理、知识表示和自然语言处理等领域，旨在开发能够模拟人类思维和语言能力的计算机程序。
在随后的几十年中，人工智能技术不断发展壮大，研究方向也不断扩展。例如，神经网络技术的兴起为人工智能注入了新的活力，使得机器能够通过学习从数据中发现规律和模式。深度学习、自然语言处理、计算机视觉、机器人技术、智能游戏等领域都是人工智能研究的重要方向。
总的来说，人工智能的起源是源于人类对自身智能本质的探究和模仿，随
浅析智能交通的发展
世界正处于百年未有之大变局,科技推动了各个领域的发展进步,前沿技术的涌现正在使交通领域发生深刻变革。随着云计算、大数据、人工智能、移动互联网技术等高科技的蓬勃发展,智能交通跃上了新的发展快车道。本文从智能交通的基本概念入手,介绍智能交通在我国的发展历程,揭示智能交通的重大意义,分析智能交通的发展趋势,并对智能交通发展提出了思考。
关键词:智能交通智能交通系统发展趋势
一、智能交通的基本概念及在我国的发展历程
智能交通系统(IntelligentTransportationSystem,即ITS),是指通过现代信息、通讯、控制等技术,利用现有的交通设施和运载工具进行整合,打造安全、快捷、高效、绿色的交通体系。智能交通起源于交通信息化和交通工程,我国从上世纪90年代就开始重视智能交通,1995年在世界智能交通大会上首次出现了我国的身影。之后我国陆续参加了ITS相关大会,从而认识到ITS的发展趋势及其必要性。自1997年我国出席中欧ITS研讨会,ITS逐步走向科技高新技术产业发展的舞台。2000年,我国ITS体系与战略框架被正式提出。2001年后,国家“十五”规划中提出了“智能交通系统的核心技术开发和示范工程”科技攻关重大项目,ITS进入了发展阶段。自国家“十二五”规划以来,国家累计投入数千亿资金于智能交通建设,一系列政策也逐步出台完善智能交通顶层设计体系。
二、发展智能交通的重大意义
发展智能交通是时代赋予我们的历史责任。随着时代的发展,以新能源汽车、远洋船舶、高速列车、大型飞机为代表的综合交通运输系统初步建成,以智能交通为代表的管理体系方兴未艾,我国以高速公路、高速铁路、海洋和航空为代表的综合交通体系正迅速发展。在信息和互联网为主导的新技术体系和交通技术的深度融合的背景下,智能交通系统要比传统的交通系统具有更高的安全等级、更高的运行效率和更高的服务水平。发展智能交通是国家的重大战略。
三、智能交通的发展趋势
尽管这几年政策的支持和科技的进步给智能交通的发展带来了红利,我国智能交通发展依然处于初级阶段,基础条件还比较薄弱。未来,智能交通的发展应进一步加强交通大数据挖掘及智能交通信息服务,深入开展无人驾驶汽车技术攻关,提前谋划车路协同智能系统及车联网,全面推广智能交通信息感知与服务,提高智能交通关键技术创新能力。
首先,加强交通大数据挖掘及智能交通信息服务是智能交通发展的重点。车路协同是近年来智能交通领域的前沿技术,我国应尽早布局,占领智能交通战略制高点。交通信号控制、交通仿真技术方面我国一直缺乏核心技术,应加紧组织科技攻关,结合中国实际交通那个特点,创新提高,取得本质性突破,摆脱长期依赖进口的局面。
其次,深入开展无人驾驶汽车技术攻关是智能交通发展的难点。无人驾驶技术的未来发展方向可分为高速公路环境、城市环境和特殊环境下的无人驾驶系统。在高速公路环境下,使用环境定为具有良好标志的结构化高速公路,主要完成道路标志线跟踪、车辆识别等功能;城市环境中的无人自动驾驶将成为下一阶段的研究重点,在城市环境下,无人驾驶速度较慢,更安全可靠,应用前景更好,但城市环境更为复杂,对感知和控制算法提出了更高的要求;在特殊环境下,在军事和其他一些特殊条件下的应用,对性能要求的侧重点不一样,如车辆的可靠性、对恶劣环境的适应性成为特殊环境下的首要问题。
第三,提前谋划车路协同智能系统及车联网是智能交通发展的关键。车联网产业的大规模发展需要制定车联网标准与建设相关规范。在大数据时代的背景下,车辆作为车联网的一个小分支。为开辟自己的新蓝海而成功突围,需要建立自己的数据壁垒,一个方向是开发具有中国特色的硬件,采用软硬件结合的方式,并辅以互联网思维进行运行和推广,最终建立庞大而完备的建功数据体系;另一个方向是打通行业的数据建设,建立跨行业的数据库。
第四,全面推广智能交通信息感知与服务是智能交通发展的趋势。交通信息智能化感知与服务的重点任务主要包括ETC系统和交通流信息采集,它将进一步推进智能交通行业的发展。ETC系统基于车载电子标签,实现与微波天线之间的短程通信,不需要经过车辆停车刷卡及向收费人员进行缴纳现金等操作,自动读取完成收费处理的过程,具有无须停车、不需要值守人员、不需现金等便捷特点。交通流信息采集利用安装在道路上和车辆上的交通信息收集系统,进行交通流量、行车速度、管制信息、道路状况、停车状况、停车场、天气等动态信息收集、处理和发布,成为智能交通系统中一个重要的组成部分。
最后,提高智能交通关键技术创新能力是智能交通发展的核心。提高我国智能交通关键技术创新能力,需要结合已有技术和基础,同时在智能交通领域引入物联网、云计算、数据挖掘等技术及应用,发展新一代的智能交通系统。
四、智能交通发展的思考
如果借鉴发达国家智能交通的发展经验,我们发现他们通过十年左右提升智能交通系统和车载系统的覆盖程度,随后向车联网集成系统的探索和发展,未来将进一步产业化和规模化,成为推动物联网产业发展最主要的应用。在这个过程中,智能交通体系的出发点集中在为出行者的安全和效率服务,这与我国主要对政府服务有所区别。这可能主要因为,发达国家的交通基础设施通过长期的城市规划和建设处在较高水平,出行者和驾驶者素质也在较长时间内固化到了一个较高水平,因此发达国家的智能交通发展能多从安全和效率角度入手为出行者服务,而我国的城市化进程和机动车发展太快,远超城市的容载能力和城市出行者的素质提高速度,对交通法规的漠视也进一步造成拥堵和安全的问题层出不穷。因此,对于我国各级政府来说,通过高压的管理和检测手段快速的建立交通秩序,侧重点有所不同,服务对象也存在国内外差异;但从更长期的视角来看,为出行者服务将成为中国智能交通进一步发展的必然。智能车载系统、智能路测系统和智能出行者系统将成为智能交通行业进一步的发展方向。随着交通复杂程度的进一步增强,效率提升也会遇到瓶颈,这必将对管理者的能力和出行者的能力提出更高的要求。
智能交通使交通系统中“人、车、路”熔为一体,可以为公众及时提供路况、换乘、停车、定位、气象等各种交通信息,有效解决城市道路拥堵和出行安全问题,提高城市承载能力和运行效率,降低碳排放的总体目标。近年来,政策性文件的陆续出台以及新技术的不断更新使得智能交通进入加速发展阶段。智能交通将进一步走进公众视野,它的持续创新与快速发展,正在为交通基础设施智能化、交通发展模式绿色化和交通产业生态圈的跨界融合提供强力支持,为经济社会高质量发展注入不竭动力。
参考文献:
1、曲大义等.《智能交通系统及其技术应用》[M].北京:机械工业出版社,2022
2、王笑京.《中国智能交通发展史》[J].中国公路,2018
3、王笑京,沈鸿飞,汪林.《中国智能交通系统发展战略研究》[J].交通运输系统工程与信息,2006
4、赵娜,袁家斌,徐晗.《智能交通系统综述》[J]计算机科学,2014
作者:陈欣中国公路工程咨询集团有限公司
【广告】
（免责声明：此文内容为本网站刊发或转载企业宣传资讯，仅代表作者个人观点，与本网无关。仅供读者参考，并请自行核实相关内容。）