自动驾驶核心技术之三：环境感知
自动驾驶四大核心技术，分别是环境感知、精确定位、路径规划、线控执行。环境感知是其中被研究最多的部分，不过基于视觉的环境感知是无法满足无人驾驶要求的。
环境感知主要包括三个方面，路面、静态物体和动态物体。对于动态物体，不仅要检测还要对其轨迹进行追踪，并根据追踪结果，预测该物体下一步的轨迹（位置）。这在市区，尤其中国市区必不可少，最典型场景就是北京五道口：如果你见到行人就停，那你就永远无法通过五道口，行人几乎是从不停歇地从车前走过。人类驾驶员会根据行人的移动轨迹大概评估其下一步的位置，然后根据车速，计算出安全空间（路径规划），公交司机最擅长此道。无人车同样要能做到。要注意这是多个移动物体的轨迹的追踪与预测，难度比单一物体要高得多。这就是MODAT(MovingObjectDetectionandTracking)。也是无人车最具难度的技术。
图：无人车环境感知框架这是基于激光雷达的环境感知模型，搞视觉环境感知模型研究的人远多于激光雷达。不过很遗憾地讲，在无人车这件事上，视觉不够靠谱。
让我们来看计算机视觉的发展历程，神经网络的历史可追述到上世纪四十年代，曾经在八九十年代流行。神经网络试图通过模拟大脑认知的机理，解决各种机器学习的问题。1986年Rumelhart，Hinton和Williams在《自然》发表了著名的反向传播算法用于训练神经网络，直到今天仍被广泛应用。
不过深度学习自80年代后沉寂了许久。神经网络有大量的参数，经常发生过拟合问题，即往往在训练集上准确率很高，而在测试集上效果差。这部分归因于当时的训练数据集规模都较小，而且计算资源有限，即便是训练一个较小的网络也需要很长的时间。神经网络与其它模型相比并未在识别的准确率上体现出明显的优势，而且难于训练。
因此更多的学者开始采用诸如支持向量机（SVM）、Boosting、最近邻等分类器。这些分类器可以用具有一个或两个隐含层的神经网络模拟，因此被称作浅层机器学习模型。它们不再模拟大脑的认知机理；相反，针对不同的任务设计不同的系统，并采用不同的手工设计的特征。例如语音识别采用高斯混合模型和隐马尔可夫模型，物体识别采用SIFT特征，人脸识别采用LBP特征，行人检测采用HOG特征。
2006年以后，得益于电脑游戏爱好者对性能的追求，GPU性能飞速增长。同时，互联网很容易获得海量训练数据。两者结合，深度学习或者说神经网络焕发了第二春。2012年，Hinton的研究小组采用深度学习赢得了ImageNet图像分类的比赛。从此深度学习开始席卷全球，到今天，你不说深度学习都不好出街了。
深度学习与传统模式识别方法的最大不同在于它是从大数据中自动学习特征，而非采用手工设计的特征。好的特征可以极大提高模式识别系统的性能。在过去几十年模式识别的各种应用中，手工设计的特征处于统治地位。它主要依靠设计者的先验知识，很难利用大数据的优势。由于依赖手工调参数，特征的设计中只允许出现少量的参数。深度学习可以从大数据中自动学习特征的表示，其中可以包含成千上万的参数。手工设计出有效的特征是一个相当漫长的过程。回顾计算机视觉发展的历史，往往需要五到十年才能出现一个受到广泛认可的好的特征。而深度学习可以针对新的应用从训练数据中很快学习得到新的有效的特征表示。
一个模式识别系统包括特征和分类器两个主要的组成部分，二者关系密切，而在传统的方法中它们的优化是分开的。在神经网络的框架下，特征表示和分类器是联合优化的。两者密不可分。深度学习的检测和识别是一体的，很难割裂，从一开始训练数据即是如此，语义级标注是训练数据的最明显特征。绝对的非监督深度学习是不存在的，即便弱监督深度学习都是很少的。因此视觉识别和检测障碍物很难做到实时。而激光雷达云点则擅长探测检测障碍物3D轮廓，算法相对深度学习要简单的多，很容易做到实时。激光雷达拥有强度扫描成像，换句话说激光雷达可以知道障碍物的密度，因此可以轻易分辨出草地，树木，建筑物，树叶，树干，路灯，混凝土，车辆。这种语义识别非常简单，只需要根据强度频谱图即可。而视觉来说要准确的识别，非常耗时且可靠性不高。
视觉深度学习最致命的缺点是对视频分析能力极弱，而无人车面对的视频，不是静态图像。而视频分析正是激光雷达的特长。视觉深度学习在视频分析上处于最初的起步阶段，描述视频的静态图像特征，可以采用从ImageNet上学习得到的深度模型；难点是如何描述动态特征。以往的视觉方法中，对动态特征的描述往往依赖于光流估计，对关键点的跟踪，和动态纹理。如何将这些信息体现在深度模型中是个难点。最直接的做法是将视频视为三维图像，直接应用卷积网络，在每一层学习三维滤波器。但是这一思路显然没有考虑到时间维和空间维的差异性。另外一种简单但更加有效的思路是通过预处理计算光流场，作为卷积网络的一个输入通道。也有研究工作利用深度编码器(deepautoencoder)以非线性的方式提取动态纹理，而传统的方法大多采用线性动态系统建模。
光流只计算相邻两帧的运动情况，时间信息也表述不充分。two-stream只能算是个过渡方法。目前CNN搞空域，RNN搞时域已经成共识，尤其是LSTM和GRU结构的引入。RNN在动作识别上效果不彰，某些单帧就可识别动作。除了大的结构之外，一些辅助的模型，比如visualhard/softattentionmodel，以及ICLR2016上的压缩神经网络都会对未来的深度学习视频处理产生影响。
目前深度学习对视频分析还不如手工特征，而手工特征的缺点，前面已经说过，准确率很低，误报率很高。未来恐怕也难以提升。太多的坑要填。
MODAT首先要对视频分析，实时计算出地平面，这对点云为主的激光雷达来说易如反掌，对视觉来说难比登天。用分段平面拟合和RANSAC算法计算出真实地平面。实际单靠激光雷达的强度扫描成像，一样可以得出准确的地平面，这也是激光雷达用于遥感的主要原因，可以排除植被的干扰，获得准确的地形图，大地基准面。用VOXELGRID滤波器将动静物体分开，黑棕蓝绿是激光雷达发射到行人身上的每个时间段的假设，与动态物体比，静态物体捕获的点云数自然要多。左边是深度学习领域人尽皆知的权威Kitti数据集的采集车，右边是数据集的数据格式和内容。Kitti对其GroundTruth有一段描述，Togenerate3Dobjectground-truthwehiredasetofannotators,andaskedthemtoassigntrackletsintheformof3Dboundingboxestoobjectssuchascars,vans,trucks,trams,pedestriansandcyclists.Unlikemostexistingbenchmarks,wedonotrelyononlinecrowd-sourcingtoperformthelabeling.Towardsthisgoal,wecreateaspecialpurposelabelingtool,whichdisplays3Dlaserpointsaswellasthecameraimagestoincreasethequalityoftheannotations.这里Kitti说的很明确，其训练数据的标签加注不是人工众包，而是打造了一个自动标签软件，这个软件把3D激光云点像光学图像一样显示出来，以此来提高标注的质量。很简单，激光雷达是3DObjectDetection的标准，即使视觉深度学习再强大，与激光雷达始终有差距。
再来说一下Stixel（sticksabovethegroundintheimage），中文一般叫棒状像素，这是2008年由奔驰和法兰克福大学Hern′anBadino教授推出的一种快速实时检测障碍物的方法，尤其适合检测行人，每秒可做到150甚至200帧，这也是奔驰和宝马双目的由来。Hern′anBadino后来被卡梅隆大学的机器人实验室挖走了，Uber的无人车主要就是基于卡梅隆大学机器人实验室开发的。Stixel的核心是计算棒状物的上下边缘和双目视差，构建一个Stixel，可以准确快速地检测障碍物，特别是行人。这是奔驰宝马大规模使用双目的主要原因，相对单目的行人识别，双目Stixel拥有碾压性优势。
激光雷达的3D距离信息更容易获得，也更准确，因此建立Steixel更加快捷准确。
现在该说Tracking了，现在不少人把跟踪(tracking)和计算机视觉中的目标跟踪搞混了。前者更偏向数学，是对状态空间在时间上的变化进行建模，并对下一时刻的状态进行预测的算法。例如卡尔曼滤波，粒子滤波等。后者则偏向应用，给定视频中第一帧的某个物体的框，由算法给出后续帧中该物体的位置。最初是为了解决检测算法速度较慢的问题，后来慢慢自成一系。因为变成了应用问题，所以算法更加复杂，通常由好几个模块组成，其中也包括数学上的tracking算法，还有提取特征，在线分类器等步骤。
在自成一系之后，目标跟踪实际上就变成了利用之前几帧的物体状态(旋转角度，尺度)，对下一帧的物体检测进行约束(剪枝)的问题了。它又变回物体检测算法了，但却人为地把首帧得到目标框的那步剥离出来。在各界都在努力建立end-to-end系统的时候，目标跟踪却只去研究一个子问题，选择性无视’第一帧的框是怎么来的’的问题。
激光雷达的Tracking则很容易做到，以IBEO为例，IBEO每一款激光雷达都会附送一个叫IBEOObjectTracking的软件，这是一个基于开曼滤波器的技术，最多可实时跟踪65个目标，是实时哟，这可是视觉类根本不敢想的事。Quanergy也有类似的软件，叫3DPerception。感知、决策（路径规划）、定位都是基于传感器或软件系统的，这也是科技类厂家的强项，不过线控执行系统则是传统汽车产业（不一定是整车厂）的绝对强项，这也是科技类厂家注定无法独立造车的主要原因，无论是谷歌还是百度，都必须要与传统汽车产业联合，才能进军无人车领域。下一节，我们就说说线控执行。
自动驾驶需要哪些关键技术
原标题：自动驾驶需要哪些关键技术？今天的社会正变得越来越以多媒体为中心、依赖数据和自动化。自动驾驶技术正在道路、海洋和太空中普及。自动化、分析和智能正在从人类转向“特定于机器”的应用。计算机视觉和视频将在我们未来的数字世界中扮演重要角色。数以百万计的智能传感器将通过人工智能嵌入汽车、智能城市、智能家居和仓库。此外，5G技术将成为一个完全互联的智能世界的数据高速公路，或许将从人到机器，甚至机器人代理等一切事物连接起来。
一个多世纪以来，汽车行业一直是一个主要的经济部门，它正朝着自动驾驶和联网汽车的方向发展。汽车正变得越来越智能化，对人类操作的依赖也越来越少。车辆与车辆(V2V)和车辆与万物互联(V2X)，即来自传感器和其他来源的信息通过高带宽、低延迟和高可靠性的链路传输，为全自动驾驶铺平了道路。自动驾驶背后最引人注目的因素是死亡和事故的减少。认识到90%以上的汽车事故是人为失误造成的，自动驾驶汽车将在实现汽车行业“零事故”、“零排放”和“零拥堵”的宏伟愿景中发挥关键作用。
唯一的障碍是车辆必须具备看到、思考、学习和驾驭各种驾驶场景的能力。
根据Tractica公司最近的预测，到2025年，汽车人工智能硬件、软件和服务的市场规模将从2017年的12亿美元增至265亿美元。这包括机器学习、深度学习、NLP、计算机视觉、机器推理和强大的人工智能。麦肯锡的一份报告称，到2030年，全自动驾驶汽车将占全球乘用车销量的15%，到2040年，这一数字将升至80%，具体取决于监管挑战、消费者接受度和安全记录等因素。自动驾驶目前是一个相对新生的市场，该系统的许多优势只有在市场扩大之后才能完全体现出来。
图12017年至2025年汽车人工智能市场预测
AI-Defined车辆
完全自主驾驶的体验是通过一个复杂的传感器和摄像头网络实现的，这些网络为机器重现了外部环境。自动驾驶汽车通过处理摄像头、激光雷达、雷达和超声波传感器收集的信息，告诉汽车与周围物体的距离、路缘、车道标记、交通信号和行人等信息。
与此同时，随着嵌入式系统、导航、传感器、视觉数据和大数据分析等领域的最新进展，我们也见证了车辆和移动边缘计算的智能化程度不断提高。首先是先进的驾驶辅助系统(ADAS)，包括紧急制动、倒车摄像头、自适应巡航控制和自动停车系统。
如图2所示，由汽车工程师协会(SAE)定义的6个自动驾驶级别被引入后，全自动汽车有望逐步实现。这些级别的范围从无自动化、有条件自动化(循环中的人类)到全自动汽车。随着自动化水平的提高，汽车将接管司机更多的操作。ADAS主要分为自动化1级和自动化2级。Waymo、优步、特斯拉等汽车制造商和科技公司，以及一些一级汽车制造商，都在大力投资更高水平的驾驶自动化。
展开全文图2SAE为自动驾驶汽车划分的级别
随着人工智能技术创新的快速增长，四级解决方案得到了更广泛的接受，面向的主要是在高速公路上运行的车辆。
虽然此时第3级和第4级之间的难题主要是监管，但第4级和第5级之间的跳跃要大得多。后者需要具备导航复杂路线和不可预见情况的技术处理能力，目前需要人为干预。
随着自动化水平的提高，将需要更多的传感器、处理能力、内存、高效功耗和网络连接带宽管理。图3显示了自动驾驶汽车所需的各种传感器。
图3自动驾驶汽车所需的传感器(摄像头，激光雷达，雷达，超声波)
深度学习、边缘计算和汽车互联网的融合，是由人工智能汽车和车辆通信的最新进展推动的。在可视化数据应用和行业中，面向机器的视频处理和编码的另一种实现技术是新兴的MPEG机器视频编码(MPEG-vcm)标准。研究了VCM的两种具体技术:
•有效压缩视频/图像
•主要特征提取的共享
用于边缘推理的强大人工智能加速器、用于机器视频压缩和分析的基于标准的算法(MPEG-VCM)以及5G互联汽车(V2X)在实现自动驾驶汽车的全面发展中发挥了关键作用。
5G-V2X和新兴的MPEG-VCM标准使行业朝着统一的国际标准努力。这种统一的法规和国际标准的建立对未来智能交通和人工智能汽车行业的全球市场至关重要。
未来的自动驾驶汽车(AV)行业有很多可能的VCM-V2X联合架构。根据给定AV基础架构场景的需求，我们可以使用集中式、分布式或混合的VCM-V2X架构，如图4所示。目前，大多数联网汽车制造商都在尝试使用低成本摄像头的集中式架构。然而，随着相机变得更加智能、分布式和混合架构，由于它们的可伸缩性、灵活性和资源共享能力会变得更有吸引力。新兴的MPEG-VCM标准还提供了传输压缩提取特征的能力，而不是在车辆之间发送压缩的视频或图像。
GyrfalconTechnologyInc.是这些创新的先锋，利用人工智能和深度学习的力量，为人工智能驱动的摄像头和自动驾驶汽车提供了突破性的解决方案，具备极强的性能、能效和可扩展性，在设备、边缘和云级别加速人工智能推理。
5G、边缘计算、计算机视觉、深度学习和机器视频编码(VCM)技术的融合将是全自动驾驶汽车的关键。标准和互操作技术，如V2X、新兴的MPEG-VCM标准、强大的edge和板载计算推理加速器芯片，使低延迟、高能效、低成本和安全优势能够满足人工智能汽车行业的苛刻要求。
关于ManouchehrRafie博士
Rafie博士是GyrfalconTechnologyInc.(GTI)的高级技术副总裁，他正在推动公司在深度学习、AI边缘计算和可视化数据分析的融合方面的先进技术。他还担任MPEG-VCM标准的新兴视频编码机器(VCM)联合主席。在加入GTI之前，Rafie博士曾担任多个初创公司和大公司的执行/高级技术职务，包括ExaltWireless的接入产品副总裁，CadenceDesignServices的集团董事和研究员职位，以及UCBerkeleyUniversity的兼职教授。他发表了90多篇文章，并在世界范围内的许多技术会议和专业协会担任主席、讲师和编辑。
高端微信群介绍创业投资群AI、IOT、芯片创始人、投资人、分析师、券商闪存群覆盖5000多位全球华人闪存、存储芯片精英云计算群全闪存、软件定义存储SDS、超融合等公有云和私有云讨论AI芯片群讨论AI芯片和GPU、FPGA、CPU异构计算5G群物联网、5G芯片讨论第三代半导体群氮化镓、碳化硅等化合物半导体讨论存储芯片群DRAM、NAND、3DXPoint等各类存储介质和主控讨论汽车电子群MCU、电源、传感器等汽车电子讨论光电器件群光通信、激光器、ToF、AR、VCSEL等光电器件讨论渠道群存储和芯片产品报价、行情、渠道、供应链加入上述群聊
长按并关注
带你走进万物存储、万物智能、
万物互联信息革命新时代返回搜狐，查看更多
责任编辑：浅谈机器学习在自动驾驶中的应用
编辑推荐:本文主要介绍机器学习在自动驾驶中的应用主要集中在环境感知和行为决策两个模块,希望对您的学习有所帮助。本文来自于AMiner，由火龙果软件Alice编辑、推荐。自动驾驶已经成为了工业界和学术界共同的研究热点。据统计，仅中国每年因为车辆的交通事故而死亡的人数达10万多人，受伤的人数达200多万人，而发生纠纷与冲突的人数更高达600多万人。
其中，约90%的事故原因来自于驾驶员的错误，比如：30%的事故是由于驾驶员醉酒，10%的事故是驾驶员分心造成的。自动驾驶有潜力能减少由驾驶员操作失误造成的交通事故，同时也为由于身体原因不能驾驶的人驾车出行提供了可能。而且，自动驾驶也能把劳动力从简单、重复的驾驶中解放出来，提高生产力。
自动驾驶从其诞生之日就获得了极大的关注。第一届DARPA无人车挑战赛始于2004年，无人车需要在莫哈维沙漠中完成150英里的行驶，但参赛的15辆车均未完成。次年，23辆车中有5辆顺利完成全程。后来，2007年，DARPA城市挑战赛举行，无人车需在模拟的城市环境中自主行驶，其中有6辆车完成赛程。除了这些挑战赛，许多研究机构和商业公司也加入自动驾驶的研究行列中。Google无人驾驶汽车已经行驶超过100万公里，实现了零事故；Tesla、Baidu、Tencent、Alibaba以及传统汽车厂商都在研究无人车。
汽车的自动化程度可以依据依赖人为操作的程度来划分。SAEJ3016标准定义了0-5级的智能车的分级标准：0级代表了所有驾驶操作都是人类负责的车辆；1级包含基础驾驶协助，如防抱死制动系统；2级包含高级协助，如风险最小化纵向控制（通常基于控制理论来计算存在风险的状态集合）；3级代表有条件的自动化，必要时候无人车需要人控制；4级表示无人车能在某些环境下可以完全自动化；5级则是完全自动化。下图给出了自动驾驶的分级标准。
图1.自动驾驶的SAE-J3016分级标准
自动驾驶是一个复杂的软硬件相结合的系统。无人车主要通过摄像头，雷达等设备来感知周围的环境，依据所获取的信息来进行决策判断，由适当的工作模型来制定相应的策略，例如预测本车与其他车辆，行人等在未来一段时间内的运动状态。在规划好路径和行为之后，接下来需要控制车辆沿着期望的轨迹行驶，主要包含横向控制（转向）与纵向控制（速度）。当然，上述的动作都是基于传感器实时获取环境信息所做的局部路径规划下的动作，还需要与基于完整环境信息（GPS）的全局路径相结合。下图给出了一个基本的自动驾驶系统的框架图。
图2.自动驾驶系统的框架图
机器学习在自动驾驶中得到广泛应用，其主要集中在无人车对环境的感知（autonomousvision）和行为决策（decisionmaking）。机器学习在环境感知的应用属于监督学习（supervisedlearning）的范畴，例如对摄像头中的图像进行物体识别（objectdetection），需要大量被标注了实体的图像作为训练数据，从而深度学习的方法才能从新的图像中识别出物体。而机器学习在行为决策中的运用一般属于强化学习（reinforcementlearning）的范畴，智能体需要与环境进行交互，智能体的每一步行为都会影响环境，同时环境的变化也会影响智能体的行为。强化学习则是从大量与环境交互的样本数据中，学习到环境与行为的映射关系，从而智能体每感知一次环境，就能‘智能’地做出行为。
智能感知
环境信息的采集与处理，是无人自主行驶的基础和前提。无人车对环境的感知主要基于各类传感器技术，所用的传感器一般有摄像头、毫米波雷达、激光雷达等。为了安全与准确的感知环境，无人驾驶车都是多个传感器共同协作，毫米波雷达和激光雷达主要承担了中长距测距和环境感知，而摄像头主要用于交通信号和其他物体的识别。
传统计算机视觉领域的主要研究方向是基于可见光的摄像头的视觉问题。要评价一种方案是否可行，我们需要一个标准的测试方法。KITTI数据由德国卡尔斯鲁厄技术研究院（KIT）和丰田芝加哥技术研究院（TTIC）共同开发，是全球最具权威、最有影响力的自动驾驶视觉的数据集之一。因此，我们基于该数据集来分析和比较目前最新颖的一些算法。
在无人驾驶中，对周围物体进行实时、准确的检测是至关重要的。同时，物体检测也是计算机视觉的研究重点之一。最近，卷积神经网络（ConvolutionalNeuralNetwork，CNN）的兴起，极大地提升了物体检测的能力。
一开始，CNN只是简单地整合进滑动窗口（sliding-window）的方法中（Sermanet,etal.,2013）。然而，这样并未解决物体在图片中的精确定位。所以，Girshick等人(2014)提出了RCNN（Region-basedCNN）来解决物体识别中的定位问题。他们利用selectivesearch来生成许多候选区域（regionproposals），然后利用CNN从每个区域中提取出特征向量（featurevector），并且用线性支持向量机（linearsupportvectormachine，linearSVM）来分类，区分出包含实体的候选区域。RCNN虽然解决了定位的问题，但模型本身的时间复杂度太高，从而有一系列的工作（ResNet,FastR-CNN,FasterR-CNN）来优化模型，最终实现了一个端到端（end-to-end）的框架。原有的CNN只能处理固定大小的图像，无法处理不同大小的候选框（candidateboundingbox）。
然而，上述的方法在KITTI数据集上的效果并不显著，主要原因为数据集中的实体尺度多变，以及被遮挡或截断的程度严重。而且上述方法只是在检测网络（detectionnetwork）上改进，而筛选候选框所采用的selectivesearch并不适用于这种场景，于是Ren等人(Renetal.,2015)提出了RPN（regionproposalnetworks）来代替selectivesearch。RPN为CNN的一种变形，其在图像的卷积特征（convolutionalfeature）上用slidingwindow的形式预测每个候选框中包含实体的类型和概率。RPN与FastRCNN相结合，实现了端到端学习（end-to-endlearning）。
图3.RPN基本思想
行为决策
行为决策（DesicionMaking）在整个无人车系统中扮演着“驾驶员”的角色。这个层面汇集了所有重要的车辆周边信息，不仅包括了无人车本身的位置、速度、朝向以及所处车道，还收集了无人车一定距离以内所有重要的被感知的障碍物信息以及预测轨迹。行为决策层所需要解决的问题，就是在知晓这些信息的基础上，决定无人车的行驶策略。
行为决策模块是一个信息汇聚的地方。由于需要考虑多种不同类型的信息以及受到交通规则的限制，行为决策问题往往很难用一个单纯的数学模型来进行解决，比较常见的方法是利用软件工程的方法来设计一些规则引擎系统。例如，在DARPA无人车竞赛中，stanford的无人车“Junior”利用cost设计和有限状态机（FiniteStateMachine）来设计无人车的轨迹和操控指令。而在近来的无人车规划中，基于马尔科夫决策过程（MarkovDecisionProcess）的强化学习（ReinforcementLearning）也开始越来越多被应用到无人车的行为决策算法中。
强化学习的本质是一种学习决策（即将状态映射到动作）来最大化回报的过程。和大多数机器学习的方法一样，学习器本身不知道要采取哪些动作，而是通过尝试来发现哪些动作会产生最大的回报。然而在许多场景中，动作不仅影响即时回报（immediatereward），也会影响所有后续回报（subsequentrewards）。所以，试错探索（trial-and-errorsearch）和延迟回报（delayedreward）是强化学习的两个最重要的特征。同时，强化学习是一个很宽泛的概念，任何能解决类似问题的方法都可以称作强化学习。
而随着深度学习（deeplearning）的兴起，深度神经网络有了强大的表示能力和函数拟合能力，也为强化学习的发展注入了新的活力。深度强化学习（deepreinforcementlearning）成为新的研究热点。
Isele等人(2017)研究了交叉路口场景下的无人驾驶。他们仍旧使用DeepQ-Network的方法来处理该任务。其中，其提出了两种DQN结构--序列动作网络（SequentialActionDQN）和Time-to-GoDQN。序列动作网络是一个三层全连接网络。输出对应的是4个时间尺度（1,2,4,8个时间步骤）下的3个动作的概率（减速、加速、保持速度）。Time-to-GoDQN则使用了CNN，输出对应的5个动作分别是：1个go动作和4个时间尺度（1,2,4,8个时间步骤）的wait动作。对于reward，其自己定义了规则：+1表示成功，-10表示发生碰撞，-0.01用于步骤成本。
Shalevshwartz等人(2016)主要应对的是实际驾驶中一些比较复杂的场景，如双向道路合并。他们提出的方法不是单纯地利用深度强化学习来实现自动驾驶，而是将问题分成两个部分，可学习部分(learnablepart)和不可学习部分(non-learnablepart)。相较于前面的CARMA等工作，这种方式显得更加完备和更加实用，综合了强化学习和动态规划各自的优点。由强化学习来判断环境、做出行为决策，而动态规划则负责规划路径和执行动作，从而保障行车的安全。
小结
机器学习在自动驾驶中的应用主要集中在环境感知和行为决策两个模块中。在环境感知中，深度学习的发展对计算机视觉有了极大的促进，让其在物体识别和道路监测上的效果有了很明显的提升。但相较于高精度的激光雷达，摄像头感知域有限，受环境的影响大，因此在自动驾驶中环境的感知多是基于多类传感器共同作用的。在行为决策中，强化学习与深度学习相结合，为将复杂多变的环境映射成动作提供了可能。然而目前大多数研究主要基于电脑仿真的道路场景中进行实验（便于获取环境的所有信息），离现实场景还有一段距离。机器学习是数据驱动的，因此提供一份较为完备的包含对现实环境的感知和驾驶者操作记录的数据集是有重大意义的，进一步促进自动驾驶的发展。
【智能驾驶】自动驾驶深度感知技术对车和行人的检测
未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能，互联网和脑科学交叉研究机构。
未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。
如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
自动驾驶汽车技术和解决方案
自动驾驶汽车正在改变我们的生活、工作以及娱乐方式，并创造出一种更安全、更高效的道路运输方式。这些革命性优势需要大量的算力和大型生产软件的专业知识。NVIDIA利用自身在高性能计算、影像以及AI领域的数十年经验，为交通运输业构建出软件定义的端到端平台，可通过无线更新实现持续改进和持续部署。该平台可满足大规模开发自动驾驶汽车的一切所需。