物联网在环境监测和保护中的应用研究
引言
环境保护是指人类有意识地保护自然资源并使其得到合理的利用,防止自然环境受到污染和破坏。目前,环境保护主要应从以下几个方面做起:首先是防治由生产和生活所引起的环境污染,同时要防止由建设和开发活动引起的环境破坏,保护有特殊价值的自然环境,同时要注意环境保护、经济建设和社会发展之间的协调发展,避免“先污染后治理”的思想。
我国环境污染已成为影响社会和谐的一个重要因素。在我国经济发展取得举世瞩目成就的同时,环境质量在下降,一些新的或隐性的环境问题逐步显现:外来物种入侵成为一个新的生态问题;环境污染事件不断出现,具有集中爆发特征。从实践看,我国并没有完全绕开“先污染后治理”的老路,重点城市和地区环境治理也是在污染到一定程度后才开始治理的。我国现阶段面临的环境问题,既是经济高速增长的产物,也是经济发展不够的表现。
目前,我国环境保护领域的信息化程度还比较低,地方环保系统业务数据因为共享和服务不开放,从而造成各地重复投资。业务信息滞后造成环境污染事故频发,取证困难等问题。环境保护向自动化、智能化、网络化方向发展将是未来环境保护工作的重点,环保信息化势在必行。而物联网的快速发展,则为我国的环境保护提供了思路和方案。
1 物联网(IOT)的概念
物联网是指在物理世界的实体中部署具有一定感知能力、计算能力和执行能力的嵌入式芯片和软件,使之成为“智能物体”,然后通过网络设施实现信息传输、协同和处理,从而实现物与物、物与人之间的互联E。物联网可以依托二维码、射频识别(RFID),各类传感器/敏感器件等技术和设备,使物体与互联网等各类网络相连,以获取无处不在的现实世界的信息,实现物与物、物与人之间的信息交互,支持智能的信息化应用,实现信息基础设施与物理基础设施的全面融合,最终形成统一的智能基础网络。
随着传感器网络技术、近程通信技术和M2M技术的快速发展,物联网的应用已出现在我们的生活中,首先是以M2M技术做为基本结构的简单物联网广泛应用于物流管理、智能交通、环境监测、公共安全、智能家居等各行各业中。陕西省“十二五”物联网规划中明确提出依托省环保厅、水利厅、长天软件、中星测控公司等单位,组织实施省环境应急监测与指挥系统、省水土保持监测与管理系统、环境在线监控系统、城市污水处理与重点污染源监控、山体滑坡预警等重点应用示范工程的环境保护物联网。
2 物联网的组织架构
智能型环境保护系统的物联网组织架构如图1所示。环境保护的物联网主要由感知层、网络层、应用层三大部分组成。其中感知层通过传感器、智能卡、RFID电子标签、识别码、摄像头等感知设备实现物体识别和环境指标、事故应急等信息的捕获、采集,以达到智能感知的目的;网络层利用无线网、移动网、固定网、互联网、广电网等传输网络实现感知层所采集信息的传输;应用层主要包括环境保护中的特定应用服务以及实现网络层和应用服务间接口和能力调用功能的中间件,用于完成信息的分析处理和决策,实现特定环境监测的智能化应用和服务任务,以实现环境监测信息的识别、感知、分析和预测,发挥智能作用。
作为物联网在环境监测和保护领域中的特定应用,其技术与其他领域中的应用有共同之处,但也有其特殊的关键技术发展。按图1所述,其技术是从感知层、网络层、应用层三个方向发展。是信息技术在基础设施中的应用,通过传感网实现对物理世界的信息感知,以进行环境监测和调控,达到环境保护的目的。该应用的主要特点是数据釆集量大、精度高,智能信息融合、协同处理能力、网络快速部署能力强,釆集数据具有高效可靠传输、网络健壮性、抗毁性。
2.1 感知层
感知层是环境保护物联网的基础组成部分,主要包括感知设备、传感网络两项关键技术。感知设备作为物联网采集信息的工具,就如同是物联网的“皮肤”、“眼睛”、“鼻子”和“耳朵”等,是实现自动检测和自动控制的首要环节。传感器网络是由许多在空间上分布的自动装置组成的一种计算机网络,这些装置使用传感器协作监控不同位置的物理或环境状况(比如温度、声音、振动、压力、运动或污染物)。传感器网络的每个节点除配备了一个或多个传感器之外,还装备了一个无线电收发器、一个很小的微控制器和一个能源(通常为电池或太阳能电源)。无线电收发器主要应用短距离无线传输(WPAN)技术和RFID技术。目前最关键的是传感器本身的问题,包括传感器的精度,传感器的能耗、规模和速率等。
2.2 网络层
网络层主要利用无线网、移动网、宽带网、固定网、广电网等传输网络实现感知层采集数据的传输和处理,是物联网的“中枢神经”。一般情况下,传感网只能在特定范围内组网,不可能实现任何时间、任何地点的无缝隙的覆盖。通信网络是实现“物联网”必不可少的基础设施,它安置在动物、植物、机器和物品上的电子介质产生的数字信号可随时随地通过无处不在的通信网络传送出去。事实上,只有实现各种传感网络的互联、广域的数据交互和多方共享,以及规模性的应用,才能真正建立一个有效的物联网。网络层的关键技术在于传感网与通信网的融合。
2.3 应用层
环境监测与保护物联网的应用层主要包括环境保护物联网的特定应用服务以及实现网络层和应用层的接口、数据处理和能力调用功能的中间件,完成信息的分析处理和决策,实现特定环境监测的智能化应用和服务任务,以实现环境监测信息的识别、感知、分析和预测,发挥智能作用。应用层是环保物联网的“大脑”。指挥协调感知层、网络层和应用层协调工作。庞大的数据处理、应用服务和物联网应用的扩展是应用层的关键技术。
早期的并行计算、集群计算、网格计算往往造成各城市之间数据和资源共享困难,应用扩展难度大、成本高,而现在基于“云计算”技术的运用,使数以亿计的各类数据和终端的实时动态管理变得可能,其应用扩展只进行外围设备调整,因而比较快捷和方便。
3 物联网在环境监测和保护中的应用
我国基于物联网的解决方案在环境保护中已得到了初步的应用。环保物联网发展已经完成了两个梯次的推进。1999年,原国家环保总局第一次在全国开始推广的环境在线监控系统是物联网的最早探索和实践;第二梯次的推进是2008年在全国31个省、自治区、直辖市,6个环保督査中心和333个地级市部署的国控污染源在线监控系统,该系统是物联网在环保领域的规模建设和行业级实践。第三梯次,也就是未来发展将通过投资、考核和创新,按照物联网的体系结构,重新梳理环境在线监控和环保信息化,把物联网最新技术用到环境在线监控中,建立运维体系,实现三级数据贯通。
物联网可以广泛地应用于生态环境监测、生物种群研究、气象和地理研究、洪水、火灾检测、水质监测、排污水监控、降水监测、大气监测、电磁辐射监测、噪声监测、森林植被防护、土壤监测、生物种群监测、地质灾害监测等。
3.1 大气监测
对大气的监测一般可采用固定在线监测、流动采样监测等方式,可在污染源安装固定在线监测仪表,在监控范围内按网格形式布置有毒、有害气体传感器,人群密集或敏感地区布置相应的传感器。这样,一但某地区大气发生异常变化,传感器就会通过传感节点将数据上报至传感网,直至应用层的“云计算”,根据事先制定的应急方案进行处理;对于污染单位的排放超标,物联网可实现同步通知环保执法单位、污染单位,同时将证据同步保存到物联网中,从而可避免先污染后处理的情况。
3.2 水质监测
对水质监测包含饮用水质监测和水质污染监测两种。饮用水源监测是在水源地布置各种传感器、视频监视等传感设备,将水源地基本情况、水质的PH值等指标实时传至环保物联网,实现实时监测和预警;而水质污染监测是在各单位污染排放口安装水质自动分析仪表和视频监控,对排污单位排放的污水水质中的BOD5、CODcr、氨氮、流量等进行实时监控,并同步到排污单位、中央控制中心、环境执法人员的终端上,以便有效防止过度排放或重大污染事故的发生。
3.3 污水处理监测
西安市目前已经建设有两个污水处理厂。但对于污水的进水监测和出水监测大多还是依靠工作人员在入水口和出水口定时采样进行化验,不但费时、费力,而且对于进出水质的监测不是持续在线监测,使处理厂水处理设备不能达到最经济的运行状态。在污水处理厂的入水口和出水口设置多种传感设备,可实现对进水水质和出水水质、流速、流量等持续的监测。
从技术发展方向看,还可同时在污水处理的各个环节增加视频监控和各种传感设备及污水处理设备的自控设备,构建多个传感网节点,控制各污水处理流程中的水质,若水质不在预设的控制范围内,传感网节点便可根据处理的数据发送控制信号给污水处理设备的自控设备,以调整各污水处理设备的运行状态,使污水处理设备始终处于最经济的运行状态,同时也减少了工作人员的编制。
构建环境保护物联网的各种应用领域,最主要的是选择适合的传感器,依托最优的无线传输技术形成传感网,根据对数据安全性的要求通过预定的网关接入网络层,并将数据传输到应用层的“云储存”。
4 环保物联网发展面临的问题
4.1 关键技术制约物联网发展
在物联网中,传感器技术、无线传输技术、云计算等关键技术还需要再次突破。如传感器的灵敏度和准确度问题就可能使预警产生误动作;传感网的低速率问题涉及到大规模布置节点和终端所需要的路由和地址资源;目前物联网的网络层是多运营商、多种通信制式、多网络并存的环境,网络的业务模型、上下行速率支持、通信网资源配置等都难以达成一个统一的传输平台;云计算的关键技术突破,对于各种应用领域的建模、数据处理、数据存储安全也有很大的影响。
4.2 技术标准体系不统一
物联网的感知层、网络层、应用层都存在标准化组织,而国标标准化组织之间缺乏协调,又使物联网各结构层涉及的技术标准不统一。国内也未形成统一的标准,在2010年中国物联网大会上,国内三大运营商分别展示了各自的物联网解决方案。表1所列为是几个主要标准组织对物联网关健技术标准的关注角度和关注内容。
4.3 安全性和可靠性制约物联网的进一步推广
在物联网中,感知层的传感网组网相对简单,传感器体积小,功耗有一定的限制,数据加密强度弱;网络层中由于病毒、黑客、网络自身漏洞等原因会使用数据的安全受到威协;应用层由于数据的共享也使得使用数据的安全性进一步下降。物联网构件多层面相互间协同运作的整体安全性和可靠性、安全接入控制系统设计、基于可信平台的安全模块及其提供的可信度量和评估机制、加密技术等,已成为物联网发展中的拦路虎。
在环保物联网中,感知层的传感器大多处理环境恶劣的地方,会有化学物质的腐蚀等,而个别不法分子的破坏,也会对传感器的可靠性要求增高,因此,感知层应能适应各种恶劣的应用环境。
4.4 应用与产业化问题
在现阶段,环境保护的物联网应用规模领域还比较小,还形成不了成熟的商业模式,另一方面,也不利于市场的培育,因此,未来要选择重点领域和重点工程,积极引导面向环境保护的物联网行业示范应用,扩大应用规模,积累技术发展、产业应用、经营管理、政策实施等方面的经验。同时,当前我国面向环境保护的物联网产业链也尚未成熟,仍然面临着巨大挑战。首先是产业链各环节尚未形成共赢商业模式,各环节之间协同能力较差;其次是产业链环节较长,复杂度高,导致整体成本很难降低;最后,产业链各环节企业相对分散,规模小,尤其是服务环节。因此,面向环境保护的物联网未来发展,沿需要产业链的共同努力,只有在芯片商、传感设备商、系统解决方案厂商、移动运营商等上下游厂商的通力配合下,才能实现上下游的联动,从而带动整个产业链,共同推动面向环境保护的物联网的发展。
5 结论
我国基于物联网的解决方案虽然在环境保护中得到了初步的应用,但仍存在标准不统一、系统规模小、设备成熟度低、信息处理平台不完善等问题。传统的坏境保护方式必将由环境保护的物联网所替代。现阶段我国对于运用物联网来保护环境的发展已经具有一定的技术储备,同时也有相当的应用和产业化基础,但是,总体而言,仍处于起步阶段,在关键技术、标准体系、应用和产业化方面仍存在着一些亟待解决的问题,这些问题的解决需要政府、企业、科研部门以及各个行业的共同努力。但是,利用物联网来保护环境是一个持续长效的工程,也是一个利国利民的工程,我们坚信,在各方力量的不懈努力下,我们必将构建出远大宏伟的、面向环境保护的物联网,使其施惠于国,惠利于民。
人工智能如何在物流领域应用我们梳理了14个环节的案例
资料图
从行业作业性质看,人工智能在物流行业应用前景可观,首先有丰富的场景,其次有大量重复的劳动,再次物流作业的高效离不开数据规划与决策,而这些因素正是和人工智能应用相匹配的。而今,我们也不断看到领先企业在人工智能方面的研发与应用。随着国家发力推进新基建,人工智能的爆发前景可期。那么,具体到物流领域,人工智能究竟有哪些落地场景?本文从仓(园区管理、仓储管理)-干(无人驾驶、车辆管理)-配(分单、调度、配送),以及其中涉及的装卸、搬运、盘点、客服等环节梳理如下:
01
表单处理
物流行业有许多表单、文档数据,人工智能技术中的计算机视觉和深度学习就可以在这一场景中应用。
比如腾讯云的OCR技术:通过计算机视觉结构化识别表单内容,能够快速便捷地完成纸质报表单据的电子化,大幅避免人工输单;对文档扫描件或者图片中的印章进行位置检测,内容提取,实现自动化一致性比对;独有的手写文字识别技术可以精准识别出手写文字、数字、证件号码、日期等,实现带有手写文字的扫描件或图片数字化处理。
目前,中外运、顺丰等均有与腾讯云合作应用该技术。以中外运的北京奔驰进口报关业务为例。因为零部件的单据非常复杂,一个零部件涉及的单据可能100多页,以往一页一页的录,四个人要花一周时间,如今应用了人工智能技术,一个人40分钟就可以解决,且准确率极高。
02
园区管理
表单处理完,货物进入园区。随着IOT、5G等技术的应用,人工智能在园区管理上同样可以发挥重要作用,比如监测、采集场院内车辆信息,提供车辆装载率、车辆调度、运力监测和场地人员能效等基础数据,优化运力成本;再比如对人员工作情况进行管理,规避员工不规范甚至危险的操作。
2018年,菜鸟网络曾宣布全面启动物流IoT(物联网)战略,并向全行业发布了全球首个基于物流IoT的“未来园区”。这是IoT、边缘计算和人工智能等前沿技术第一次在物流领域的大规模应用,“未来园区”可以识别每一个烟头、监控每一个井盖,实时保障园区安全、高效运转。
2019年,京东物流披露,其已建成的5G智能园区,通过5G+高清摄像头,不仅可以实现人员的定位管理,还可以实时感知仓内生产区拥挤程度,及时进行资源优化调度;5G与IIoT的结合,帮助对园区内的人员、资源、设备进行管理与协同;5G还帮助园区智能识别车辆,并智能导引货车前往系统推荐的月台进行作业,让园区内的车辆更加高效有序。这中间同样是以人工智能技术为底层依托。
03
搬运
从园区进入仓内,其中必然要发生的一个动作就是装卸。货物识别+机器人与自动化分拣则可大大降低人类的劳动量。举例来说,AMR(AutomaticMobileRobot)即自主移动机器人,是目前发展和应用较快的技术。与传统AGV不同的是,AMR的运行不需要地面二维码、磁条等预设装置,SLAM系统定位导航为其装上了“一双眼睛”,让其可以实现高效的搬运和拣货作业。
以AMR商业化项目落地领先的灵动科技为例,其率先将计算机视觉技术与多传感器输入相结合,让其机器人实现了真正的视觉自主导航。据介绍,灵动视觉AMR能够帮助企业实现人效提升2倍以上、拣货成本下降超过30%的“降本增效”成果。
04
装卸
2019年,顺丰对外发布的“慧眼神瞳”一度备受关注,这也是顺丰科技人工智能计算机视觉成果在业务场景的落地突破。其实简单地说,“慧眼神瞳”就是利用各种视频和图像进行自动化分析的人工智能系统。比如中转场的装卸口环节,将摄像机部署在装卸口,通过分析车辆到离卡行为、车牌识别、车辆装载率、人员工作能效等基础数据,就可以刻画出装卸口作业场景的完整生产要素,将所有作业数据线上化,持续优化各项运营成本,优化运转效率。
同样,与华为云合作的德邦快递,也有类似技术应用。比如,可以通过AI来监控快递分拣的场地、场景,抓取对货物搬运不规范的情况,从而让业务员或者理货员操作的规范程度大大提高。
如果说上述场景的应用是在“助人”,无人叉车的应用则是在“替人”。2018年,物流指闻曾见证:德邦快递与智久共同宣布,作为德邦快递无人智慧物流的发展探索,首款无人叉车将应用于德邦快递浦东分拨中心。当时,智久机器人相关负责人介绍说,改进后的无人叉车采用“无人叉车+智能托盘+多层货架+JDS(调度系统)+LMS(库位管理系统)”的形式进行实地操作、多机调度、多车协同,同时通过RFID及传感器等进行智能路径规划。经测试新解决方案可使仓内成本下降30%,total毛利润增加7%。
05
盘点
库存盘点也是仓储管理的重要一环。如何保证盘点的准确高效?人工智能同样可以提供助力。
一汽物流就与百度云合作,运用无人机航拍取代人工盘点。简单来说,所谓无人机取代人工,就是无人机通过获取图像数据,基于视觉识别技术模型进行自动分析,并快速识别子库区,及库内汽车数量、车辆所在的车位号、与库存系统进行实时比对,如果实际数量与库存数量不吻合,将对异常数据进行警示,实现库存自动盘点。经过多次的数据训练,可将无人机准确识别率提升至100%。
此外,无人机还有报警、提示等功能,当实拍图与从LVCS获取车辆位置信息形成的图示有差异时,将会第一时间提示工作人员,查漏补缺,避免产生重大损失。
06
仓储系统
在仓内投入大量的机器人等设备,就需要一个系统进行管理,就像身体需要大脑。
旷视科技就曾发布AIoT操作系统——河图(HETU)。据介绍,河图是旷视科技推出的首个智能机器人网络协同大脑是一套致力于机器人与物流、制造业务快速集成,一站式解决规划、仿真、实施、运营全流程的操作系统。旷视河图与机器人硬件设备相结合,不仅体现了河图对整个作业节奏的控制、连接运维等能力,实现了人、设备、订单、空间、货的高效协同。
2019年,极智嘉(Geek+)也曾宣布,推出实体智慧物流版的aPaaS(applicationplatformasaservice)系统——“极智云脑”。极智云脑能够让客户轻松重构其解决方案,并在云端高效部署,自由调度机器人和各种设备,实现高度灵活的智能化系统,极大降低了智慧物流的部署门槛,让AI触手可得。
而针对无人仓内容物流机器人数量多、设备模型、接口、技术特点驳杂繁多,设备巡检和及时维护工作量大,京东物流也推出了X仓储大脑。据介绍,X仓储大脑自2018年8月投入应用,在人工智能等技术的助力下,提升规划、运营监控及维保效率高达80%,降低人力成本高达50%。
07
无人驾驶
运输是物流的重要一环,人工智能在该环节的应用也表现在多个方面,比如无人驾驶、车队管理、智能副驾等等。以最熟知的无人驾驶为例,要实现无人驾驶,要依靠三个环节感知、处理以及执行,这均离不开人工智能。
此前不久,自动驾驶货运初创企业图森未来(TuSimple)宣布,获得美国卡车制造商Navistar(纳威斯达)投资,双方将共同研发L4级无人驾驶卡车。图森未来表示,争取在2024年前量产无人驾驶卡车。目前,图森未来拥有一支超过50台卡车的无人驾驶车队,并服务于包括UPS(美国联合包裹)、McLane(麦克莱恩)在内的18位客户。2017年6月,图森未来获准在加州展开自动驾驶汽车路测。
而除了图森未来,赢彻、智加、驭势等均在研发相关技术,包括亚马逊、京东等多家企业也尝试提出了各种解决方案,并已经有一些商用测试。
当然,相比于公路运输,封闭的港口园区落地或更快速。2018年4月3日,图森未来就对外发布全球首个无人集卡车队港区内测试视频,宣布进入港内集装箱卡车无人驾驶运输市场。
08
智能副驾
看完“无人”,再说“有人”。驾驶从来不是一份安全的工作,对于长时间驾驶的司机尤甚,而计算机视觉则给了车辆发现危险的“眼睛”。
物流指闻曾见证过中寰卫星导航通信有限公司发布智能副驾产品。其智能副驾依托车载智能硬件T-Box、ADAS和DMS设备,通过传感器数据融合和智能算法,结合ADAS地图等位置服务,从“人、车、路”三方面建立协同的安全管理机制,及时感知道路运输过程中的不安全因素,并通过监控管理平台实时呈现、预警,以安全共管云平台方案为商用车安全管理提供工具、手段和依据,降低风险、减少隐患,以实时在线的虚拟“副驾驶”。当司机有风险系数不大的行为时,设备将启动报警,并上报平台,形成日报月报,提供给车主甚至保险公司。如果出现重大风险,立即启动本地报警,如果本地报警没有引起司机重视,则引入管理者介入;如果管理者依然还没有解决,则会启动亲情电话,让司机的妻子或者儿子在线提醒。
09
装载
除了安全,运输另外一个关注点在于装载率,如何能装更多的货?基于大数据积累和AI深度学习算法,G7数字货舱就可以实时感知货物量方,自动记录量方变化曲线,时刻知晓装载率。通过AI摄像头和高精度传感器对厢内货物进行图像三维建模,保证货物运输状态全程可视化,并智能管控装车过程和装车进度。
其发布智能挂车“数字货舱”V9版,还搭载了业界首创的“量方”功能。“量方”功能,采用了传感器+AI算法,对舱内货物进行高精度扫描+三维图像建模,最终自动计算出货舱容积占用百分比,实现精准装载。不仅如此,货舱在装载过程中“哪里空”、“哪里满”,都将以全3D方式呈现。通过对货舱空间更合理地利用,时刻保证车辆的真正满载。
除上述应用外,资料显示,在货车、轮船和飞机上安装与AI程序相连的传感器,也可以大大改善车队管理。这些程序可以监控油耗,针对减少石油和天然气的使用提供方法建议,以及在昂贵且耗时的重大故障发生之前主动提供维修意见。
10
无人机配送
配送是货物流动过程的最后环节,也是物流链条上人力资源投入最重的环节。目前,在这一环节,常见的科技创新是无人机与无人车配送。
亚马逊于2013年提出的PrimeAir业务,将无人机引入物流领域。国内顺丰、京东、中通等企业也纷纷跟进。2019年5月,中外运敦豪与亿航智能签署战略合作协议,并发布了国内首个全自动智能无人机物流解决方案。当时,物流指闻在现场也见识了无人机+智能包裹柜的创新应用。
当时应用的是亿航天鹰(Falcon)物流无人机进行派送。该机型采用4轴8桨多旋翼结构、全备份多冗余设计、智能安全飞控算法,可实现垂直起降、视觉识别精准定位、智能规划航线、全自动飞行、实时联网调度,最大载重5公斤的快递包裹,可将单程派送时间从40分钟大幅缩短至8分钟。作为此次发布的全自动智能无人机物流解决方案的一部分,专门开发的DHL智能柜能够与无人机高度自动协作、无缝接驳,并可以实现无人机的自动起飞、降落,挂仓的自动装卸载,快件的自动分类和基于身份比对以及实名认证的快件存取等一系列智能功能。
11
无人车配送
无人配送车是应用在快递快运配送与即时物流配送中低速自动驾驶无人车,其核心技术架构与汽车自动驾驶系统基本一致。在新闻当中,我们也时常听说京东、菜鸟、美团、苏宁等无人配送车在小区校园等封闭区域配送、快递员接驳等多种场景中应用和测试。
比如,2016年就有一款名为菜鸟小G的自动送包裹的机器人在阿里西溪园区亮相。2019年8月,苏宁物流对外公开5G无人配送车的路测实况,这也是5G技术应用从实验阶段走向商业化应用。
研发方面,代表企业如九号机器人。2018年,其与美团进行了合作,并联合发布了Segway配送机器人S1。这是九号机器人在智能服务机器人领域的“试水”。在一年的时间里,S1代产品已经运行了5000+公里,积累了大量的运营数据。而后,九号机器人又新发布了Segway配送机器人S2与Segway室外配送机器人X1。
12
调度
文章开头说,数据是提高物流效率的重要工具,一个体现就是以运筹学等为代表的工具进行调度与规划。而这方面,算力+算法+数据“喂养”的人工智能也能大展身手:借助人工智能技术,实现物流运配环节车辆、人员、设备等作业资源的协调统一,使作业效率最大化。
以外卖为例,资料显示:美团实时智能配送系统是全球最大规模、高复杂度的多人多点实时智能配送调度系统。能够基于海量数据和人工智能算法,在消费者、骑手、商家三者中实现最优匹配,同时需要考虑是否顺路、天气如何、路况如何、消费者预计送达时间、商家出餐时间等复杂因素,实现30分钟左右准时送达。
而,饿了么的智能调度系统方舟,通过使用深层次神经网络与多场景智能适配分担,引入“大商圈”概念,为平高峰不同场景建立了不同的适配模型。得益于深度学习与多场景人工智能适配分单,该系统能实时感知供需、天气等压力变化,对预计送达时间,商户出餐时间、商圈未来订单负载等做出精准预测,用户的订单将会在最优决策下被匹配最佳路径,保证配送效率和体验。
13
分单
看完外卖的例子,再看一个快递的例子。分单是快递的重要一个环节。人工智能的应用,使其实现了从人工分单到人工智能分单的转变。
以送往北京的包裹为例,过去包裹到达北京的转运中心之后,需要专门的人工对包裹进行区分,哪些去往海淀区,哪些去往东城区,会被写上不同的编号。到达网点之后要经过再次分拨,到达配送站之后,快递员之间需要第三次分拨。这些分单工作人员,要达到熟练至少要经过半年的训练,一个转运中心大则100多号人三班倒工作,小的也需要几十人,还会经常发生错误,出现类似去往北京的包裹意外来到了深圳这样的问题,严重影响派送效率和消费者体验。
菜鸟网络通过人工智能技术,大规模的机器学习,处理海量数据,实现智能分单。包裹发出时,就会对包裹要去往的网点以及快递员做出精准的对应,并在面单上标识出编号,无需再由人工手写分单。包裹到达转运中心、网点以及配送站之后,工作人员根据编号即可判断包裹的分配,分单准确率达到99.99%,效率也得到提高。
14
客服
以言语理解为核心的认知智能研究也是人工智能领域的核心研究之一,目标是让机器具备处理海量语音内容和认识理解自然口语的能力,并在此基础上实现自然的人机交互。在日常生活中,小度、小爱等都是代表案例。而在物流快递业当中,其可以应用的场景之一是客服。客服不容易,人员流失率也高,有报道称客服岗每年离职率高达50%,为此巨头都在打造智能客服系统。“三通一达”、顺丰和美团、饿了么为主的头部公司均已上线了语音和文字智能客服,其服务半径辐射80%以上终端消费者。菜鸟也曾发布语音助手这一产品。
以圆通速递为例,圆通速递在2017年开始相继在官网、微信等渠道上线国内版智能在线机器人客服,代替或协助人工在线客服完成客户服务工作,一定程度上解决了客服用工成本高、服务时间难以满足客户需求的问题。相关资料显示,圆通速递高峰期每日电话呼入量超200万通,需要5000人工坐席处理,在配备智能语音客服机器人后,高峰期90%以上电话呼入可通过语音机器人处理,日均服务量超30万,每秒可处理并发呼入量超1万次,在控制成本的前提下,极大程度上释放了人工效率。
……
除了上述案例,人工智能在路径规划、智能选址、智能路由、商品布局等等方面均可以应用,篇幅所限不再详述。另外值得一提的是,此前科技部公布的最新一批国家人工智能开放创新平台名单,宣布依托京东集团建设国家新一代智能供应链人工智能开放创新平台,领衔智能供应链国家战略发展。可见国家层面的重视。
当然,技术应用要考虑包括投入与产出等等方方面面的问题。当下,人工智能在物流行业应用也不一定成熟。然而未来的物流一定是科技的物流,下一个时代一定是人工智能的时代,当下我们可以不应用,却不可以不看到这样的趋势。
来源/物流指闻(ID:wuliuzhiwen)
作者/叶帅返回搜狐,查看更多
《人工智能技术在网络安全方向的应用》学习笔记
人工智能技术在网络安全方向的应用摘要:网络安全态势感知模型由态势要素提取、态势理解和态势预测组成,安全态势预测是整个安全态势感知模型中最高层次的技术,对网络安全的防御有着重要的作用。该技术与实现人工智能的基础条件相吻合,通过不同种类的安全设备、网络设备以及他们的运行日志,积累了大量的数据可供机器深度学习,对构建好的安全模型进行模拟训练,依靠分布式计算的强大数据处理能力,及时判别当前安全态势,提供在线处置方案并予以实施。同样,人工智能技术也是网络安全态势感知与在线处置的最佳选择,没有人工智能技术的支持,网络安全态势感知很难得到飞跃性质的发展,在线处置的效果也会因处置不及时而大打折扣。
关键词:人工智能网络安全网络安全态势一,引言——当前网络安全时代背景:由于移动设备和物联网设备的几何式增长,伴随着互联网的普及和网络应用的不断深入,网络的范围从广度和深度上都有了极大的扩充,涵盖了国家、社会和个人的方方面面,网络边界也由过去的清晰发展到现在的模糊,甚至到无边界。而互联网本身的开放性、国际性和自由性在增加其使用的便捷性,导致社会和经济活动越来越多地依托在网络之上,目前人们已经习惯使用网络提供的各种服务,参与各种网络活动,如电子政务、电子商务等。但安全却成为影响网络效能的重要问题,网络的普及、应用的暴增和不同网络的交织及应用人员安全意识的薄弱,因此不法人员越来越容易利用在网络上无意识泄露的个人隐私,造成网络安全威胁形势越来越严峻。
二,网络安全的内涵和主要问题网络面临的威胁大体可分为对网络中数据信息的危害和对网络设备的危害,在这里对前者进行分析。(一)广义上网络存在的威胁网络存在的威胁主要表现在以下几个方面:(1)利用网络传播病毒:通过网络传播计算机病毒,由于其强力的传播性使其破坏性大大高于单机系统,而且用户很难防范。计算机病毒具有较强的隐蔽性,在互联网不断发展的今天,各种新型病毒层出不穷,传播速度快,破坏力强,危害大。如前几年发生的WannaCry蠕虫勒索病毒事件,严重影响社会运行的正常秩序,致使英国一些医院不一些医院不能给病人做手术,而俄罗斯一些ATM取款机也受到了该病毒的感染无法取款,造成严重的危机管理问题。(2)非授权访问:没有预先经过同意,就使用网络或计算机资源被看作非授权访问,如有意避开系统访问控制机制,对网络设备及资源进行非正常使用,或擅自扩大权限,越权访问信息。它主要有以下几种形式:假冒、身份攻击、非法用户进入网络系统进行违法操作、合法用户以未授权方式进行操作等。(3)冒充合法用户造成的信息泄漏或丢失:指核心数据在有意或无意中被泄漏,例如信息在传输中丢失或泄漏(不法分子们利用搭线窃听等方式可截获机密信息,或通过对信息流向、流量、通信频度和长度等参数的分析,推出账号密码等重要信息。)。(4)破坏数据完整性:以非法手段窃得对数据的使用权,删除、修改、插入或重发某些重要信息,以取得有益于攻击者的响应;恶意添加,修改数据,以干扰用户的正常使用。(5)拒绝服务攻击,干扰系统正常运行:它不断对网络服务系统进行干扰,改变其正常的作业流程,执行无关程序使系统响应减慢。除此之外,Internet非法内容也形成了对网络的另一大威胁。有关部门统计显示,有30%-40%的Internet访问是与工作无关的,甚至有的是去访问色情、暴力、反动等站点。在这样的情况下,Internet资源被严重浪费。对互联网来说,面对形形色色、良莠不分的网络信息,如不具备识别和过滤作用,不但会造成大量非法内容出入,占用大量信道资源,造成传输堵塞等问题,而且某些含有暴力、色情、反动消息等内容的不良网站,将极大地危害青少年的身心健康,甚至危害社会和谐稳定。(二)近年来的网络安全威胁变化近年来随着互联网技术的快速发展,网络安全威胁也发生了三大重要变化:(1)攻击动机发生改变。早期的网络攻击多出于个人的好奇心,近乎一种无目的性的行为,而近年来的网络攻击或为由资金充足、训练有素的军队发起、以支持网络战,或是由复杂的犯罪组织发动,动机极具目的性与恶意性。(2)攻击的范围扩大、速度提高。史上第一起网络攻击利用了手动发现的软件漏洞,感染了单个计算机。而如今的网络攻击则利用自动识别的漏洞,可由黑客新手打包好之后在互联网上自动传播,可影响全球的计算机、平板电脑、智能手机和其他设备,其攻击范围之大不言而喻。(3)入侵的潜在影响急剧扩大。全球设备和人员联网意味着网络攻击不仅会影响数字世界,还会通过物联网和无处不在的社交媒体平台影响到现实世界,瘫痪网络会影响正常用户的使用,使合法用户被排斥而不能进入计算机网络系统或不能得到相应的服务。因此,互联网飞速发展的新时代对安全提出了更高的要求。但要实现网络安全,需借助于特征库的及时更新,然而特征值的获取必然落后于安全事件的发生,若无法第一时间给以在线处置方案则无任何作用,而且会使特征库越来越庞大,进而导致防护检测效率越来越低下,最终基于特征库的安全事件漏报、误报越来越严重严重,形成恶性循环。所以,找到帮助网络安全突破这一瓶颈的新技术就显得越发亟待。为了解决这些问题,基于人工智能的网络安全态势感知与在线处置新技术应运而生。
三、基于人工智能的信息网络安全态势感知技术介绍(一)预测态势算法预测态势主要是指利用感知系统对当前信息的收集调查,对于所预测内容的主要有关因素进行分析,并结合一定的历史资料、预测经验模型以及科学的理论方法对未来一段时期内可能出现的安全态势变化进行预测。目前,人工智能展开的安全态势预测方法主要分为以下两种:第一是专家系统预测方法,是指一种利用人工智能模仿特定领域内的人类专家的思维来对安全态势进行预测,此种预测方法需要一个具备丰富专业知识与人类预测经验的智能专家系统,能够求解较为复杂的问题,此预测方法具有易于理解、避免过于繁复的计算、逐渐丰富自身预测经验使预测精准度不断提升等优势;第二是人工神经网络的预测方法,目前所应用的人工神经网络模型包括BP网络、RBF网络、Hopfield网络等,人工神经网络虽然在近年来与小波分析、粗糙/模糊集、灰色理论以及遗传、进化、免疫等算法工具相结合取得了比较好的应用效果,但是仍旧存在局部最优解的问题,即在面对优化问题时,由于问题过于复杂,所需考虑因素较多,难以在短时间内完成全局最优解,导致优化结果倾向于局部最优解的现象。(二)表征态势指标体系在对信息网络安全态势进行预测时,需要制定出一鯇整的指标体系,以此指标体系为基础为人工智能进行态势预判时提供参考标准,并得出合理预测结果,所以此指标体系其实是人工智能工作的依托。目前所应用的指标体系中主要包括以下三类指标:第一是基础运行指标,是表征当前网络性能、传输设备负载、物流环境的一系列指标,代表着当前企业所具备的基础设施的基本情况。第二是网络威胁指标,该指标能够直接反映出网络中所潜在或已经出现的威胁,如病毒、垃圾邮件、钓鱼网站等,同时还能反映出网络被恶意攻击的程度和次数,如攻击强度、挂马密度等指数,人工智能可依据此指标。第三是网络脆弱性指标,表征的是网络整体上漏洞和脆弱性的情况,通过检测DNS服务器、核心路由器等关键设备的健康指数为安全态势预测提供基础数据。人工智能系统可依据此三项指标的检测结果为安全态势感知提供大量数据参考,既能够使系统识别危险难度减小,又能够使企业的信息网络问题反映更加直接,提醒技术人员及时对企业信息网络短板进行完善,使问题处理更加高效,令人工智能在安全态势感知方面的作用更加突出。(三)人工智能在该技术中的实现由于此感知技术基于人工智能所发展,所以能够运用大数据对所采集信息进行预处理,降低数据的后续处理难度。此技术主要运用了大数据技术中的Stream框架,此框架具备数据处理速度较快、扩展性与并发处理能力较强的优势。在具体的预处理活动中,将涉及以下几点内容:第一是数据归一,在Stream流中,系统将所收集的包括日志信息、数据流量等内容在内的数据进行统一处理,通过将其进行转化的方式使其适应系统应用方式,并作为系统进行后续分析的数据元。第二是情报知识库的关联,通过将情报库与知识库相关联的方式使企业获取到自身进行安全态势分析所需的支持信息,目的同样是为系统后续分析提供数据基础;第三是数据归并,系统通过计算分析引擎按照预置的事件流程框架将数据进行归并,在此活动中将所有事件处理完成后归纳进引擎入口并结合历史数据中的内容分析出此数据流中是否存在异常,从而触发警报。网络安全态势感知抛弃传统的特征库比对的预测方式,采用对行为特征的研判,利用获取的大量网络安全数据,采用大数据分析的方法,对网络安全给以分析、理解,建立网络安全算法模型,使用人工智能的深度学习技术,训练网络安全人工智能模型,主动发现安全威胁。对于网络安全态势感知检测到的威胁行为,在线处置系统与路由器、交换机、防火墙等网络设备和安全设备联动,限制网络连接,阻断攻击行为,隔离攻击源和攻击目的设备。对被攻击的设备进行安全态势评估,针对存在的安全隐患,采取防病毒处理、补丁安装、杩清扫、恶意软件清理等措施,待符合网络安全要求之后,恢复网络连接,开展相应服务,仍不能满足网络安全要求的设备,通知管理员进一步处理。对被动攻击源设备(被其他设备远程控制的被动充当攻击源的设备)采取与被攻击设备相同的策略进行安全加固,对主动攻击源设备(主动发起攻击的设备)除采取与被攻击设备相同的策略进行安全加固之外,检查使用人员的信息,分析是否为有意识的攻击行为,通知安全管理员进行相应处理,对于有意识的攻击行为者实行全网重点监视排查。对于各类攻击行为,在分析研判的基础上改进策略,采用人工智能深度学习技术,在实际运行处理安全故障过程中,自动修正网络安全态势感知和在线处置系统模型,提升在线处置能力,真正实现智慧安全地提升,降低人为的干预。值得注意的是,网络安全态势感知与在线处置收集的数据必须是无污染的有效数据,因为人工智能是依赖于数据的,大量的数据错误,训练出的模型必然是不正确的,故此数据的安全有效在机器学习领域至关重要。
四、人工智能在网络安全方面的技术优势人工智能是研究人类智能活动的规律,构造具有一定智能的人工系统,研究如何应用计算机模拟人类智能行为的基本理论、方法和技术。人工智能以庞大的有效数据为学习基础,培养、优化计算模型,在强大运算能力的加持下,模拟人类的智能行为。在语言处理、智能搜索、机器学习、知识获取、感知问题、神经网络等领域取得了较好的发展。人工智能在网络安全防范中可以实现以下功能:自动检测:人工智能(机器学习)可以帮助公司快速识别威胁并找到潜在风险之间的联系,从而消除流程中的人为错误。人工智能(机器学习)可以适应和学习经验和模式,而不是因果关系。今天,机器学习使机器自学成为可能。这意味着他们可以创建用于模式识别的模型,而不必等待人类开发它们。在开始采取适当的补救措施之前,训练过的AI可以利用推理来确定各种风险,例如可疑地址,奇怪文件等。异常检测:人工智能大大提高了识别网站可疑问题所需的时间。开发人员也在利用人工智能来识别那些在网站上有不良意图的人。这一过程被称为异常检测,有多种用途,其中网络安全位居榜首。根据人工智能技术,程序可以在短短几秒钟内分析大量访客,并根据他们的威胁级别和行为对其进行分类。更好的监视,搜索和分析:人工智能使公司和组织在其安全环境中拥有更大的可见性,并使它们能够提前应对威胁。由AI驱动的狩猎技术可以确定组织是否受到攻击,以便组织可以做好准备。安全认证:如果你的网站需要访客登录,需要输入表单,或者需要在网站后端提供另一层安全保障,人工智能可以更好地以很大的安全性进行认证。确保安全身份验证的一种方法是通过物理身份验证,其中人工智能使用不同的特征来识别一个人。例如,智能手机可以使用指纹扫描仪和面部识别来让你登录。这背后的过程需要程序分析关于你的脸和手指的主要数据点,以辨别登录是否真实。除此之外,人工智能还可以研究其他因素,以确定某个特定用户是否被授权登录某个技术设备。这项技术会检查你输入按键的方式、打字速度和拼写时的错误率。更快的响应时间:人工智能可以处理大量非结构化信息,从而以更高的效率提供见解。更重要的是,机器学习、人工智能可以更快地学习模式,从而加快响应时间,使其更快、更容易地在威胁造成问题之前阻止它们。一些领先的公司(例如IBM)正在网络安全中使用认知技术和AI,以使它们能够快速识别威胁并做出相应的响应。无差错的网络安全:与人类不同,人工智能在执行重复的任务时不会感到疲倦或无聊。因此,人为错误的风险大大降低。但是,人类需要与人工智能合作才能获得更好的结果。毫无疑问,人类提供了机器缺乏的常识和理性。但是,在非标准情况下,由AI设计的应用程序是更好的决策者。
五、人工智能在网络安全方面的发展前景及问题(一)积极利用人工智能赋能网络安全近年来,Agent系统、神经网络、顾问系统、机器学习等人工智能技术在网络安全防御中涌现出很多研究成果。总体而言,目前人工智能重点应用在网络安全入侵检测、恶意软件检测、态势分析等领域。
1.入侵检测技术入侵检测技术是利用各种手段方式,对异常网络流量等数据进行收集、筛选、处理,自动生成安全报告提供给用户,如DDoS检测、僵尸网络检测。目前神经网络、分布式Agent系统、顾问系统等都是重要的人工智能入侵检测技术。这也是当前网络安全领域使用最普遍的人工智能技术。传统的入侵检测技术在检测速度、检测范围和体系结构等方面均存在短板。为了弥补这些短板,智能入侵检测系统借助人工智能中的模糊信息识别、规则产生式专家系统、数据挖掘和人工神经网络等技术,提升入侵检测效率,并且可以最大程度地抵御来自于各方病毒入侵所带来的潜在威胁。
2.垃圾邮件阻止系统现如今计算机网络快速发展,电子邮件被广泛应用,为人们的工作以及商务活动的开展提供便利。对于一些不法分子,利用这一特点在其注入病毒,当邮件传递时,病毒就会导入网络中,打开邮件或链接时,病毒就会注入到计算机中,影响计算机的运行,导致信息的丢失或损坏。针对这一情况,人工智能应用在反垃圾邮件系统中,除了可以保护用户数据的安全外,最主要的是可以检测扫描用户邮件并进行智能识别,及时发现其中的敏感信息,同时采取有效防范措施阻止恶意邮件,使用户免受垃圾邮件骚扰之忧。
3.智能防火墙系统防火墙作为网络安全设备已被普遍应用。防火墙圈定一个保护的范围,并假定防火墙是唯一的出口,然后防火墙来决定是放行还是封锁进出的包。传统的防火墙有一个重大的理论假设―如果防火墙拒绝某些数据包的通过,则一定是安全的,因为这些包已经被丢弃。但实际上防火墙并不保证准许通过的数据包是安全的,防火墙无法判断一个正常的数据包和一个恶意的数据包有什么不同,而是要求管理员来保证该包是安全的。而智能防火墙引用的识别技术,可以很好地自行分析和处理相应的数据,同时又能巧妙地融合代理技术和过滤技术,不但可以降低计算机对数据的运算量,还能拓宽监控范围,有效地拦截对网络有害的数据流,从而更好地保障网络环境的安全。
4.恶意软件防御预测性恶意软件防御技术通过使用机器学习和统计模型,寻找恶意软件家族特征,预测进化方向,提前进行防御。当前,在病毒恶意软件持续增加和勒索软件突发涌现的情况下,企业对于恶意软件的防护需求非常迫切,市场上涌现一批应用人工智能技术的相关产品系统。2016年9月,安全公司SparkCognition打造人工智能AI驱动的“认知”防病毒系统DeepArmor,可准确发现和删除恶意文件,保护网络免受未知网络安全威胁。(二)人工智能网络安全风险引发现实危害2019年,在被普遍视为解决安全问题的灵丹妙药的同时,人工智能带来的网络安全危害亦持续引发全球广泛关注。一方面,人工智能自身带来的网络安全风险不断。2019年3月,网络安全业内发现全球应用最为广泛的开源机器学习框架谷歌Tensorflow存在多处漏洞,有被安插后门等风险;同期,IBM被曝未经用户许可擅自使用图片分享网站Flickr上的100万张照片进行人脸识别算法训练,人工智能训练数据的获取方法和途径侵犯用户隐私问题再次被推上舆论风口浪尖;另一方面,人工智能的恶意利用导致网络攻防全面升级。随着人工智能技术依托的算法、大数据等以很低的成本进行复制和扩散,人工智能在有效赋能网络安全防御的同时,也为黑客实施网络攻击创造了有利条件。2019年,人工智能驱动的物联网网络攻击、语音模拟钓鱼欺诈、深度伪造(Deepfake)虚假视频等已在全球造成现实危害,基于人工智能的网络攻防正发展成为一场对抗节奏呈指数级递增的猫鼠游戏。六、总结大数据和5G时代下面临的安全威胁日益加剧。人工智能技术的飞速发展,给网络安全态势预测提供了强有力的技术支持。将机器学习、深度学习等人工智能算法应用于网络安全态势预测中,通过分析历史态势信息,得到准确的预测结果,具有广阔的研究与应用前景。但当前基于人工智能的网络安全态势预测仍存在着亟待解决的问题:在提高预测准确率的同时也需要提高数据的有效性,构建多样的预测模型,以及模型稳定性不强、训练时间过长、预测周期短等问题,未来的研究除了要继续提高模型的态势预测能力外,如何让人工智能技术更好的为对应问题提供解决方案,也是研究方向的重中之重,只有及时预测与及时处置高度结合,才能真正地让人工智能技术为网络空间安全保驾护航。然而在被普遍视为解决安全问题的灵丹妙药的同时,人工智能带来的网络安全危害持续引发全球广泛关注。随着人工智能自身带来的网络安全风险不断,如何确保人工智能在网络安全领域健康发展这一议题,引起了越来越多人的重点关注。
人工智能在材料科学的应用
人工智能在材料科学的应用1.绪论在传统的新材料开发方式及材料制作工艺中,材料科学研究者往往是通过实验与模拟的方法进行研发,所需要的工程量十分巨大并且获得的目标材料需要依赖一定的经验与运气,如何提供材料的研发效率成为了材料科学研究者的首要目标。而随着人工智能技术在众多领域的出色表现,越来越多的研究者也投入人工智能与材料科学的研究,并在两者的结合中取得了众多研究成果。
2016年5月,Nature将一篇机器学习算法改变材料发现方式的论文放上封面,并提出“从失败中学习”[1]:美国研究者利用机器学习算法,用失败的实验数据预测了新材料的合成,并且在实验中机器学习模型预测的准确率超过了经验丰富的化学家。这一研究意味着人工智能将改变传统材料发现方式,通过人工智能技术发明新材料的可能性也将大幅提高。
图1‑12016年5月5日《Nature》封面
同月,Nature新闻专题的封面也刊登了一篇题为《人工智能将创造更优秀的材料?》(《Canartificialintelligencecreatethenextwondermaterial?》)[1].[2]的文章。该文章认为,通过计算机建模和机器学习技术,可以很快地根据人们所需要的性能预测出相应候选材料。因此,科学家们将不再需要瞎猫撞死耗子般地制作新材料,而是按照计算机计算结果的指导,制作出相应候选材料并测试,从而加快了新材料的研发的速度和效率。
2020年7月在webofscience数据库通过对关键词“machinelearning”和“deepneuralnetworks”检索,筛选关于材料化学能源领域发现,关于机器学习已经发表了6335篇。可见目前将人工智能技术应用在材料科学领域已经成为一大热点。
图1‑2webofscience数据库检索结果
2.基于人工智能技术的材料科学研究的发展2.1材料科学的发展阶段根据研究方法的变革,可以将材料科学的发展分作4个阶段:经验测试阶段、理论研发阶段、计算模拟阶段[1].[3]、人工智能阶段。
(1)经验测试阶段
在材料科学的早期,研究者往往是以经验科学为主进行材料研究。在该阶段研究者凭借对材料的长时间测试与应用,从而积累对材料特性的经验。该阶段研究者需要经历反复实验,新材料产生的周期长、效率低。
(2)理论研发阶段
随着各领域研究的深入,材料科学的理论基础逐渐成熟起来,理论模型中的热力学模型的应用为材料研究提供了众多帮助,提高了新材料研究的效率。
(3)计算模拟阶段
计算机的应用使得材料科学的研究进入了计算模拟阶段,一系列模拟计算方法大大提升了材料科学的研究。
(4)人工智能阶段
随着人工智能技术的普及和机器学习深度学习技术在材料领域的应用,AI技术与材料研发的结合逐渐紧密,并在材料设计领域发挥极其关键的作用。
2.2材料科学在人工智能阶段的发展因素随着进入人工智能阶段,材料科学进入了高速的发展期,而材料科学之所以能有效结合人工智能技术,主要得益于以下三点因素[4]:
(1)充足的材料科学理论研究
人工智能技术的应用需要有相应应用领域的理论支撑,随着研究者对材料科学理论研究的深入,越来越多物理机制以及材料结构与性能的关系能够从理论层面去解释,从而有利于通过计算机基于材料科学理论去模拟真实材料的结构与性能。
(2)多尺度、高通量的模拟计算软件与高效的计算能力
随着针对材料科学的模拟计算软件的发展,材料模拟计算软件能够愈加精确地模拟不同材料结构与材料特性。基于多尺度、高通量的模拟计算软件,能更加高效地结合人工计算进行应用,同时结合高效的计算机计算能力,能够将需要大规模算力支持的人工智能技术结合模拟计算软件进行材料科学的研究。
(3)规模化、系统化的材料数据库
材料基因工程理念提出后,规模化、系统化材料数据库逐渐发展成型,并开始关注发展数据共享、数据自动收集和输出等系列新功能。一方面,材料数据库可为高通量的人工智能实验以及高通量计算结果提供海量数据存储空间;另一方面,材料数据库为高通量人工智能计算提供数据参数,能有效挖掘材料原理与指导新材料的设计。
3.基于人工智能技术的材料科学研究的研究领域基于人工智能技术的材料科学的研究领域主要集中在材料逆向分析、新材料发现以及材料预测三个方面,三个方面也对应着人工智能技术应用的三个步骤:数据的挖掘、模型的训练与优化、模型的应用。下文将举例现阶段各研究者分别在三个方面的具体应用。
图3‑1基于人工智能技术的材料科学研究的研究领域的三个方面
2.1逆向分析-数据的挖掘在逆向分析的领域,研究者基于所收集的材料数据信息进行数据挖掘,从而在数据中挖掘出有利用价值的规律,如材料不同性质之间的联系,进而总结新的数据信息。
《半监控机器学习在材料合成过程中的应用》[5](《Semi-supervisedmachine-learningclassificationofmaterialssynthesisprocedures》)中,作者演示了一种半监督的机器学习方法,用于根据书面自然语言对无机材料的合成程序进行分类。无需任何人工输入,潜在的Dirichlet分配就可以将关键字聚集到与特定实验材料合成步骤相对应的主题,例如“研磨”和“加热”,“溶解”和“离心分离”等。在少量注释的指导下,随机分类可以将这些步骤与不同类别的材料合成(例如固态或水热合成)相关联。
最后,作者证明了实验步骤顺序的马尔可夫链表示可以准确地重建可能的合成程序流程图。这种机器学习方法提供了一种可扩展的方法,可以从文献中解锁大量的无机材料合成信息,并将其处理为标准化的机器可读数据库。
图3‑2通过马尔可夫链表示可以准确地重建可能的合成程序流程图
《从大量沸石材料合成记录中将合成和结构相联系》[6](《Linkingsynthesisandstructuredescriptorsfromalargecollectionofsyntheticrecordsofzeolitematerials》)这项研究使用机器学习技术分析了从文献中收集的沸石的合成记录,以合理化对其性质和结构的理解。从机器学习模型中提取的综合描述符用于识别具有适当重要性的结构描述符。基于结构描述符的晶体结构相似性网络,显示了由合成相似材料组成的群落的形成。基于先前被忽略的结构相似性的交叉实验,揭示了沸石的合成相似性,证实了合成结构之间的关系。该方法适用于使经验知识合理化、填充合成记录并发现新颖材料的系统。
图3‑3《从大量沸石材料合成记录中将合成和结构相联系》研究流程
3.2新材料发现-模型的训练与优化在新材料发现领域,研究者通过构建相关人工智能算法模型并输入大量的材料数据,从而训练出具有材料设计功能的人工智能算法模型,协助研究者寻找与发现新材料。
《基于过程-结构-性能-性能互惠的弱监督学习关系提取》[7](《Relationextractionwithweaklysupervisedlearningbasedonprocess-structure-property-performancereciprocity》)中,研究人员利用物理和化学理论并借助于量子力学,让计算机重新发现变量之间的关系,这是借助人工智能进行材料设计的新方法。
研究人员可以创建不同的材料变量,并询问AI系统设计将如何体现,如果让分子链更长或更短,或添加不同的化学物质会发生什么变化,计算机都会给出性能结果。执行一次迭代只需要几微秒,而传统方法可能需要几天甚至几周。
用户可以输入他们想要的所需材料属性,系统将搜索数以千计的科学文章以寻找匹配的材料。系统利用这种简单的组合关系来设计材料,同时允许大规模批量生产这些具有相同高性能的新材料。AI使得计算机可以在很短的时间内解决问题,单纯依赖研究人员将要花费几倍的时间。
图3‑4《基于过程-结构-性能-性能互惠的弱监督学习关系提取》功能流程
在以往的研究中,机器学习方案的成功是基于数据库中数据的共同趋势,通过这样的共同趋势训练,开发的模型可以应用于预测大多数化合物的结构与性能的关系。这对通常的化合物是有效的、准确的,因为在材料数据库的大多数情况下,通常化合物具有规则的结构单元。然而,例外总是存在的(即使有95%的预测精度,总还有5%的例外)。
在《使用大数据和机器学习技术在异常中发现异常结构》[8](《Discoveringunusualstructuresfromexceptionusingbigdataandmachinelearningtechniques》)中,潘锋团队通过对大量数据不断改良机器学习不仅能够实现高精度预测材料的结构和性能相关性(相当于发现材料的“遗传”性质),同时首次原创性着眼于这些不在预测范围的“例外”,并且通过分析这些“例外”(相当于发现材料的“变异或突变”性质),即分析远离总体趋势的异常结果,从中获得新的洞见,发现了新型的结构基元(具有正3价的银离子基团),这对基础物理化学有了一些新的认识,并在科学上开辟了新的领域。
图3‑5《使用大数据和机器学习技术在异常中发现异常结构》研究流程
在该工作中,团队通过自主建立了一个包括HSE计算数据的材料结构数据库,并基于此通过机器学习的方法对材料结构的带隙进行学习,并展示了机器学习是如何被用来作为一种工具来挑选这些不寻常的案例,以及如何用传统的分析方法来研究这些不寻常的案例,从而拓宽已有的科学知识。
在该工作中,团队只使用了相对较小的数据集进行训练,并且ML模型的总体性能与已有的工作相当,模型R2约为0.89。通过观察带隙预测模型的结果,团队从数据库约4000种化合物中确定了34种不同寻常的“例外”化合物,在具体的分析之后,其中许多化合物具有不寻常的结构或其它异常,如特殊的配位环境或氧化态,带隙相对于同族其它化合物的突然增加,或是同族不同化合物之间的不同相结构。
图3‑6机器学习预测带隙的结果
在这些具有较大预测误差的化合物中,团队发现了具有Ag3+和O22-特殊结构的AgO2F。随后,通过与KAgO2(“正常”结构)的电子结构对比,他们发现AgO2F中不寻常的氧化态(O22-)使得O与Ag之间轨道杂化很小,带隙附近的能级主要由O原子的2p轨道贡献,带隙远小于其它含有Ag3+的化合物。这一实例证明了可以通过检查机器学习模型中的异常,从大型数据库中快速发现异常结构。
图3‑7AgO2F(“异常”)与KAgO2的电子结构比较。AgO2F由于具有不寻常的氧化态(O22-)从而具有异常表现
3.3材料预测-模型的应用在材料预测领域,研究者通过训练出相关人工智能算法模型总结材料状态与材料性能规律,进而利用人工智能算法模型结合所监测的材料状态分析材料的性能。
有机光伏(OPV)电池提供一个直接的和经济的方式来将太阳能转化为电能。近年来,OPV的研究迅速发展,功率转换效率(PCE)已超过17%。迄今为止,OPV研究的主流一直集中在建立新的OPV分子结构与其光伏性质之间的关系。该过程通常涉及光伏材料的设计和合成,材料的光电性能表征以及光伏电池的组装和优化。
这些传统方法通常需要精细控制化学合成、制造精密装置、费力的纯化和繁琐的实验步骤,这导致大量的资源投入以及较长的研究周期。因此,OPV的开发效率低下且缓慢。
《机器学习辅助的高性能有机光伏材料分子设计和效率预测》[9](《Machinelearning–assistedmoleculardesignandefficiencypredictionforhigh-performanceorganicphotovoltaicmaterials》)中,重庆大学的孙宽教授、中科院的陆仕荣教授和肖泽云教授共同建立了一个数据库,其中包含从文献中收集的1719个经过实验测试的OPV供体材料。他们首先研究了分子的表达对ML性能的重要性。为了确定最合适的表达式,我们测试了不同类型的表达式,包括图像、ASCII字符串、两种类型的描述符和七种类型的分子指纹。根据PCE值,描述符可将材料分为“低”和“高性能”。指纹具有最佳性能(预测PCE类的准确度为81.76%),并且其长度对预测的准确性有显着影响。
此外,作者使用了多种ML算法进行分类。研究发现,当处理小型数据库时,RF模型的性能优于其他模型。最后,作者通过合成10种新的OPV供体材料独立验证了ML模型。该模型的预测与实验结果吻合良好。
通过这项工作,作者为OPV研究建立了一种新方法,即通过ML模型预筛选设计的OPV分子,然后仅关注在后续实验中通过ML虚拟评估的分子。这种方法将大大加快开发用于OPV应用的新型高效有机半导体材料的探索过程。
4.基于人工智能技术的材料科学研究的问题与展望4.1基于人工智能技术的材料科学研究的现存问题人工智能变革材料科学研究方法尚存在不少问题:
一是受制于材料数据、材料性能控制因素,人工智能目前仅对少部分材料奏效。
二是计算机预测的材料,并不一定能够在实验室成功合成乃至规模量产,这个过程可能会很长。
4.2基于人工智能技术的材料科学研究的展望针对现存问题,本文提出两大发展方向:材料数据库的扩充与新技术的发展。
(1)材料数据库的扩充
更多更为详尽的材料数据库可为研发人员缩短研发周期和研发成本。当前的材料研究的思路是对成分、工艺的调整,获得具有理想微结构与性能匹配的目标材料。材料数据库建立了成分、工艺、微结构、性能之间的内在联系,将有利于设计与优化材料成分与工艺。
(2)新技术的发展
新技术的突破与应用能为研发人员带来更多意想不到的惊喜。例如陶瓷材料作为一种具有26000年历史的材料,因其突出的热力学,机械及化学稳定性获得了广泛的应用,但一直以来陶瓷制备工艺需要长时间烧结的难题成为其发展的巨大限制,尤其是因烧结引起的组分挥发问题。而马里兰大学(UMD)材料科学与工程系(MSE)的科学家们创造性的发明了一种超快高温烧结(UHS)陶瓷的新方法,以不到10s时间制造出块体陶瓷材料,从而将十几小时的烧结时间缩短到几秒钟,这种新方法解决了理论计算和人工智能等引导发现新材料的关键瓶颈问题。
参 考 文 献Machine-learning-assistedmaterialsdiscoveryusingfailedexperiments,PaulRaccuglia…,Naturevolume533,pages73–76(2016)Canartificialintelligencecreatethenextwondermaterial?(NicolaNosengo.,2016,DOI:1.19850)AgrawalA,ChoudharyA.AptMater/a/s[J],2016,4(5):1-17.王卓,王礞,雍歧龙,郭艳华,崔予文.材料信息学及其在材料研究中的应用[J].中国材料进展,2017,36(02):132-140.Semi-supervisedmachine-learningclassificationofmaterialssynthesisprocedures (npjComputationalMaterials,2019,DOI:10.1038/s41524-019-0204-1)Linkingsynthesisandstructuredescriptorsfromalargecollectionofsyntheticrecordsofzeolitematerials(Nat.Commun.,2019,DOI:10.1038/s41467-019-12394-0)Relationextractionwithweaklysupervisedlearningbasedonprocess-structure-property-performancereciprocity(TakeshiOnishi…,DOI:10.1080/14686996.2018.1500852)Discoveringunusualstructuresfromexceptionusingbigdataandmachinelearningtechniques(JianshuJie1…,DOI:10.1016/j.scib.2019.04.015)Machinelearning–assistedmoleculardesignandefficiencypredictionforhigh-performanceorganicphotovoltaicmaterials(Sci.Adv.,2019,DOI:10.1126/sciadv.aay4275)
人工智能的主要算法与应用
MongoDB用户管理操作隔壁de老樊:文章不错,nice
scrapy爬虫爬取完整小说shiyi123_:为什么我的只能爬取第一章的调试发现不能自动点击下一章循环求大佬分析
代理服务器搭建wuyuer1027:新的云都有限制了不行了,6核以上才能绑定3个公网10个要tmd48核
代理服务器搭建为谁攀登:我能用啊,你自己水平不行怪谁???
scrapy爬虫爬取完整小说Rookie23:如果我从第一页开始爬取,那么下一章的标签不是a[3]