Edge Intelligence：边缘计算与人工智能的结合
本文出自论文EdgeIntelligence:PavingtheLastMileofArtificialIntelligencewithEdgeComputing，主要对边缘智能的最新研究成果进行了全面调查，并进行了完善的综述。
边缘智能的研究仍处于起步阶段，计算机系统和人工智能社区都迫切需要一个专门的地方来交流边缘智能的最新进展。为了这个目的，本文对边缘智能的最新研究成果进行了全面调查。首先回顾了在网络边缘运行的人工智能应用程序的背景和动机，然后提供了一个在网络边缘的深度学习模型训练/推理的总体架构、框架和出现的关键技术，最终，讨论了在边缘智能上未来的研究机遇。
文章目录一、简介二、人工智能技术三、边缘智能四、边缘智能模型训练五、边缘智能模型推理六、未来研究方向七、结论一、简介边缘节点的大小可以不同，从信用卡大小的计算机到带有多个服务器机架的微型数据中心，边缘计算强调的最重要特征是物理上接近信息生成源。从本质上讲，与传统的基于云的计算方式相比，在计算和信息生成源的物理接近性带来了几个好处，包括低延迟、能量高效、隐私保护、带宽占用减少、及时性和环境敏感性。
二、人工智能技术卷积神经网络（CNN）：CNN通常应用于计算机视觉方向，给定一系列来自真实世界的图像或视频，在CNN的利用下，AI系统学会去自动提取这些输入的特征来完成一个特定任务，如图像分类、人脸识别、图像语义分割。循环神经网络（RNN）：对于顺序性输入数据，RNNs被提出来解决时间序列问题。RNN的输入由当前输入和先前样本组成。一个RNN的每个神经元拥有一个内存来保存先前样本计算信息。RNN的训练过程基于随时间的反向传播方法（BPTT），长短期记忆（LSTM）是RNNs的一个扩展版本。LSTM的每个神经元被称作记忆单元，其包括一个乘法遗忘门、输入门和输出门。这些门被用来控制对记忆单元的访问。这些门是不同的神经网络，用来决定哪些信息在这个记忆门中被允许。由于其具有处理输入长度不固定的数据优势，循环神经网络已经被广泛应用于自然语言处理。生成对抗网络（GAN）：GANs有两个主要成分组成，被命名为生成网络和鉴别网络。生成器主要负责在从真实数据的训练集中学习数据分布后，来生成新数据。鉴别器则主要负责将真实数据和从生成器中生成的虚假数据进行分类。GAN通常被应用于图像生成、转换、组合、分辨和其他应用程序中。深度强化学习（DRL）：DRL由DNNs和强化学习（RL）组成，DRL的目标在于建立一个智能agent，来执行有效的策略去最大化带有控制动作的长期任务奖赏。DRL的典型应用是去解决不同的调度问题，例如游戏中的决策问题，视频传输的比例选择等。在DRL方法中，强化学习从来自环境的状态函数中寻找动作的最优策略，DNN则负责表示大量状态并近似动作值，来评估得到状态下的动作质量。奖赏是一个函数，用来表示预定义环境和一个动作性能的距离。通过连续的学习，DRL模型的agent可以被用来处理不同的任务。三、边缘智能边缘智能的动机和好处：（1）网络边缘产生的数据需要AI来完全释放它们的潜能；（2）边缘计算能够蓬勃发展具有更丰富的数据和应用场景的人工智能；（3）人工智能普遍化需要边缘计算作为关键基础设施；（4）边缘计算可以通过人工智能应用来推广。边缘智能的范围：我们认为边缘智能应该是充分利用终端设备、边缘节点和云数据中心层次结构中可用数据和资源的范例，从而优化DNN模型的整体训练和推理性能。这表明边缘智能并不一定意味着DNN模型完全在边缘训练或推理，而是可以通过数据卸载以cloud-edge-device协作的方式来工作。边缘智能的等级：根据数据卸载的数量和路径长度，我们将边缘智能分成6个等级。云智能（完全在云中训练和推理DNN模型）、Level-1（Cloud-Edge协作推理和Cloud训练）、Level-2（In-Edge协作推理和Cloud训练）、Level-3（On-Device推理和Cloud训练）、Level-4（Cloud-Edge协作训练和推理）、Level-5（In-Edge训练和推理）、Level-6（On-Device训练和推理）。当边缘智能的等级越高，数据卸载的数量和路径长度会减少，其传输延迟也会相应减少，数据隐私性增加，网络带宽成本减少。然而，这是通过增加计算延迟和能耗的代价来实现的。四、边缘智能模型训练架构：在边缘的分布式DNN训练架构可以被分成三个模块，集中式，分散式，混合式（Cloud-Edge-Device）。（1）集中式：DNN模型在Cloud数据中心训练；（2）分散式：每个计算节点使用它的本地数据在本地训练它自己的DNN模型，并通过共享本地训练更新来获得全局DNN模型；（3）混合式：结合了集中式和分散式模块，边缘服务器可以通过分散式更新来训练DNN模型，或者使用云数据中心来集中式训练。关键性能指标：（1）TrainingLoss（训练损失）：表示训练好的DNN模型与训练数据的匹配度；（2）Convergence（收敛）：衡量一个分散方法是否以及多快能收敛到这样的共识；（3）Privacy（隐私性）：是否实行隐私保护取决于原始数据是否被卸载到边缘；（4）CommunicationCost（通信成本）：其被原始输入数据大小、传输方式和可用带宽所影响；（5）Latency（延迟）：由计算延迟和通信延迟组成，计算延迟依赖于边缘节点的性能，通信延迟可能因传输的原始或中间数据大小以及网络连接带宽而异；（6）EnergyEfficiency（能源效率）：其主要被目标训练模型和使用设备的资源所影响。支持技术：（1）FederatedLearning（联邦学习）：优化隐私问题，通过聚合本地计算更新来在服务器上训练共享模型；（2）AggregationFrequencyControl（聚合频率控制）：在给定资源预算下，确定本地更新和全局参数聚合之间的最佳权衡；（3）GradientCompression（梯度压缩）：梯度量化（通过量化梯度向量的每一个元素到一个有限位低精度值）和梯度稀疏化（通过仅传输梯度向量的一些值）；（4）DNNSplitting（DNN划分）：选择一个划分点来尽可能减少延迟；（5）KnowledgeTransferLearning（知识迁移学习）：首先基于一个基础的数据集和任务来训练一个基础网络，然后在一个目标数据集和任务中将学到的特征迁移到第二个目标网络进行训练；（6）GossipTraining（流言训练）：多设备间随机流言通信，它是完全异步和分散的。已有系统和框架的总结：与以云为基础框架的DNN训练相比，以边缘为基础框架的DNN训练更关注于保护用户的隐私和更快地训练一个可用的深度学习模型。五、边缘智能模型推理架构：我们进一步定义了几个主要的云集中推理架构，包括：（1）Edge-based（DNN模型推理在边缘服务器完成，预测结果将返回到设备中）；（2）Device-based（移动设备从边缘服务器获取DNN模型，并在本地执行模型推理）；（3）Edge-device（设备执行DNN模型到一个特定层后将中间数据发送到边缘服务器，边缘服务器将执行剩余层并将预测结果发送到设备上）；（4）Edge-cloud（设备主要负责输入数据收集，DNN模型则在边缘和云上执行）。关键性能指标：（1）Latency（延迟）：整个推理过程中所占时间，包括预处理、模型推理、数据传输和后处理；（2）Accuracy（精度）：从推理中获得的正确预测输入样本数量和总输入样本数量的比值；（3）Energy（能量）：能量效率被DNN模型大小和边缘设备资源所影响；（4）Privacy（隐私）：其依赖于处理原始数据的方式；（5）Communicationoverhead（通信开销）：其依赖于DNN推理方式和可用带宽；（6）MemoryFootprint（内存占用）：其主要被原始DNN模型大小和加载大量DNN参数的方法所影响。支持技术：（1）ModelCompression（模型压缩）：权重剪枝和量化，来减少内存和计算；（2）ModelPartition（模型划分）：计算卸载到边缘服务器或移动设备，延迟和能量优化；（3）ModelEarly-Exit（模型前期退出）：部分DNNs模型推理；（4）EdgeCaching（边缘缓存）：对相同任务先前结果重用的快速响应；（5）InputFiltering（输入过滤）：输入差异检测；（6）ModelSelection（模型选择）：输入优化和精度感知；（7）SupportforMulti-Tenancy（多租用支持）：多个基于DNN的任务调度和资源高效性；（8）Application-specificOptimization（特殊应用程序优化）：对特定的基于DNN的应用程序进行优化。已有系统和框架的总结：为了使一般边缘智能系统的整体性能最大化，综合的可用技术和不同优化方法应当以协作的方式工作，以提供丰富的设计灵活性。六、未来研究方向编程及软件平台：当越来越多AI驱动的计算密集型移动和物联网应用程序出现后，边缘智能作为一个服务（EIaaS）可以成为一个普遍范式，具有强大边缘AI功能的EI平台将会被发展和部署。EIaaS更多关注于如何在资源限制型和隐私敏感型的边缘计算环境中执行模型训练和推理任务。另外，应该进一步研究轻量级虚拟化和计算技术，如容器和函数计算，以便在资源受限的边缘环境中高效部署和迁移EI服务。资源友好型边缘AI模型设计：大部分基于AI模型的深度学习都是高度资源紧张型的，这意味着丰富的硬件资源所支持的强大计算能力是这些AI模型性能的重要提升。因此，有很多研究利用模型压缩技术（如权重剪枝）来调整AI模型的大小，使它们对边缘部署更加资源友好。计算感知网络技术：非常需要计算感知性的先进网络解决方案，以便于计算结果和数据能够有效地跨不同边缘节点被共享。计算感知的通信技术开始获得关注，例如梯度编码在分布式学习中缓解离散效应，分布式随机梯度下降的空中计算，这些都对于边缘AI模型训练加速是有用的。智能服务和资源管理：设计高效的服务发现协议是非常重要的，这样用户可以识别和定位相关的EI服务提供者，从而及时满足他们的需求。另外，为了充分利用跨边缘节点和设备的分散资源，将复杂的边缘AI模型划分成小的的子任务和有效地在边缘节点和设备中卸载这些任务，以实现协同执行是关键的。七、结论本文对边缘智能的研究现状进行了全面的综述。特别地，我们首先回顾了运行在网络边缘的人工智能背景以及动机，接着提供了一个总体架构、框架和在网络边缘训练和推理的深度学习模型的关键技术描述。最后，我们讨论了边缘智能的开放挑战和未来研究方向。
边缘计算对人工智能发展有什么影响
原标题：边缘计算对人工智能发展有什么影响？前言：随着人工智能技术的不断成熟，人工智能已经应用到多个领域。现如今，人工智能技术开始在边缘侧扩展，庞大的数据量需要快速有效地分析，这极大增强了对于边缘计算的需求，边缘计算的重要性因而逐渐凸显。近日，清华大学发布的《人工智能芯片技术白皮书(2018)》提到，随着人工智能应用生态的爆发，越来越多的人工智能应用开始在端设备上开发和部署。
清华发布《人工智能芯片技术白皮书(2018)》，边缘计算正在崛起!
目前，人工智能的计算大多发生在数据中心，但是随着技术的发展，与硬件紧密结合的嵌入式人工智能正受到越来越多的重视。物联网拥有海量的终端设备，如果这些设备产生的数据都需要上传云端进行智能处理或者深度学习，将会对网络带宽带来相当大的挑战。而边缘计算的诞生，就解决了这个问题。
近日，北京未来芯片技术高精尖创新中心和清华大学微电子学研究所联合主办的“第三届未来芯片论坛上，清华大学正式发布了《人工智能芯片技术白皮书(2018)》(简称《白皮书》)。《白皮书》中提到，随着人工智能应用生态的爆发，越来越多的人工智能应用开始在端设备上开发和部署。智能手机是目前应用最广泛的边缘计算设备，手机行业巨头例如苹果、华为、高通在内的手机芯片厂商相继推出，或正在研发专门适应人工智能应用的芯片产品。
伴随着人工智能的发展，智能终端产品不断涌现，让人们真切感受到了智能改变生活。人工智能作为一种通用型技术，在自身发展的同时也推动着其他技术的发展，而其他相关技术的发展反过来又加速了人工智能的进步。而即将落地的5G就为人工智能数据的传送速度及质量提供了有效保证。尽管，人工智能现在已经取得了相当大的突破，但仍然面临着许多挑战。特别是在物联网时代，随着智能终端产品的增长，大量数据通过有限的网络连接传输至数据中心进行运算后，再传回到设备端，这将导致额外的延时并浪费宝贵的带宽。而现阶段，就需要边缘技术解决。
什么是边缘计算？
边缘计算是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。这样能够减少请求响应时间、减少网络带宽同时，保证数据的安全性。
那么，边缘计算具有什么特点呢？
1、低延时：因为边缘计算靠近数据接收源头，所以能够实时获取数据并对数据进行分析处理。
2、高效率：边缘计算是相对于云计算更靠近设备端，可以在边缘节点处实现对数据的分析和处理，不需要等待数据传输的时间，所以效率会更高。
3、更安全：边缘计算在获取数据之后，可以对数据加密之后再进行传输，大大提升了数据的安全性。
4、缓解流量压力：边缘计算在进行云端传输时通过边缘节点进行一部分简单数据处理，当面对大量数据时，可以通过压缩算法，提取到有用信息之后再进行传输，这样可以降低带宽资源消耗。
边缘计算实现智能互联世界!
虽然边缘计算有许多不同的使用场景，但是它的本质与人工智能、物联网密切相关。目前，人工智能应用更多的是依靠云端，边缘计算则是将智能从云端转向边缘。未来，如果没有边缘计算的支持，将会有很多应用可能都无法实现。例如：自动驾驶、远程医疗以及智慧城市等。这些智能终端产品或解决方案，都是不允许超过数毫秒的时延，并对于抖动或时延变化极其敏感的。
在很多场景下，尤其是使用封闭式自动化操作来维护高可用性的场景，响应时间必须保证在几十毫秒内，而这种条件如果没有边缘计算是无法达成的。例如：目前比较火热的自动驾驶汽车对实时信息交互和数据传输、交互的延迟指标要求非常严格，万一系统响应慢，轻则自动驾驶的体验度将大幅降低，重则会发生交通事故。
因此，边缘计算的重要性逐渐凸显，在终端设备对部分数据进行分析处理，将有效解决网络拥堵的问题，同时能提高系统运行效率。随着边缘计算的进步，本地设备的运算能力将不断增强，使得人工智能算法能够在离开云计算的情况下正常运行。
写在最后：
如今，人工智能已经成为社会发展的必然趋势，而人工智能能够正式进入到智能终端设备的原因，主要是依靠边缘计算。作为未来社会、经济运行的基础设施的重要组成部分，边缘计算将像助推器一样在其中发挥着巨大的作用。只有边缘计算的成熟、普及，物联网、智慧城市等才有机会加速。
相信在未来，我们将看到越来越多的边缘计算的应用场景。到那时，边缘计算将会打造一个更智能的互联世界，边缘计算技术值得期待!返回搜狐，查看更多
责任编辑：什么是边缘人工智能和边缘计算两者有什么联系
什么是边缘人工智能和边缘计算？
边缘人工智能是人工智能中最引人注目的新领域之一，它旨在让人们运行人工智能流程，而不必担心隐私或因数据传输而导致的减速。边缘人工智能正在实现更广泛、更广泛地使用人工智能，让智能设备无需访问云即可对输入做出快速反应。虽然这是对边缘人工智能的快速定义，但让我们花点时间通过探索使边缘人工智能成为可能的技术并查看边缘人工智能的一些用例来更好地了解边缘人工智能。
什么是边缘计算？
要想真正了解边缘人工智能，我们首先要了解边缘计算，而了解边缘计算最好的方式就是将其与云计算进行对比。云计算是通过互联网提供计算服务。相比之下，边缘计算系统没有连接到云，而是在本地设备上运行。这些本地设备可以是专用的边缘计算服务器、本地设备或物联网(IoT)。使用边缘计算有许多优点。例如，基于互联网/云的计算受到延迟和带宽的限制，而边缘计算不受这些参数的限制。
什么是边缘人工智能？
现在我们了解了边缘计算，我们可以看看边缘人工智能。边缘人工智能结合了人工智能和边缘计算。人工智能算法在能够边缘计算的设备上运行。这样做的好处是可以实时处理数据，而无需连接到云端。
大多数尖端的人工智能流程都是在云中执行的，因为它们需要大量的计算能力。结果是这些人工智能进程很容易受到停机的影响。由于边缘人工智能系统在边缘计算设备上运行，因此必要的数据操作可以在本地进行，在建立互联网连接时发送，从而节省时间。深度学习算法可以在设备本身、数据的原点上运行。
由于越来越多的设备需要在无法访问云的情况下使用人工智能，边缘人工智能变得越来越重要。想想现在有多少工厂机器人或多少辆汽车配备了计算机视觉算法。在这些情况下，数据传输的滞后时间可能是灾难性的。自动驾驶汽车在检测街道上的物体时不会受到延迟的影响。由于快速响应时间如此重要，因此设备本身必须具有边缘人工智能系统，使其能够在不依赖云连接的情况下分析和分类图像。
当边缘计算机被委托执行通常在云端进行的信息处理任务时，其结果是实时低延迟、实时处理。此外，通过将数据传输限制在最重要的信息上，可以减少数据量本身并最大限度地减少通信中断。
边缘人工智能和物联网
边缘人工智能与5G和物联网(IoT)等其他数字技术相结合。物联网可以为边缘人工智能系统生成数据以供使用，而5G技术对于边缘人工智能和物联网的持续发展至关重要。
物联网是指通过互联网相互连接的各种智能设备。所有这些设备生成的数据都可以输入到边缘人工智能设备，该设备也可以作为数据的临时存储单元，直到与云同步。数据处理方法允许更大的灵活性。
第五代移动网络5G对边缘人工智能和物联网的发展都至关重要。5G能够以更高的速度传输数据，最高可达20Gbps，而4G只能以1Gbps的速度传输数据。5G还支持比4G更多的同时连接（每平方公里1,000,000对100,000）和更好的延迟速度（1ms对10ms）。与4G相比，这些优势很重要，因为随着物联网的发展，数据量也在增长，传输速度也会受到影响。5G可以在更广泛的设备之间实现更多交互，其中许多设备都可以配备边缘人工智能。
边缘人工智能的用例几乎包括在本地设备上比通过云完成数据处理更有效的任何实例。然而，边缘人工智能的一些最常见用例包括自动驾驶汽车、自主无人机、面部识别和数字助理。
自动驾驶汽车是边缘人工智能最相关的用例之一。自动驾驶汽车必须不断扫描周围环境并评估情况，根据附近的事件修正其轨迹。实时数据处理对于这些案例至关重要，因此，他们的板载边缘人工智能系统负责数据存储、操作和分析。边缘人工智能系统对于将3级和4级（全自动）车辆推向市场是必要的。
由于自动无人机不是由人类操作员驾驶的，因此它们对自动驾驶汽车的要求非常相似。如果无人机在飞行时失控或发生故障，它可能会坠毁并损坏财产或生命。无人机可能会飞出互联网接入点的范围之外，它们必须具备边缘人工智能功能。边缘人工智能系统对于美团无人配送车等旨在通过无人机递送包裹的服务来说将是不可或缺的。
边缘人工智能的另一个用例是面部识别系统。面部识别系统依靠计算机视觉算法，分析相机收集的数据。为安全等任务而运行的面部识别应用程序需要可靠运行，即使它们没有连接到云。
数字语音助理是边缘人工智能的另一个常见用例。苹果语音助手Siri等数字语音助理必须能够在智能手机和其他数字设备上操作，即使它们没有连接到互联网。在设备上处理数据时，无需将其传送到云端，这有助于减少流量并确保隐私。
边缘计算对人工智能发展有什么影响
前言：随着人工智能技术的不断成熟，人工智能已经应用到多个领域。现如今，人工智能技术开始在边缘侧扩展，庞大的数据量需要快速有效地分析，这极大增强了对于边缘计算的需求，边缘计算的重要性因而逐渐凸显。近日，清华大学发布的《人工智能芯片技术白皮书(2018)》提到，随着人工智能应用生态的爆发，越来越多的人工智能应用开始在端设备上开发和部署。
清华发布《人工智能芯片技术白皮书(2018)》，边缘计算正在崛起!
目前，人工智能的计算大多发生在数据中心，但是随着技术的发展，与硬件紧密结合的嵌入式人工智能正受到越来越多的重视。物联网拥有海量的终端设备，如果这些设备产生的数据都需要上传云端进行智能处理或者深度学习，将会对网络带宽带来相当大的挑战。而边缘计算的诞生，就解决了这个问题。
近日，北京未来芯片技术高精尖创新中心和清华大学微电子学研究所联合主办的“第三届未来芯片论坛上，清华大学正式发布了《人工智能芯片技术白皮书(2018)》(简称《白皮书》)。《白皮书》中提到，随着人工智能应用生态的爆发，越来越多的人工智能应用开始在端设备上开发和部署。智能手机是目前应用最广泛的边缘计算设备，手机行业巨头例如苹果、华为、高通在内的手机芯片厂商相继推出，或正在研发专门适应人工智能应用的芯片产品。
伴随着人工智能的发展，智能终端产品不断涌现，让人们真切感受到了智能改变生活。人工智能作为一种通用型技术，在自身发展的同时也推动着其他技术的发展，而其他相关技术的发展反过来又加速了人工智能的进步。而即将落地的5G就为人工智能数据的传送速度及质量提供了有效保证。尽管，人工智能现在已经取得了相当大的突破，但仍然面临着许多挑战。特别是在物联网时代，随着智能终端产品的增长，大量数据通过有限的网络连接传输至数据中心进行运算后，再传回到设备端，这将导致额外的延时并浪费宝贵的带宽。而现阶段，就需要边缘技术解决。
什么是边缘计算？
边缘计算是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。这样能够减少请求响应时间、减少网络带宽同时，保证数据的安全性。
那么，边缘计算具有什么特点呢？
1、低延时：因为边缘计算靠近数据接收源头，所以能够实时获取数据并对数据进行分析处理。
2、高效率：边缘计算是相对于云计算更靠近设备端，可以在边缘节点处实现对数据的分析和处理，不需要等待数据传输的时间，所以效率会更高。
3、更安全：边缘计算在获取数据之后，可以对数据加密之后再进行传输，大大提升了数据的安全性。
4、缓解流量压力：边缘计算在进行云端传输时通过边缘节点进行一部分简单数据处理，当面对大量数据时，可以通过压缩算法，提取到有用信息之后再进行传输，这样可以降低带宽资源消耗。
边缘计算实现智能互联世界!
虽然边缘计算有许多不同的使用场景，但是它的本质与人工智能、物联网密切相关。目前，人工智能应用更多的是依靠云端，边缘计算则是将智能从云端转向边缘。未来，如果没有边缘计算的支持，将会有很多应用可能都无法实现。例如：自动驾驶、远程医疗以及智慧城市等。这些智能终端产品或解决方案，都是不允许超过数毫秒的时延，并对于抖动或时延变化极其敏感的。
在很多场景下，尤其是使用封闭式自动化操作来维护高可用性的场景，响应时间必须保证在几十毫秒内，而这种条件如果没有边缘计算是无法达成的。例如：目前比较火热的自动驾驶汽车对实时信息交互和数据传输、交互的延迟指标要求非常严格，万一系统响应慢，轻则自动驾驶的体验度将大幅降低，重则会发生交通事故。
因此，边缘计算的重要性逐渐凸显，在终端设备对部分数据进行分析处理，将有效解决网络拥堵的问题，同时能提高系统运行效率。随着边缘计算的进步，本地设备的运算能力将不断增强，使得人工智能算法能够在离开云计算的情况下正常运行。
写在最后：
如今，人工智能已经成为社会发展的必然趋势，而人工智能能够正式进入到智能终端设备的原因，主要是依靠边缘计算。作为未来社会、经济运行的基础设施的重要组成部分，边缘计算将像助推器一样在其中发挥着巨大的作用。只有边缘计算的成熟、普及，物联网、智慧城市等才有机会加速。
相信在未来，我们将看到越来越多的边缘计算的应用场景。到那时，边缘计算将会打造一个更智能的互联世界，边缘计算技术值得期待!