Edge Intelligence：边缘计算与人工智能的结合
《EdgeIntelligence:PavingtheLastMileofArtificialIntelligencewithEdgeComputing》论文解读：
边缘智能的研究仍处于起步阶段，计算机系统和人工智能社区都迫切需要一个专门的地方来交流边缘智能的新进展。为了这个目的，本文对边缘智能的新研究成果进行了全面调查。首先回顾了在网络边缘运行的人工智能应用程序的背景和动机，然后提供了一个在网络边缘的深度学习模型训练/推理的总体架构、框架和出现的关键技术，终，讨论了在边缘智能上未来的研究机遇。
一、简介
边缘节点的大小可以不同，从信用卡大小的计算机到带有多个服务器机架的微型数据中心，边缘计算强调的重要特征是物理上接近信息生成源。从本质上讲，与传统的基于云的计算方式相比，在计算和信息生成源的物理接近性带来了几个好处，包括低延迟、能量高效、隐私保护、带宽占用减少、及时性和环境敏感性。
二、人工智能技术
卷积神经网络（CNN）：CNN通常应用于计算机视觉方向，给定一系列来自真实世界的图像或视频，在CNN的利用下，AI系统学会去自动提取这些输入的特征来完成一个特定任务，如图像分类、人脸识别、图像语义分割。
循环神经网络（RNN）：对于顺序性输入数据，RNNs被提出来解决时间序列问题。RNN的输入由当前输入和先前样本组成。一个RNN的每个神经元拥有一个内存来保存先前样本计算信息。RNN的训练过程基于随时间的反向传播方法（BPTT），长短期记忆（LSTM）是RNNs的一个扩展版本。LSTM的每个神经元被称作记忆单元，其包括一个乘法遗忘门、输入门和输出门。这些门被用来控制对记忆单元的访问。这些门是不同的神经网络，用来决定哪些信息在这个记忆门中被允许。由于其具有处理输入长度不固定的数据优势，循环神经网络已经被广泛应用于自然语言处理。
生成对抗网络（GAN）：GANs有两个主要成分组成，被命名为生成网络和鉴别网络。生成器主要负责在从真实数据的训练集中学习数据分布后，来生成新数据。鉴别器则主要负责将真实数据和从生成器中生成的虚假数据进行分类。GAN通常被应用于图像生成、转换、组合、分辨和其他应用程序中。
深度强化学习（DRL）：DRL由DNNs和强化学习（RL）组成，DRL的目标在于建立一个智能agent，来执行有效的策略去大化带有控制动作的长期任务奖赏。DRL的典型应用是去解决不同的调度问题，例如游戏中的决策问题，视频传输的比例选择等。在DRL方法中，强化学习从来自环境的状态函数中寻找动作的优策略，DNN则负责表示大量状态并近似动作值，来评估得到状态下的动作质量。奖赏是一个函数，用来表示预定义环境和一个动作性能的距离。通过连续的学习，DRL模型的agent可以被用来处理不同的任务。
三、边缘智能
边缘智能的动机和好处：
（1）网络边缘产生的数据需要AI来完全释放它们的潜能；
（2）边缘计算能够蓬勃发展具有更丰富的数据和应用场景的人工智能；（3）人工智能普遍化需要边缘计算作为关键基础设施；
（4）边缘计算可以通过人工智能应用来推广。
边缘智能的范围：我们认为边缘智能应该是充分利用终端设备、边缘节点和云数据中心层次结构中可用数据和资源的范例，从而优化DNN模型的整体训练和推理性能。这表明边缘智能并不一定意味着DNN模型完全在边缘训练或推理，而是可以通过数据卸载以cloud-edge-device协作的方式来工作。边缘智能的等级：根据数据卸载的数量和路径长度，我们将边缘智能分成6个等级。云智能（完全在云中训练和推理DNN模型）、Level-1（Cloud-Edge协作推理和Cloud训练）、Level-2（In-Edge协作推理和Cloud训练）、Level-3（On-Device推理和Cloud训练）、Level-4（Cloud-Edge协作训练和推理）、Level-5（In-Edge训练和推理）、Level-6（On-Device训练和推理）。当边缘智能的等级越高，数据卸载的数量和路径长度会减少，其传输延迟也会相应减少，数据隐私性增加，网络带宽成本减少。然而，这是通过增加计算延迟和能耗的代价来实现的。
四、边缘智能模型训练
架构：在边缘的分布式DNN训练架构可以被分成三个模块，集中式，分散式，混合式（Cloud-Edge-Device）。
（1）集中式：DNN模型在Cloud数据中心训练；
（2）分散式：每个计算节点使用它的本地数据在本地训练它自己的DNN模型，并通过共享本地训练更新来获得全局DNN模型；
（3）混合式：结合了集中式和分散式模块，边缘服务器可以通过分散式更新来训练DNN模型，或者使用云数据中心来集中式训练。
关键性能指标：
（1）TrainingLoss（训练损失）：表示训练好的DNN模型与训练数据的匹配度；
（2）Convergence（收敛）：衡量一个分散方法是否以及多快能收敛到这样的共识；
（3）Privacy（隐私性）：是否实行隐私保护取决于原始数据是否被卸载到边缘；
（4）CommunicationCost（通信成本）：其被原始输入数据大小、传输方式和可用带宽所影响；
（5）Latency（延迟）：由计算延迟和通信延迟组成，计算延迟依赖于边缘节点的性能，通信延迟可能因传输的原始或中间数据大小以及网络连接带宽而异；
（6）EnergyEfficiency（能源效率）：其主要被目标训练模型和使用设备的资源所影响。
支持技术：
（1）FederatedLearning（联邦学习）：优化隐私问题，通过聚合本地计算更新来在服务器上训练共享模型；
（2）AggregationFrequencyControl（聚合频率控制）：在给定资源预算下，确定本地更新和全局参数聚合之间的佳权衡；
（3）GradientCompression（梯度压缩）：梯度量化（通过量化梯度向量的每一个元素到一个有限位低精度值）和梯度稀疏化（通过仅传输梯度向量的一些值）；
（4）DNNSplitting（DNN划分）：选择一个划分点来尽可能减少延迟；（5）KnowledgeTransferLearning（知识迁移学习）：首先基于一个基础的数据集和任务来训练一个基础网络，然后在一个目标数据集和任务中将学到的特征迁移到第二个目标网络进行训练；
（6）GossipTraining（流言训练）：多设备间随机流言通信，它是完全异步和分散的。
已有系统和框架的总结：与以云为基础框架的DNN训练相比，以边缘为基础框架的DNN训练更关注于保护用户的隐私和更快地训练一个可用的深度学习模型。
五、边缘智能模型推理
架构：我们进一步定义了几个主要的云集中推理架构，包括：
（1）Edge-based（DNN模型推理在边缘服务器完成，预测结果将返回到设备中）；
（2）Device-based（移动设备从边缘服务器获取DNN模型，并在本地执行模型推理）；
（3）Edge-device（设备执行DNN模型到一个特定层后将中间数据发送到边缘服务器，边缘服务器将执行剩余层并将预测结果发送到设备上）；
（4）Edge-cloud（设备主要负责输入数据收集，DNN模型则在边缘和云上执行）。
关键性能指标：
（1）Latency（延迟）：整个推理过程中所占时间，包括预处理、模型推理、数据传输和后处理；
（2）Accuracy（精度）：从推理中获得的正确预测输入样本数量和总输入样本数量的比值；
（3）Energy（能量）：能量效率被DNN模型大小和边缘设备资源所影响；（4）Privacy（隐私）：其依赖于处理原始数据的方式；
（5）Communicationoverhead（通信开销）：其依赖于DNN推理方式和可用带宽；
（6）MemoryFootprint（内存占用）：其主要被原始DNN模型大小和加载大量DNN参数的方法所影响。
支持技术：
（1）ModelCompression（模型压缩）：权重剪枝和量化，来减少内存和计算；
（2）ModelPartition（模型划分）：计算卸载到边缘服务器或移动设备，延迟和能量优化；
（3）ModelEarly-Exit（模型前期退出）：部分DNNs模型推理；
（4）EdgeCaching（边缘缓存）：对相同任务先前结果重用的快速响应；（5）InputFiltering（输入过滤）：输入差异检测；
（6）ModelSelection（模型选择）：输入优化和精度感知；
（7）SupportforMulti-Tenancy（多租用支持）：多个基于DNN的任务调度和资源高效性；
（8）Application-specificOptimization（特殊应用程序优化）：对特定的基于DNN的应用程序进行优化。
已有系统和框架的总结：为了使一般边缘智能系统的整体性能大化，综合的可用技术和不同优化方法应当以协作的方式工作，以提供丰富的设计灵活性。
六、未来研究方向
编程及软件平台：当越来越多AI驱动的计算密集型移动和物联网应用程序出现后，边缘智能作为一个服务（EIaaS）可以成为一个普遍范式，具有强大边缘AI功能的EI平台将会被发展和部署。EIaaS更多关注于如何在资源限制型和隐私敏感型的边缘计算环境中执行模型训练和推理任务。另外，应该进一步研究轻量级虚拟化和计算技术，如容器和函数计算，以便在资源受限的边缘环境中高效部署和迁移EI服务。
资源友好型边缘AI模型设计：大部分基于AI模型的深度学习都是高度资源紧张型的，这意味着丰富的硬件资源所支持的强大计算能力是这些AI模型性能的重要提升。因此，有很多研究利用模型压缩技术（如权重剪枝）来调整AI模型的大小，使它们对边缘部署更加资源友好。
计算感知网络技术：非常需要计算感知性的先进网络解决方案，以便于计算结果和数据能够有效地跨不同边缘节点被共享。计算感知的通信技术开始获得关注，例如梯度编码在分布式学习中缓解离散效应，分布式随机梯度下降的空中计算，这些都对于边缘AI模型训练加速是有用的。
智能服务和资源管理：设计高效的服务发现协议是非常重要的，这样用户可以识别和定位相关的EI服务提供者，从而及时满足他们的需求。另外，为了充分利用跨边缘节点和设备的分散资源，将复杂的边缘AI模型划分成小的的子任务和有效地在边缘节点和设备中卸载这些任务，以实现协同执行是关键的。
七、结论
本文对边缘智能的研究现状进行了全面的综述。特别地，我们首先回顾了运行在网络边缘的人工智能背景以及动机，接着提供了一个总体架构、框架和在网络边缘训练和推理的深度学习模型的关键技术描述。后，我们讨论了边缘智能的开放挑战和未来研究方向。
来自：https://mp.weixin.qq.com/s/37qfVP-deNveddVKiZbIvA
《边缘计算视觉基础设施白皮书》，智能边缘视觉
2022年7月20日，由边缘计算产业联盟（ECC）、机器视觉产业联盟（CMVU）、智能视觉产业联盟（IVIA）联合主办，边缘计算视觉基础设施工作组（ECVI）承办的“2022智能边缘视觉高峰论坛”在云端成功举办，共有1500余人线上参会。边缘计算产业联盟专家委员会主任、边缘计算视觉基础设施工作组（ECVI）名誉主席、中国工程院邬贺铨院士，中国信息通信研究院院长余晓晖，华为机器视觉军团CTO、智能视觉产业联盟理事长段爱国，中国移动研究院副院长魏晨光出席会议并致辞，中国移动研究院业务研究所副所长杨蕾主持。
中国工程院邬贺铨院士在致辞中表示，在国家新发展格局下，边缘视觉已呈现出蓄势待发之势，正加速向行业、产业纵深发展。未来智能数字时代，视觉能力将逐步成为类似于算力、连接的一种基础设施能力，无处不在。边缘计算与视觉的结合具有更加直接和普遍的实用价值，不仅能更好地满足行业智能化发展的需求，也将创造广阔的发展空间。边缘计算产业联盟也将进一步加强与学术界和产业界的合作，深耕边缘计算在视觉领域的应用需求和落地模式，助力企业打造更多边缘视觉新应用。
中国信息通信研究院余晓晖院长在致辞中表示，边缘计算逐步由应用试点阶段迈入规模部署落地阶段。目前，全球边缘计算产业呈现多元化趋势，5GMEC、云原生边缘计算、垂直行业边缘计算三大路径在竞合中发展，国际巨头加快战略布局，产业协作不断加强，生态构建趋于完善，技术演进方向逐步清晰，已形成以边缘智能、边云协同、边缘控制等为主的边缘原生技术底座。中国信息通信研究院将始终秉承“国家高端专业智库，产业创新发展平台”的定位，积极把握边缘计算战略机遇，致力于推动我国边缘计算技术产业创新和应用发展。
段爱国总裁在致辞中表示，机器视觉正在从传统安防领域走向千行百业的智能管理、智慧运营，智能能力逐步从中心下沉到端边，并呈现端边云协同态势发展。华为机器视觉从围绕视频数据的价值挖掘到围绕机器视觉的智能推进，从传统的安防到千行百业的产业拓展，从端、边的独立发展到端边云协同发展，持续拓宽智能边缘产业的深度和宽度。华为机器视觉始终坚持“开放共生，智能共赢”理念，携手合作伙伴共同促进产业发展正循环，开创智能边缘视觉新时代。
中国移动研究院魏晨光院长在致辞中表示，随着5G、工业互联网以及人工智能等新兴技术的深入应用，边缘计算与视觉技术融合交织、加速演进，将成为推动数字经济发展，助力产业转型升级，构建智慧社会的重要引擎。中国移动将与产学研合作伙伴一起，依托ECVI平台，推动边缘计算、机器视觉等新技术从理论走向应用落地，针对产业链薄弱环节联合开展技术攻关，实现协同创新，突破技术瓶颈。
会上，ECVI工作组主席/中国移动研究院业务研究所所长俞炜对《边缘计算视觉基础设施白皮书》进行深入解读。天津大学教授/博导王晓飞进行了“从单体智能,到群体智慧论智能边缘视觉的发展”主题演讲。中国信息通信研究院高级工程师王哲就“边缘计算发展态势与展望”主题进行了深入探讨。华为技术有限公司机器视觉军团微边缘总经理钱森水发表了“智见不凡,用机器视觉点亮智慧连锁”主题演讲。中国移动浙江公司网络部总经理魏强就中国移动“打造下一代规模化、普适级Al视频产品”规划布局进行了主题演讲。浪潮通信技术有限公司产品总监魏琨进行了“融合最后一公里基础设施的工业视觉应用”主题演讲。天翼数字生活科技有限公司高级专家罗传飞介绍了中国电信在“云网融合的视联网基础设施”方面的建设经验。卡奥斯工业智能研究院(青岛)有限公司技术总监鲁效平介绍了卡奥斯“基于工业互联网的生产安全智能管控平台”。凌云光技术股份有限公司智能相机事业部高级产品经理徐盈莹带来了“边缘端可配置视觉系统”主题报告讲解。
请关注浩方信息公众号，发送“znby”可下载会议相关资料包括《边缘计算视觉基础设施白皮书》及会议主题报告PPT资料。