人工智能行业专题研究：AI模型下沉至终端，提升边缘计算需求
（报告出品方/作者：中信建投证券，阎贵成、武超则、汪洁）
一、AI算力将在边端云端灵活分配
边缘计算在万物互联场景中至关重要
边缘计算是一种分布式计算架构，将数据处理能力和应用程序部署在更接近数据源的位置，以提高响应性，增强安全性和保护用户隐私（参考边缘计算联盟（ECC）的定义）。所谓边缘，一般包括：设备边缘和云边缘。设备边缘：一般包括直接的终端设备以及一些异构加速卡、边缘网关等设备。云边缘：一般是在设备边缘和中心云之间，比如就近部署的边缘云节点/边缘IDC。万物互联场景中，云端处理存在时延较长、成本较高、涉及数据隐私等问题，引入边缘计算至关重要。
边缘AI将与云端AI相互补充
边缘AI将AI能力引入到边缘计算场景。相较于云端集中的AI资源池运算，边缘AI具有实时响应、增加隐私性、持续改进等优势。边缘AI与云端集中的AI是相互补充、相互关联的关系，而非替代关系。
高通公司表态向智能边缘计算公司升级，提出混合AI架构
2022年5月的世界智能科技创新合作峰会上，高通公司中国区董事长孟樸强调了混合AI重要性。在5G加持下，随着生成式AI的飞速普及和计算需求的日益增长，混合处理的重要性空前凸显。混合AI架构可以根据模型和查询需要的复杂度等因素，选择不同的方式在云端和边缘终端之间分配并协同处理AI工作负载。以终端侧AI为中心的混合AI架构中，端侧设备作为锚点，可以运行数十亿参数的模型，复杂的模型则可以跨云端和终端进行运行，根据需要在用户无缝感知的情况下，使用云端计算。
AI算力预计将灵活分配
我们认为AI算力将综合考虑硬件能力、成本等因素，在边端和云端灵活分配，简单涵盖：边端AI小模型场景：本地跑一些语音识别、图像识别等算法复杂度比较低、对算力要求比较小的AI模型，同时也可以通过API调用云端AI算力/应用来实现更加丰富的AI功能。边端AI大模型场景：直接在边缘侧运行AI大模型。这类场景我们认为可能会率先在手机、PC、智能驾驶、具身智能、元宇宙、工业控制等自身具备一定算力基础的场景落地。
联邦学习等方法研究在边缘计算架构下进行分布式训练
联邦学习FL（FederatedLearning,FL）采用分布式学习架构，使得神经网络模型在移动边缘计算（MEC）架构下可以进行分布式训练，参与学习的客户端无需上传本地数据，只需将训练后的模型参数更新上传，再由边缘服务器节点聚合、更新参数并下发给参与学习的客户端。由于不需要共享和传输原始数据，采用类似集群的通信结构，FL更适合于移动终端等大规模、广分布的部署环境。
二、大模型向边缘端渗透初见端倪
大模型在边缘端渗透的条件：模型压缩+算力提升
大模型向边缘端渗透，需要算法、硬件协同优化，模型压缩和边缘侧计算性能提升是两大关键。模型压缩：比如GPT-175B模型约有1750亿参数，以半精度（FP16）格式计算，至少占320GB存储空间。模型压缩是大模型向边缘渗透的其中一个重要条件。计算性能提升：包括算力、显存、功耗等多方面的硬件综合能力。目前在这两个方向上，我们都可以看到不错的进展预期，大模型在边缘端渗透初见端倪。
模型压缩：包含量化、蒸馏、剪枝等多种方式
模型压缩主要包括ModelQuantization模型量化、knowledgedistillation知识蒸馏、ModelPruning模型剪枝、Low-RankAdaptation低秩适应、weightsharing权值共享、architecturesearch结构搜索等方式。
模型压缩：SparseGPT可以一次性修剪至少50%的稀疏性
奥地利科技学院等机构的研究者提出SparseGPT，可以在100亿-1000亿参数的模型规模上有效地运作。SparseGPT将剪枝问题简化为一组极其大规模的稀疏回归实例，基于新的近似稀疏回归求解器用于解决分层压缩问题，效率足以在几个小时内使用单个GPU在175B参数的GPT模型上执行。SparseGPT可以在OPT家族的1750亿参数变量中剪枝到高达60%的均匀分层稀疏性。
模型压缩：逐步蒸馏法用7.7亿参数蒸馏超过5400亿的大语言模型
5月3日，华盛顿大学与Google一起公布逐步蒸馏（Distillingstep-by-step）法，可使用更少的数据来做模型的蒸馏（据论文描述，平均只需要之前方法的一半数据，最好的情况只需要15%的数据就可以达到类似的效果），并可获得更小规模的模型（最多可比原模型小2000倍，即可获得大模型差不多的效果）。
模型压缩：开源模型原驼可以做到ChatGPT99%的能力
华盛顿大学发布开源大模型原驼（Guanaco），自动测试分数达到ChatGPT的99.3%，并且同时发布新方法QLoRA，把微调大模型的显存需求从>780GB降低到
>
算力提升：包括算力、显存、功耗等多维度
算力：Transformer模型更加依赖大算力的支撑。参考壁仞科技数据，对于40个字的文本序列，进行一次Bert推理需要7Gflops，由中文翻译到英文的Seq2Seq模型需要20Gflops。标准版BERT模型参数量是3.4亿个参数。显存：以一个100亿参数模型，FP16精度为例，参数量需要20GB内存（10B*2Bytes），梯度需要20GB内存（10B*2Bytes），优化器状态需要40GB内存（10B*2Bytes*2），总计需要80GB内存。功耗：随着算力的提升，带来功耗提升，对于芯片的散热要求将明显提升，同时不同场景对于设备耗电量、待机时长等也都有不同要求。
当前进展：手机、PC端已经出现边缘大模型场景落地
手机：ChatGPT已推出IOS应用，安卓版后续也会发布。高通在搭载第二代骁龙8移动平台的Android智能手机上部署StableDiffusion（参数超10亿个），在15秒内执行20步推理，生成一张512x512像素的图像。PC：微软和高通、英特尔在AI领域展开合作，部署推出搭载AI引擎的PC产品。具身智能：英伟达创始人黄仁勋表示AI下一个浪潮将是“具身智能”，并且公布了多模态具身人工智能系统NvidiaVIMA。
三、产业链新增AI，强化算力与连接
边缘计算市场快速增长
STLPartners数据显示，边缘计算潜在市场将在10年内以48%的复合年增长率从2020年的90亿美元增长到2030年的4450亿美元，其中边缘基础设施的增长速度是最快的。亿欧智库数据显示，2021年我国边缘计算市场规模已经达到427.9亿元，其中边缘硬件市场规模为281.7亿元，边缘软件与服务市场规模达146.2亿元，2021-2025年中国边缘计算产业规模预计年复合增速达到46.81%，2025年边缘计算市场整体规模将达1987.68亿元。
边缘计算产业链：新增AI，强化算力与连接
从产业链角度，边缘AI核心在于引入边缘侧的AI能力，进一步增强边缘侧的算力能力、连接能力。重点包括AI芯片、算力模组、边缘网关/服务器/控制器等硬件、AI算法/边缘计算平台等软件环节。
AI芯片：专门用于处理AI大量计算任务的模块
AI芯片是指专门用于处理人工智能应用中的大量计算任务的模块，其他非计算任务则更多仍由CPU负责。从技术架构来看，Al芯片主要分为GPU、FPGA、ASIC三大类。其中，GPU是较为成熟的通用型人工智能芯片，FPGA和ASIC则分别是针对人工智能需求特征的半定制和全定制芯片。典型AI运算通常需要CPU或者ARM内核来执行调度处理，大量的并行计算靠GPU、FPGA或ASIC来完成。
模组：标准化的模组形态可以有效满足物联网碎片化需求
无线模组是物联网中的连接器件，无线模组将芯片、存储器、功放器件等集成在一块线路板上，实现无线电波收发、信道噪声过滤及模拟信号与数字信号之间相互转换，并提供标准接口的功能模块，终端借助无线模组可以实现通信或定位。物联网的碎片化需求，基于芯片的开发技术门槛高，客户会选用标准的模组，直接使用模组的标准硬件接口和嵌入式应用协议，不必关心底层逻辑，只要做好应用侧适配。
智能控制器：家电等场景实现智能化的“大脑”
智能控制器和边缘节点算力同样直接相关。在智能家居、家电、工业控制等场景中，智能控制器是其实现智能化的大脑。AI带动下游智能化能力提升，智能场景的功能及其交互方式将更加丰富，包括机器视觉、语音识别等AI算法将更多与应用场景结合，同时控制器中也将引入算力芯片等，对于智能控制器的需求量和ASP也将会是直接正向的带动。
四、围绕受益环节、兼顾弹性选标的
用量和成本维度量化算力弹性
算力用量：不同场景对于算力的需求有所不同，智能家居等场景典型算力需求小于1Tops，自动驾驶随着级别升高算力需求在20Tops~4000Tops。AI大模型往终端渗透有望进一步提升算力需求。算力成本：单位算力成本与芯片研发成本、制造成本、出货规模、算力规模等直接相关，同时也需要考虑配套的存储、应用开发等环节。结合势乘资本的数据，我们简单量化匡算算力成本为5元/Tops-10元/Tops，相对总体算力越高，单位成本越低。
广和通：已推出基于高通QCS8250的高算力AI模组
广和通是全球蜂窝物联网通信模组头部企业，在PC、FWA等垂直行业蜂窝模组市场份额领先，收购锐凌无线后车载通信模组跻身全球第一梯队。2022年公司收入56.46亿元，归母净利润3.64亿元。公司积极布局算力模组，已经推出基于高通QCS8250芯片平台的高算力AI模组SCA825-W，可全面提供高达15TOPS的算力支持；FM1605G模组与安提国际AI边缘计算平台AN810-XNX成功联调。公司算力模组目前在支付和车载领域应用比较多，并积极拓展边缘算力终端设备、机器人、IPC安防、工业检测和控制等领域，有望充分受益边缘AI发展。
拓邦股份：积极布局AI、机器人等新领域
拓邦股份是国内智能控制器头部厂商，以电控、电机、电池、电源、物联网平台的“四电一网”技术为核心，面向家电、工具、新能源、工业、智能解决方案等五大行业提供各种定制化解决方案，已形成家电、电动工具、新能源“三足鼎立、并驾齐驱”局面。2022年公司收入88.75亿元，归母净利润5.83亿元。公司积极布局AI、机器人等新领域。公司持续推动T-smart一站式解决方案落地于不同智能家居场景，并且完成了主流IoT生态网关产品的开发认证。在扫地机器人、商用炒菜机器人、服务机器人等领域持续投入，已具备AI、IOT、运动控制、BMS、电机驱动、Slam、路径规划等技术积累，产品涵盖控制器等零部件、ODM/自主品牌整机产品。
网宿科技：积极发掘边缘计算在AI上的资源和服务潜力
网宿科技围绕CDN及边缘计算、云安全两大核心主业，以及私有云/混合云、MSP、液冷等新业务方向，不断完善产品矩阵。2022年公司收入50.84亿元，归母净利润1.91亿元。公司推出边缘计算平台，基于全球广泛分布的节点资源，融合计算、网络、存储等核心能力构建的边缘开放平台，就近为用户提供边缘算力等服务。面向AI机会，公司表示AI在CDN及边缘计算的应用主要是AI推理模型计算和相关应用的传输及安全需求，公司正在积极探索发掘边缘计算在AI上的资源和服务潜力。通过“3+X+AI”SASE架构，网宿科技整合自身的安全、网络、边缘计算能力，构建能力开放平台，并将AI能力融入到安全防御各环节，落地了边缘计算全栈防护体系。
报告节选：
（本文仅供参考，不代表我们的任何投资建议。如需使用相关信息，请参阅报告原文。）
精选报告来源：【未来智库】。
人工智能加速走进百姓生活
按照大脑指令可做出灵活动作的智能仿生手，帮助肢体缺失患者重建手部运动功能；会学习的农田打药机器人能在雨雪、低能见度等恶劣条件下自动驾驶作业；宠物型机器人可以陪伴老人和小孩，有温度地进行情感交流……
正在浙江杭州举办的2023全球人工智能技术大会上，形形色色的人工智能概念和产品吸引众多目光，与会专家就人工智能话题展开探讨，描绘未来发展图景。
智慧生活可感可触
由中国人工智能学会和杭州市政府主办的此次大会，吸引了国内外近300位业内专家和70余家企业参会。穿梭在大会展区内，日新月异的人工智能技术可感可触，生产、医疗、教育等越来越多领域都能看到人工智能的身影。
简单输入文字，几秒就能生成图画、创意、文本等，百度“文心一言”“文心一格”、科大讯飞“讯飞星火认知大模型”等生成式人工智能产品，通过自然对话方式理解和执行用户任务，吸引众多参展观众体验，展现了人工智能更广泛的应用前景和巨大的赋能潜力。
让截肢患者可以像控制自己的手脚一样控制假肢，帮助孤独症患者提升社交沟通与行为能力，助眠舒压、改善睡眠质量……在强脑科技的展台上，公司展出了智能仿生手、智能灵巧假腿、脑机智能安睡仪等多款脑机接口产品。工作人员表示，这些产品目前已在康复、大健康、人机交互等领域被应用，智能仿生手等产品已累计帮助上千名残疾人回归正常生活。
“人工智能正在深刻改变这个时代。”中国工程院院士、中国人工智能学会理事长戴琼海在大会上表示，机器人已大规模应用于自动装配生产线，自动驾驶车辆已可以在城市道路行驶，以深度学习为代表的人工智能推动了科技、医疗、电子、金融等行业快速发展，人工智能体现了很强的赋能作用。
不断拓宽应用场景“智”绘未来
从电商、搜索，到对话、产业场景，我国的人工智能大模型正逐步落到应用层面。未来，随着技术不断迭代更新，其应用场景将更加广泛。
从虚拟数字人到外骨骼机器人，主打陪伴的机器人将随着人工智能深度学习模型相关领域的发展，外形、交互能力以及学习能力甚至情绪感知能力都将得到很大提升。2022年，科大讯飞正式宣布启动“讯飞超脑2030计划”，目标是让人工智能懂知识、善学习、能进化，让机器人走进每个家庭。
在会上，中国科学院院士管晓宏描述了人工智能在音乐艺术领域的应用前景——“复活”3000首中国古琴曲。中国古琴曲有特殊的记谱方式，主要记录指法和音位，不记录每个音的具体值，仅凭曲谱不能直接演奏，需要转化成可演奏的琴曲。
“这是中央音乐学院音乐人工智能与音乐信息科技系一位博士生的研究课题，该项目将人工智能等前沿科技应用于古琴领域，通过深度学习古琴古曲，建立古琴数据集并完成古琴琴谱数字化的底层工作，推动古琴文化保育与传承。”管晓宏说，人工智能技术在很多领域都展现出强大的应用潜力。
与会专家认为，人工智能可以拓展人类发现、理解与创造的能力。未来，它的发展要承担起赋能生活、提升幸福感的使命。
智脑同飞促发展
在与会嘉宾看来，人工智能要加速发展还有很多瓶颈问题要解决。未来的人工智能应该具备对大场景、多对象、复杂关系的精准理解，这样才能弥补现有人工智能的不足并推动其发展。
“这就要求我们从脑科学出发，构建新一代人工智能的理论、方法和技术。”戴琼海表示，应加快脑科学基础研究，智脑同飞带动人工智能技术发展。
另一方面，要推动人工智能的创新发展，数据、算法与算力是发展支柱。戴琼海说，当前，算力的优化与创新刻不容缓。人工智能进入了交叉时代，除了向物理要算力，还要向脑科学要算力，比如类脑计划，希望通过模拟脑科学里的机理提升算力。
人工智能加速变革的同时，针对其伦理规范、风险框架等方面的探索同样被广泛关注。与会嘉宾表示，要强化伦理风险治理，促进国际合作交流，让人工智能更好地造福人类社会。
（新华社杭州6月11日电）
浪潮新基建参编的国家标准《智慧城市 人工智能技术应用场景分类指南》发布
近日，由中国电子技术标准化研究院牵头，浪潮新基建等近40家单位共同编制的国家标准《智慧城市人工智能技术应用场景分类指南》(GB/Z42759-2023)(以下简称《指南》)经市场监管总局(标准委)批准发布。
人工智能技术作为国家“新基建”之一，是助力数字经济发展、推动智慧和谐社会构建的重要“基石”。在全国和地方政策的支持下，人工智能技术的应用已在全国各地进行探索与实践。但由于我国智慧城市建设整体上处于起步阶段，人工智能技术本身也在快速发展和完善中，很多城市对于当前人工智能技术的应用领域和功能范畴缺乏科学、全面的认识，导致规划和应用中缺乏依据，存在盲目建设、建设困难等情况。
《指南》构建了面向智慧城市的人工智能技术应用体系，全面地考虑人工智能技术在民生服务、城市治理、产业经济和生态宜居等智慧城市领域中的典型应用场景，为智慧城市相关规划单位、人工智能技术应用单位提供了重要指导，有助于人工智能技术在智慧城市领域的健康发展与利用。
浪潮新基建深耕智慧城市领域多年，以人工智能、大数据、数字孪生和物联网等数字技术为基础，提供覆盖政务服务、城市安全、城市治理、经济发展和民生服务等智慧化、智能化场景的产品与解决方案，助力城市数字化转型与高质量发展。目前，已联合生态合作伙伴为不同层级、不同产业特色的全国60多个城市提供了智慧城市相关产品及服务，打造了“智慧泉城”、“阳光攀枝花”、“智慧药都数字亳州”等一批智慧城市样板。
在发展自身业务的同时，浪潮新基建也积极开展智慧城市领域的理论研究，广泛参与《信息技术智慧城市数字化平台参考架构数据与服务》(ISO/IEC24039:2022)、《新型智慧城市评价指标》(GB/T33356-2022)、《智慧城市设备联接管理与服务平台技术要求》(GB/T40689-2021)等二十余项国际和国家标准的编写，以及《智慧城市运营白皮书(2022)》等系列白皮书的编写，引领行业创新发展。
此次《指南》的编写，也是浪潮新基建萃取多年在智慧城市领域开发与应用人工智能技术的经验，为行业发展贡献“浪潮智慧”。
数字经济时代，新型智慧城市成为城市空间发展和治理模式发展的必然趋势。浪潮新基建将持续发力智慧城市建设，推出更高水平的研究成果，推动智慧城市标准化工作，为经济社会的高量发展贡献力量。(凯悦)