华为昇腾：地表最强的人工智能芯片
EETOP专注芯片、微电子，点击上方蓝字关注我们
来源：老石谈芯
两年前，华为正式发布了名为“昇腾”的人工智能专用芯片，并高调宣布，这是当时世界上算力最强的AI处理器。转眼之间两年过去了，牛年来了，在这篇文章里我们就一起来看看，昇腾到底“牛”在哪里。（我把昇腾AI芯片的一些知识点总结成了一个思维导图，请在老石谈芯后台回复“昇腾”查看。高清pdf版本已上传至知识星球：老石谈芯–进阶版）
为什么需要人工智能芯片
在探讨昇腾芯片的软硬件架构之前，有必要首先明确人工智能芯片的必要性。
在过去的几年里，人工智能技术取得了飞速的发展。业界普遍认为，驱动这一发展的主要力量有三个：一个是海量数据的产生和累积，一个是理论算法的创新，还有一个就是计算技术的变革。
可以说，数据、算力、算法这三点是相互结合，缺一不可的。如果我们把人工智能技术的发展比作一个正在起飞的火箭，那么大数据就是它的燃料，算法和理论用来控制它的飞行轨迹和姿态，计算技术则是它持续爆发的引擎。
为了让这个火箭飞的更高，飞的更远，我们就需要不断获取更多的数据，并且不断创造和改进我们的算法、模型和理论，来对这些数据进行更有效的处理、分析和利用。此外，我们还要不断升级计算的能力，从而在更短的时间里处理更多的数据。而承载这一切发展的最重要的基础，就是芯片，特别是人工智能芯片。
在之前的文章里，我们介绍过四种主要的人工智能芯片，分别是针对AI应用进行了架构优化的CPU、GPU，还有FPGA，以及AI专用芯片ASIC。为了评价这四种AI芯片的优势和劣势，我们讨论了衡量AI芯片的五个重要因素，分别是性能、灵活性、同构性、成本和功耗。
总体来看，这四种芯片都有各自存在的意义。每种芯片都有自己的独特优势，也有不可忽视的短板。拿AI专用芯片举例，它最主要的优势就是极高的性能和极低的功耗，但是代价就是极高的研发成本，以及较低的灵活性。关于其他的比较内容，欢迎看一下那篇文章《算力至上？AI芯片大对决》。
接下来，我们就重点看一下人工智能专用芯片，特别是华为的昇腾AI芯片的相关技术内容。我会结合目前可以找到的公开技术资料，尽量深入地分析昇腾AI芯片的一些技术特点，包括硬件架构、软件框架，以及华为基于昇腾处理器的全栈式解决方案的一些有比较意思的内容。
昇腾AI芯片–硬件架构
首先来看一下昇腾AI芯片的硬件架构。这里以及之后说的“昇腾AI芯片”其实有两个，一个是2018年发布的昇腾310，它主要针对的是推理应用，还有一个是2019年发布的针对训练应用的昇腾910。
值得注意的是，作为人工智能专用芯片，昇腾310和昇腾910都是为了特定的应用领域进行设计和深度优化的，这也是它们区别于CPU、GPU这些通用芯片的最主要的方面。我们都知道，AI系统又继续分成训练和推理这两个主要的过程，这也会造成不同AI芯片的优化侧重点有所不同。
比如，昇腾910主要针对的是云端的AI训练应用，所以芯片的性能，也就是算力的大小，就是它优化的重点。昇腾910使用台积电7纳米工艺制造，FP16算力可以达到256TFLOPS，INT8算力高达512TOPS，同时支持128通道全高清视频解码。这些性能其实都超过了同时期、或者使用同等工艺进行制造的GPU，比如英伟达的V100。为了实现这么高的算力，昇腾910的最大功耗为310W，和GPU基本处于一个量级。
相比之下，昇腾310针对的是推理场景，主要应用在移动端，所以这就需要对性能和功耗进行一定的平衡。这是因为我们基本不可能在部署智能摄像头、无人驾驶车辆，或者是我们的手机或者手表里放一个有着几百瓦功耗的AI芯片。同时对于一些边缘计算的场景，对芯片使用成本的控制，以及芯片本身的实时性、安全性等等，也都是重要的考虑因素。
所以结合这些需求，昇腾310采用的是12纳米工艺进行制造，最大功耗仅为8W。在性能方面，它的FP16算力达到了8TFLOPS，INT8的算力可以达到16TOPS，同时也集成了16通道的全高清视频解码器。这些在边缘计算领域其实已经是很高的算力了。
在之前介绍苹果M1芯片的时候我们说过，现在很多的芯片结构其实都是以片上系统（SoC）的形式进行设计开发的，当时我们拿蛋糕举过例子，也就是在一个盒子里装了很多不同的小蛋糕，而不是直接做一个特别大的蛋糕。当然有很多朋友也举了不少其他的例子，比如什么双拼披萨、肉夹馍，还有说五仁月饼的。反正不管是什么吃的，这样做都有很多的好处，比如每个小蛋糕可以分别做，还可以做不同的口味、大小，最后整合在一起就好，这样既节省了制作的时间，也降低了制作的风险和成本。
同样的，昇腾AI芯片的本质也是一个片上系统。在芯片上有很多不同的模块，也就是前面说的小蛋糕组成，它们有的负责数据存储、有的负责接口和通信、有的负责任务调度和控制，还有最重要的就是负责AI运算的计算核心。
昇腾910架构示意图
从硬件结构来看，昇腾AI芯片最主要的特点，就是它的这个AI核心采用了华为自研的达芬奇架构。昇腾系列的两款芯片，也就是昇腾910和昇腾310，都使用了这个基于达芬奇架构的AI核心。这个也是昇腾芯片的主要竞争优势。
总体来说，这个达芬奇架构可以分为三个主要的组成部分，分别对应数据的计算、存储和控制。
拿计算单元来说，它可以执行标量、向量和张量三种基础运算，分别对应上图中的蓝色、橙色和红色的部分。比如这个张量运算就是专门用来加速AI应用中的矩阵运算，它也叫所谓的3DCube单元，它可以用一条指令完成两个16x16的矩阵相乘运算。
由于篇幅所限，达芬奇架构的具体细节在这里就不再一一介绍了，有兴趣的朋友可以看一下《昇腾AI处理器架构与编程》，这本书由华为官方背书，里面有关于昇腾AI芯片比较深入的介绍。
昇腾AI芯片–软件架构
除了芯片的硬件结构之外，同样非常重要的就是编程方法和软件架构的设计和实现。英伟达GPU之所以在人工智能领域大放异彩，并且得到非常广泛的应用，GPU芯片性能的提升固然重要，但更重要的就是它推出的成熟易用的编程框架CUDA。
相比之下，FPGA的编程难度极大，这也在很大程度上限制了FPGA的广泛使用。当然为了应对这个问题，FPGA厂商也在努力尝试简化FPGA的编程难度，包括提供更加易用的编程工具，或者使用高层次综合的方法对FPGA进行编程等等，这些在之前的文章中详细介绍过，这里就不再赘述了。
对于AI专用芯片，编程性也是重中之重。为此，昇腾AI芯片也提供了一个多层的软件栈和开发工具链，来帮助开发者更好的使用和开发昇腾。通过软件的多样性，也能在很大程度上弥补专用芯片灵活性不足的劣势。
总体来说，这个软件栈可以分成四层。最底下的是处理器的计算资源，比如前面提到的AI核心、CPU，还有负责数字视觉的计算模块等等。再往上是一些标准的加速库，负责给硬件输出算子层面的任务。此外还有任务调度器和一些预处理模块。然后再往上，就是框架层，顾名思义它就是用来调用和管理深度学习框架，并生成离线模型。
值得注意的是，昇腾AI处理器不仅支持主流的深度学习框架，比如TensorFlow和PyTorch，还支持华为自研的名叫MindSpore的深度学习框架。通过MindSpore框架产生的神经网络模型，可以直接运行在昇腾AI处理器上，而无需进行硬件的适配和转换，这也就极大的提升了开发效率。
在2020年的开发者大会上，华为也正式将MindSpore框架进行了开源，这也是构建广阔生态系统的重要一步。
这个软件栈的最后一层，就是应用层，它的抽象程度最高，封装集成了很多专用领域的计算引擎，比如针对计算机视觉、还有针对语言文字处理的算法封装等等，用户可以直接拿来进行调用。
除了这几个大的逻辑层次之外，昇腾的软件栈还提供了一个完整的开发工具链MindStudio，包括编译、调试、性能分析、模型转换等等，这里就不再多说了，有兴趣的读者朋友可以看一下前面提到的书籍。
昇腾AI芯片–生态系统
有了硬件架构和软件栈，还需要最后一个大的环节，来完成整个生态的闭环，那就是提供结合软硬件的系统级解决方案。这个其实是一个目前芯片业界的发展趋势，不管是CPU、GPU、FPGA还是这样的AI专用芯片，其实都是在遵循这个规律在发展。
简单来说，就是芯片公司不仅要提供牛逼的芯片，当然这个是最基本的大前提，除此之外它们还要提供好用的软件和开发工具，就像前面介绍的软件栈。再然后，最好还要提供完整的参考设计以及软硬件系统，让大家拿过来就能用。
之前介绍苹果M1芯片的时候也说过，我们不可能去单独买到这个芯片，而是需要购买整个生态系统。这个对于FPGA也是如此。最早的时候，像Altera或者赛灵思这样的FPGA厂家都是卖芯片，但是现在这些公司也在不断推出各种基于FPGA的加速卡产品，同时也提供了像OPAE或者Vitis这样的软件栈和开发软件，并且以此构建生态。
同样的，昇腾也提供了一系列的硬件产品，从最小的加速模块，到推理或者训练专用的加速卡，再到专用的服务器，甚至是由多个服务器阵列组成的计算集群，这些也构建了一个涵盖终端、边缘以及云计算的产品组合，使得用户可以根据自身的实际需要，选择合适的硬件产品，这也就是华为说的全场景覆盖。
Atlas900AI计算集群
当然了为了打造良好的生态，开放和交流也是必不可少的。为此华为推出了昇腾社区，在那上面基本包含了和昇腾软硬件相关的所有内容，有兴趣的读者朋友可以去看看。
小结
本文从硬件、软件和生态三个角度介绍了华为的昇腾AI处理器。我们还深入探讨了华为自研的达芬奇架构、以及MindSpore这个深度学习框架的一些技术特点。同时我们也看到了一些业界的发展趋势，也就是以硬件为基础，通过软件扩展灵活性和易用性，然后围绕软件和硬件去打造系统级的解决方案，并构建一个完整的生态系统。
说了这么多，仍然没有回答文章题目提出的问题，也就是昇腾AI芯片究竟是不是地表最强的AI芯片？这个问题并没有一个明确的答案，因为这取决于我们的衡量维度和评判标准。更重要的是，我们应该思考这个问题的必要性，也就是“是不是最强，到底有什么意义”？事实上，作为仍然在不断发展的技术，任何进步都是值得被肯定和鼓励的。
人工智能，让世界更美好
人工智能无疑是当下最时髦的话题，从达沃斯论坛到各个国家和区域的未来发展战略，从好莱坞的科幻大片到各地的科技展会，从微软、谷歌、苹果、亚马逊等全球最知名的科技巨头到名不见经传的创业公司，无不瞄准人工智能这一风口。
那到底什么是人工智能？人工智能将给我们带来什么？
关乎寻常百姓的日常国庆长假，很多人选择回家看望年迈的父母甚至祖父母。当我们看到他们头发白了，眼眉低垂，看到他们老了，走不动了，有的连智能手机都不会用，按个电视遥控都要带上老花镜。短暂的相聚之后，上班的上班，上学的上学，很多人带着无奈、不舍和万般牵挂离开家。在当前整个世界日趋老龄化的形势下，如何通过科技和信息技术，让独居在家的老人们生活得更加容易，更加快乐，也让在外打拼的子女们更加放心呢？
试想，如果有这样一个可爱的小型家用机器人，我们姑且叫他“小宝”，来看看他的本事吧：他不用碰触老人，就可以实时监测老人的血压、心率、体温等各项健康指标，一旦发现异常即自动联系亲属，或者拨打120；老人想听戏了，就喊“小宝，我想听戏”，他会根据老人的喜好自动联网搜索戏剧视频，并播放给老人收看；老人说，“小宝，你能给我跳个舞吗”，小宝就会坐地而起，手舞足蹈；老人说，“小宝，我想儿子了，帮我打电话”，小宝会自动拨通你的电话；“小宝，喊张大爷他们几个下午2点来下棋！”小宝就会在老人棋社微信群发布通知信息；小宝还会主动发现家里的牛奶快喝完了，问：“爷爷，我们的牛奶快没有了，要不要买一些来？”得到爷爷的同意后，自动上网下单；快没电了，小宝自己会乖乖地跑去找电源充电；老人出门时，就把小宝拿起来塞进自己的上衣口袋，你可以实时知道老人的行踪……家里有了这么一个集智能电话、电子宠物和生活助理于一身的小宝，你是不是觉得更放心一些了？
这并不是天方夜谭。今年4月底，在北京举办的全球移动互联网大会（GMIC）的未来峰会上，当我第一次看到夏普的RoBoHoN人型机器人电话时，就认定这类小型的家用机器人应该会成为未来非常抢手的“老人智能机”或“老人居家助理”，该设备除了具备通话、短信、上网、自拍等基本的智能手机功能，还可以自主坐下站立、行走跳舞以及“与人交流”，非常可爱。这类产品和各种智能盒子一起，会成为未来智能家庭的一种非常典型的应用。我本人非常期待类似的产品尽早成熟和大规模商用，以更好地帮助我们照料老人，提高他们的生活质量。
我们再来看看另外一个群体，留守儿童。据相关统计，数千万的留守儿童因为他们的父母进城打工，不得不承担起自己照管自己，甚至照顾爷爷奶奶的重任，由此产生的各种社会隐忧，不言而喻。与此同时，在越来越多的地方，作为人类赖以生存基本资源的农田却大面积荒芜，而且这个趋势还在进一步蔓延。我不是社会学家，但是仍然对这样的社会现象深深地担忧。在国家实施“中国制造2025”，迈向工业4.0时代的大背景下，工业机器人和智能制造的飞速发展，逐渐会将农民工从繁重而单调的劳动下解放出来，他们要么通过技术培训成为“人机协作”的高素质劳动者，继续留在城市务工；要么返回农村投身到新农村的建设中去。通过智能制造这个行业管中窥豹，人工智能正在悄无声息地改变所有的行业，也在改变栖身其中的从业人员的命运。
未来二十年，人类将全面进入人工智能时代。不管你愿不愿意，我们都必须面对。
什么是人工智能说到人工智能，不同的人有不同的理解，眼前会出现不同的画面。上网搜索，我们会发现，人工智能（ArtificialIntelligence），英文缩写为AI，它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会成为人类智慧和整个社会智慧的“容器”。二十世纪七十年代以来，人工智能和空间技术、能源技术被称为世界三大尖端技术，也和基因工程、纳米科学一起被认为是二十一世纪三大尖端技术。
六十年前，当人工智能的构想刚被推出时，主要是作为学术和理论研究取得了一些巨大的发展。进入二十一世纪以来，我们非常高兴地看到，基于无所不在的互联网，以及云计算和大数据技术的快速发展，人工智能已经从学术领域的研究，转变为一系列主流的科技产品，并对人类的日常工作和生活逐渐产生了深远的影响，诸如各个领域的机器人、语音识别、图像识别、机器翻译等。
尤其是在今年五月，举世瞩目的谷歌围棋人工智能AlphaGo与世界围棋冠军李世石的人机对决中，机器最终获得成功，向世界展示了人工智能时刻的到来，也由此点燃了全世界科技界和媒体界对于人工智能的高度关注和热烈追捧。
10月5日，在刚刚结束的2016秋季产品发布会上，Google发布了包括Pixel手机、DaydreamVR头盔、GoogleHome等在内的硬件产品，产品覆盖了智能手机、人工智能、VR、智能家居等多个领域。同时，Google提出了人工智能优先（AIFirst）的战略口号，将人工智能产品落地摆在了首要位置，并在发布会现场通过GoogleAssistant的视频演示，让参会者身临其境地了解到人工智能将会如何影响和帮助到每一个人的日常。
随着硬件时代的迭代，人机交互的方式正在发生翻天覆地的变化，从以PC桌面互联网时代的键盘、鼠标交互，到以智能手机移动互联网时代的触控交互，再到万物互联时代的语音交互，真正的人工智能时代正在到来。
与人工智能相关的计算机视觉、自然语言处理、机器深度学习等技术的新发展备受瞩目，而且意义深远，终将实现令人叹为观止的创新应用，例如先进的个人虚拟助手、自动驾驶汽车、意念控制的义肢、数据化驱动的个性化医疗和教育项目等。2016年10月10日，华为诺亚方舟实验室和加州大学伯克利分校宣布进行人工智能基础研究的战略合作，重点聚焦上述领域的课题研究。双方相信，此次战略合作会加速人工智能技术的科研发展，给人们的生活带来全新的体验。
人工智能+，将改变所有的行业如今，不论公司大小，发展时间长短，尤其是科技公司和投资行业，想不谈人工智能已经是件非常不容易的事情。如果你现在对人工智能仍然一无所知，仿佛已经落后于时代。而且，未来任何一种商业，以及我们每一个人的生活，都将被智能化所拥抱。人工智能加上云计算和大数据，将让世界上的每一台设备、任何一个物件都具有自学习、自管理和自优化的能力，万物将变得智能，整个社会将变得更加智能和高效。人工智能+，将改变所有的行业。
斯坦福大学最近发起了一个名叫“人工智能100年”的研究项目，9月1日，该项目的第一个成果《人工智能与2030年的生活》发布。这个报告的第二部分，试图展望AI未来在八大领域的使用将如何改变和影响我们的日常生活，包括：交通、家庭服务机器人、医疗健康、教育、低资源社区、公共安全、工作和就业、娱乐。接下来，我们选择性地看一下几个典型的领域。
首先，交通作为现代生活的重要组成部分，已经成为人工智能技术最先涉及的应用领域之一，包括智能汽车、自动驾驶、车联网、交通规划、即时交通等。未来，自动驾驶、自动化交通很快会变得司空见惯。
其次是家庭服务机器人，这是一个非常巨大的市场。过去十五年中，机器人已经进入了人们的家庭，如扫地机器人、儿童教育机器人，但应用种类的增长非常缓慢。机械和人工智能技术的共同进步，将有望加速推进家用机器人的发展。未来，机器人将被用于快递、清洁卫生、强化安保、老人陪护等等。我个人最期待的，是如文中开始设想的“小宝”这样的家用机器人，希望这类家用智能机器人的商用和普及，能显著提高老年人的生活质量和幸福程度。
对人工智能而言，医疗一直被视为一个很有前景的应用领域。人工智能在医疗领域的主要应用，包括临床决策支持、病人监控与辅导、外科手术或病人看护中的自动化设备、医疗系统的管理，等等。近期一些成功实践，比如通过挖掘社交媒体数据，推断潜在的健康风险；通过机器学习预测风险中的病人；机器人支持外科手术等，已经为人工智能在医疗领域的广泛应用提供了极大的想象空间。
我们再来看看另一个非常重要的领域：教育。在过去的十五年间，教育界见证了为数众多的人工智能科技的进步。各种线上教育以及大学配套设备等应用，已经在全球各区域被广泛利用。尽管素质教育还是需要人类教师的活跃参与，但人工智能已经在更大范围的大规模定制化教育方面，展现出非常广阔的前景。
自然语言处理，尤其是在与机器学习和众包结合以后，有力推进了线上学习。未来五十年，基于云计算、大数据、大视频、VR/AR、人工智能等技术的结合，将帮助各个区域更好地提升教育质量和水准。尤其对于教育资源匮乏的欠发达国家和区域，基于人工智能、VR/AR技术和在线教育，将更好地因地制宜地为当地的人们提供个性化的知识和技术培训机会，让他们更好地分享全球优质的教育资源，缩小全球的数据鸿沟。
最后，来看看公共安全与防护领域。公共安全，已经成为当下非常严峻的全球性社会问题。在很多城市，已经尝试在公共安全和防护领域部署人工智能技术，这些措施包括可以检测到指向一个潜在犯罪的异常现象的监控摄像机、无人机和预测警务应用。当然，凡事都有两面性，人工智能技术在公共安全领域的普及，能获得公众信任是至关重要的，这需要相关法律制度和渐进的推进过程。
从长远来看，万物联接是大势所趋，只有万物联接、万物智能，整个社会才会更透明，也更安全。
综上所述，基于无所不在的宽带联接、云计算、大数据、物联网，人工智能在未来将会像空气和水一样无所不在，被广泛引入进而改变所有的行业，将会让所有的行业变得更加智能和高效。在这个过程中，各行各业基于互联网的云平台和相关智能技术不断跨界整合，将会生成更多更大的“知识库”。
到那时候，希望全球的就业结构能得到更好的优化，各行各业劳动者的工作负荷能相应减轻，更多的人力能从重复繁重的工作中解放出来，转去关注环保、环境改善、生态平衡，以及提高个人的艺术修养和身体健康，整个社会变得更加高效、和谐和美好。
华为要做的人工智能未来二十年，人工智能无疑是一个巨大的蛋糕，每个企业面对这个巨大的蛋糕，都有自己的预判和战略选择。对于华为而言，任正非总裁已经给出了非常明确的方向指示：基于华为在全球已经形成的巨大的网络存量，现阶段华为的人工智能研究方向，将首先聚焦在改善服务水平上。服务是华为最大的存量业务，也是最难的业务，人工智能将首先在服务领域发挥作用。
他认为，对于越来越庞大、越来越复杂的网络，人工智能是我们建设和管理网络的最重要的工具。首先，人工智能要解决我们在全球巨大的网络存量的网络维护、故障诊断与处理能力的提升。
华为在全球网络中占有三分之一的份额，这么大的存量网络维护难度也很大。网上的设备从遗老遗少，到时髦青年，还有新新人类，如果没有人工智能的自我学习、知识技能的不断扬弃，这张网只靠人怎么来维护？人是记不住这么多事故模型的。所以，我们一定要在自动诊断、自动发现故障隐患这个问题上下工夫，不然将来我们的机构很臃肿。人工智能通过学习，可以使得专家只用聚焦解决最关键的10%的问题。大量的简单的问题可让机器和系统自动去实施。
其次，通过人工智能对网络大流量预测，使得网络规划与优化从被动走向主动。以成都这张网为例，随着视频业务发展，过去一年4G用户增加75%，全网流量增加70%，成都市区用户平均下载速率从35Mbps提升到40Mbps。那么，客户的挑战是如何在网络流量快速增长的同时，保障和提升最终用户的体验？随着网络承载的业务越来越丰富，越来越动态，就需要利用人工智能去主动的预测，去主动发现未来几个月的流量热点并对网络进行事前的调整。
以后的网络是以数据中心为中心的网络，在网络的规划设计中，网络拉远共享带来了时延，拉近了则时延少了但数据中心就多了，几万个数据中心之间的数据调来调去就是个复杂的算法问题，这也需要人工智能在网络规划中发挥作用。现在我们网络优化的模式都是事后的。根据流量预测与自动规划的例子，以后可以做到提前预测，这样就在用户拥塞发生之前进行网络调整，提前避免问题。我们一定要基于人工智能，找到最实用、最简单的方式为世界更好地服务。
人工智能时代已经来临。相信并拥抱它，可能是我们面对未来巨变的唯一选择和正确态度。基于人工智能，我们有理由相信未来的产业和商业将更加高效和智能，人们的生活将更加美好。凯文•凯利甚至大胆地预测，未来人类将能把人工智能放到身体中，让自己变成机器人，这将成为人类增强自身能力最好的形式之一。让我们拭目以待。