科学网—概念莫混淆：智能计算机不是超级计算机
概念莫混淆：智能计算机不是超级计算机
■本报记者赵广立
日前，武汉城市人工智能（AI）计算中心建成投用，媒体在报道该中心算力时称：“中心一期建设规模100PFLOPS人工智能算力……其算力相当于5万台高性能计算机。”该报道一出，引发高性能计算领域专家关注。相关专家对《中国科学报》表示，该报道内容对“超级计算机”与“智能计算机”认识不清、概念混淆，极易引发误导。
中国科学院计算技术研究所研究员、中国计算机学会高性能计算专业委员会秘书长张云泉告诉《中国科学报》：“智能计算机不是超级计算机，两者的概念应该区分清楚，否则可能会引起行业混乱。”
超级计算机还是智能计算机
目前业界用于衡量超级计算的Linpack测试，测试的是超级计算机的“双精度浮点运算能力”，即64位浮点数字的计算（FP64）。在以二进制所表示的数字精度中，还有单精度（32位，FP32）、半精度（16位，FP16）以及整数类型（如INT8、INT4）等。数字位数越高，意味着人们可以在更大范围的数值内体现两个数值的变化，从而实现更精确计算。
与许多科学计算等不同，AI所需的计算力不需要太高精度。“比如一些AI应用需要处理的对象是语音、图片或视频，运行低精度计算甚至整型计算即可完成推理或训练。”张云泉说，这种专用计算机处理AI算法速度快、能耗低，这是由其特点决定的。
智能计算机是一种专用算力，在推理或训练等智能计算方面的确表现出色，但由于AI推理或训练一般仅用到单精度甚至半精度计算、整型计算，多数智能计算机并不具备高精度数值计算能力，这也限制其在AI计算之外的应用场景使用。
而超级计算机是一种通用算力，其设计目标是提供完备、复杂的计算能力，在高精度计算方面能力更强、应用范围更广，比如科学家常使用超级计算机进行行星模拟、新材料开发、分子药物设计、基因分析等科学计算和大数据处理。
中国工程院院士陈左宁曾形象地将使用超级计算机做AI计算比喻成“大马拉小车”，来说明超级计算虽然“十项全能”，但毕竟不是为AI量身打造。智能计算机由此兴起。
此前曾一度热炒的AI与超算融合，其实正是将改良的计算机“AI专用化”，严格意义上来说，它们已经不再属于传统超算范畴。
“现在不论超级计算中心落成还是智能计算中心，都宣称算力是多少‘FLOPS’，其实这个单位是‘每秒浮点运算能力’，而一些智能计算机的单位其实是‘OPS’——每秒操作次数。如果不加区别地报道，大家很容易误认为是同一种计算精度、同一种计算能力。”张云泉说，这也导致一些地方以为花了小钱建了世界顶级的“大超级计算”，好像占了便宜；等项目上了马，将项目介绍给超算业内人士时，才恍然大悟。
用新指标引导行业健康发展
张云泉告诉记者，除了混淆智能计算机和超级计算机之外，业内还存在另外一种误导。
“有些厂商还会模糊智能计算机的推理性能和训练性能。”张云泉告诉《中国科学报》，“与推理相比，训练性能往往需要计算精度高一些，比如32位甚至64位；而大部分性能‘耀眼’的AI芯片，往往指的是其推理性能，而且可能只是理论值。”
对于AI计算而言，训练性能往往更重要——许多智能模型正是依赖于此。张云泉说，训练模型的计算量与参数量成正比，而且需要反复迭代，直到达到理想的效果。
如果要画一张AI所需算力的示意图，“推理”位于算力矩阵的最下层，因为半精度算力（FP16）或整型算力（如INT8）即可满足推理需要；排在其上的是“训练”，一般需要使用单精度算力（FP32）或半精度算力（FP16）；对算力需求最高的是类脑“模拟”，它需要双精度算力（FP64）和低精度算力同时支持。
“混淆传统超级计算与智能计算、混淆智能计算的训练性能和推理性能，这两种情况都可能会导致用户或地方政府错误决策——他们本意是建设强大的计算集群，最后却只建成了一台只有推理性能的机器。”张云泉说。
对此，张云泉认为，需要一个简单、有效的指标来帮助判断系统的AI算力和整个高性能AI领域的发展状况，从而防止行业乱象。
2020年11月，张云泉联合清华大学教授陈文光、美国阿贡国家实验室研究员PavanBalaji和瑞士苏黎世联邦理工学院教授TorstenHoefler，与ACMSIGHPCChina委员会共同发起了基于AIPerf大规模AI算力基准评测程序的“国际人工智能性能算力500排行榜”。记者注意到，这一榜单的算力单位是OPS。
“超级计算与AI计算，一码归一码，需要一个新的标尺来引导AI计算行业走上健康发展的道路。”张云泉说。
国产AI芯片正待奋起直追
算力始于芯片。在AI芯片赛道上，我国拥有华为（昇腾）、百度昆仑、燧原等芯片设计企业，但即便如此，国内的智能计算机仍很少能绕过美国GPU巨头英伟达。
这是一个无奈的现实：国内上马诸多智能计算中心，英伟达是切切实实的受益者。
“专门做智能计算的AI芯片，只要核数足够多、主频足够高，就可以实现速度更快、在低精度计算中高出几个量级的性能。但如果某个计算集群既需要高精度计算又需要低精度计算，这对AI芯片的要求就高了。”张云泉说，英伟达的GPU各种精度的计算能力都很突出、比较均衡。这也是大部分国产AI芯片难以与英伟达GPU硬碰硬的原因之一。
不过，国产AI芯片并非完全没有机会。
首先，当下我国的算力基础设施，都有强烈的国产化意愿。即便英伟达、英特尔等巨头虎踞龙盘，但基于综合成本、生态等各类因素，国产化的大潮仍不可阻挡。
其次，就AI当前发展而言，场景、数据、模型、算力缺一不可，这也就意味着，中国将是未来全球AI算力富集地。AI芯片作为核心需要，不可能被一种形态、一种生态所垄断，寒武纪、昇腾等国产AI芯片的佼佼者仍坐拥巨大发展空间。
专家认为，虽然芯片是算力的主要来源和最根本的物质基础，但是算力的生产、聚合、调度和释放是一个完整过程，需要复杂系统的软硬件生态共同配合，才能实现“有效算力”。因此，不能只关注芯片的单一性能指标，更要注重上层软件应用生态。
没有巨大算力无法发展AI？
在算力概念被混淆的背后，是AI计算有如脱缰野马一般疯长的算力需求。
由多位硅谷“大亨”联合建立的人工智能非营利组织OpenAI，在2020年5月推出了其新一代无监督的转化语言模型GPT-3，目前已有1750亿参数，训练数据量达到45TB（约1万亿单词量）。
GPT-3模型目前已经在语义搜索、文本生成、内容理解、机器翻译等方面取得重大突破。其最大价值是证实了机器在无监督下的自我学习能力，验证了纯粹通过扩大规模即可实现性能提升。
更壮观的是，万亿参数模型已经在路上。6月初，北京智源人工智能研究院发布了“悟道2.0”，宣称达到1.75万亿参数，超过之前由谷歌发布的SwitchTransformer，成为全球最大的预训练模型。
迅猛增长的参数体量，也意味着更高的计算需求——有的可能需要数千块GPU来提供必要的算力。张云泉说，类似GPT这样的巨模型，对算力的需求“不是闹着玩的”。
难道，没有巨大算力就无法发展AI吗？
张云泉认为，在目前AI的发展阶段（感知智能和认知智能）中，算力仍然是第一位的。
他的理由是，发展AI可以通过算力提升、算法革命等途径进行，但在“资本导向”的现阶段，相比不确定性的算法模型突破，算力提升是个更容易的选择。
但必须要指出的是，运用巨大算力并不是人工智能发展的唯一方向，GPT-3这样的巨模型同样存在缺陷，如缺乏常识等；而探索人脑奥妙机理，实现小数据学习、迁移学习也是重要手段。
毕竟，大脑的功耗只有20瓦左右，创建低能耗的智能系统或许是更重要的努力方向。
《中国科学报》(2021-06-17第3版信息技术)当人工智能遇上超级计算机
由于人工智能推理或训练一般要用到单精度甚至半精度的数值计算能力、整型计算，多数超级计算机并不具备这些计算能力，因此去年便开始出现了聚焦于解决人工智能算力需求的人工智能超级计算机，它作为一种专用算力，被应用于人工智能推理或训练等领域。
打开手机，半个月内的天气状况一目了然；出门在外，地图导航给出最优路线……这些“未卜先知”从何而来？答案是计算。
如今，算力作为数字经济的第一引擎，正成为科技巨头们争相进军的主阵地。
日前，英伟达宣布与微软联手开发人工智能超级计算机，依托微软Azure云运行，通过数以万计的图形处理单元(GPU)、中央处理器(CPU)处理云中的密集人工智能计算工作。
人工智能遇见超级计算机，将会碰撞出怎样的火花，又将带来哪些挑战和机遇？
对基础软件和通信能力要求极高
“实际上，人工智能超级计算机去年就出现了，其核心是解决大规模密集人工智能训练和推理等的计算问题。”武汉人工智能研究院院长王金桥说。
传统超级计算机相对一般计算机而言，就是一种计算能力更强、通信速度更快、存储容量更大、功能更完善的计算机，它们在高精度计算能力方面更强，应用范围也更广，主要用于解决一些科学计算类问题，比如行星模拟、新材料开发、分子药物设计、基因分析和气象预测等。
随着人工智能逐渐在各个应用场景中落地，各行业对于算力的需求也在持续提升。
由于人工智能推理或训练一般要用到单精度甚至半精度的数值计算能力以及整型计算，多数智能计算机并不具备这些计算能力，因此去年便开始出现了聚焦于解决人工智能算力需求的人工智能超级计算机，它作为一种专用算力，被应用于人工智能推理或训练等领域。
王金桥介绍，人工智能超级计算机对基础软件要求极高，这也是英伟达与微软合作的最大原因。人工智能超级计算机集群通过虚拟化和分布式加速训练，可以有效支撑超大规模人工智能模型DALLE2(基于文本来生成模型的模型)、CLIP(用文本作为监督信号训练可迁移的视觉模型)等的训练，包括图像、文本、语音等多模态异构数据，以及最近特别火爆的人工智能自主生成内容技术。
不过，由多台服务器组成的人工智能超级计算机在进行模型计算时，调度的数据规模将越来越大，对通信能力的要求也越来越高。
因此，人工智能超级计算机需要部署在云端，这样对用户而言，就可以将之当成一个普通计算机来使用。用户可以简单便捷地完成数据的通信、访问、调度、资源管理与配置等各项工作，从而专注解决人工智能模型训练和推理问题。
帮助解决科学计算领域问题
“随着数据量的增长，未来人工智能超级计算机能够解决很多以前没办法解决的问题。”王金桥介绍。
人工智能超级计算机给科学计算带来了巨大变革。比如，由于大多数物理规律可以表达为偏微分方程的形式，所以偏微分方程组的求解成为了解决科学计算领域问题的关键，而人工智能超级计算机无疑能在这方面助人类一臂之力。
不仅如此，人工智能超级计算机还能帮助人们解决更多其他的科学问题，尤其是数学方面复杂方程求解的难题，人工智能超级计算机能变成一个趁手的工具，助力科学家发挥更大的创造力和想象力。
虽然专用的人工智能超级计算机去年才出现，但“人工智能+超级计算机”这种模式其实早有端倪。
出现于20世纪六七十年代的图计算，就是超级计算的一种方式。“图计算作为下一代人工智能关键核心技术，已被广泛应用于医疗、教育、军事、金融等多个领域，如我们熟知的金融反欺诈分析和商家刷单行为识别等，成为全球科技竞争新的战略制高点。”华中科技大学大数据技术与系统国家地方联合工程研究中心副教授张宇说。
这里所指的“图”并非常规理解的图像，而是人与人、物与物之间的构成图，能有效表达事物之间关联关系，是数据分析与应用的基础。万物联通，随着科技发展，人工智能等重要应用利用图数据的处理方法，可处理更复杂、更大规模的数据，且效率和精准率大幅提升。
去年底，一篇发表在《自然》杂志的研究成果显示，研究人员利用最新的人工智能技术发现了纯数学拓扑学和表象理论的新见解，寻找到数学不同领域间意想不到的关联，不仅改进了目前最优的4×4矩阵解法，还进一步提升了其他70余种不同大小矩阵的计算速度。
这些人工智能与算力“联姻”的典型案例，也预示着人工智能超级计算机未来的发展趋势。
相关链接
武汉人工智能计算迎来好“帮手”
11月23日，武汉超算中心正式投运，国家文化大数据华中区域云平台入驻。该云平台是国家文化大数据体系八大区域中心之一，上联国家文化大数据全国中心，下接行政大区内省域中心，负责华中区域内五省(湖北、湖南、河南、江西、安徽)之间的数据、信息、产品等的交易和结算。
该超算中心是目前国内最大的集装箱超算中心，整体规划设计的算力为200P，首期算力达到50P。通俗讲，1P约等于每秒1000万亿次的浮点运算，50P的算力将超过10万台高性能计算机算力之和。其技术底座是由数万核鲲鹏处理器内核，以及数千张加速卡构成。
“武汉超算中心在国内第一个采用了基于鲲鹏架构的超级计算机。”王金桥说，投运后，将与武汉人工智能计算中心一起形成“双中心、双引擎”发展模式，这对武汉建设人工智能创新中心有极大的促进作用。
眼下，武汉超算中心已接入中国算力网，一方面作为数字中国建设的地理中心和网络中心，更好地服务“东数西算”重大战略；另一方面将利用武汉高校在分布式计算、海量存储、人工智能算力平台等方面的科研优势，助力武汉打造中部地区数据中心和算力服务枢纽。
2020年9月，武汉获批建设国家新一代人工智能创新发展试验区。去年5月，武汉人工智能计算中心一期投入运行，成为科技部批复的18个国家人工智能创新发展试验区中首批投入运营的项目，也是全国首个面向产业的多样性算力公共服务平台。
目前，武汉人工智能计算中心已为武汉大学、清华大学、中国科学院自动化所等高校和科研院所，以及100多家重点企业提供普惠算力服务，意向入驻企业已超200家，孵化应用案例超过50项，广泛服务于智能制造、智慧城市、智慧交通、网络直播等行业和领域。
【责任编辑：张瑨瑄】