科学网—第三代人工智能：“统计”还是“类脑”
第三代人工智能：“统计”还是“类脑”
CNCC2020论坛现场 计红梅摄
为了建立一个全面反映人类智能的AI，需要建立鲁棒与可解释的AI理论与方法，发展安全、可信、可靠与可扩展的AI技术，即第三代人工智能。
■本报记者计红梅
10月23日，2020中国计算机大会（CNCC2020）主会场内，此时已是中午12点40分，台下的听众早已饥肠辘辘，却仍兴致盎然地听着台上的嘉宾们“你来我往”“唇枪舌剑”。
这是CNCC2020的第二天。围绕这场大会论坛的主题“第三代人工智能的演进路径：‘统计’还是‘类脑’”，中国科学院院士张钹、北京大学信息科学技术学院教授黄铁军等学者正在发表各自“立场”鲜明的观点。辩至中途，中国科学院院士梅宏也忍不住加入，把现场的气氛推向了高潮。
正如论坛主持人清华大学计算机系长聘副教授崔鹏所说，人工智能（AI）的发展已到了新的十字路口，现有技术的局限日益凸显，而新一代技术的发展路径尚不明朗。统观人工智能的发展历史，从以专家系统为代表的第一代人工智能，已发展到以统计机器学习为代表的第二代人工智能。展望未来十年到二十年，第三代人工智能应沿着既有的“统计”路径不断完善，还是借鉴人类大脑的模式和结构，走“类脑”的道路？
“统计”延伸还是“类脑”重建
“是时候考虑人工智能下一步该怎么走了！特别是中国应该考虑下一步怎么走，因为全世界都不知道下一步要怎么走。”张钹的开场白获得了现场听众的一片掌声。
此前，在纪念《中国科学》创刊70周年的专刊中，张钹曾撰写以《迈向第三代人工智能》为题的署名文章。在这篇文章中，张钹指出，人工智能在60多年的发展历史中，一直存在两个相互竞争的范式，即符号主义与连接主义。符号主义（即第一代人工智能）到上世纪80年代之前一直主导着AI的发展，而连接主义（即第二代人工智能）从上世纪90年代逐步发展，到本世纪初进入高潮，大有替代符号主义之势。但今天看来，这两种范式只是从不同的侧面模拟人类的心智（或大脑），具有各自的片面性，不可能触及人类真正的智能。
他提出，为了建立一个全面反映人类智能的AI，需要建立鲁棒与可解释的AI理论与方法，发展安全、可信、可靠与可扩展的AI技术，即第三代人工智能。
而这也是业界的共识。当下，人工智能发展已步入“深水区”。其表现是，虽然以深度学习为代表的人工智能技术在诸多应用领域取得了性能突破，但其对大规模训练数据的依赖，对场景的适用性狭窄，以及模型自身的可解释性、稳定性和公平性无法保证，限制了人工智能进一步发展的深度和广度。
实际上，早在8月底，中国计算机学会青年计算机科技论坛（CCFYOCSEF）就在北京召开了为期两天的闭门思辨论坛，邀请了国内19位人工智能领域资深学者，围绕第三代人工智能的演进路径进行了激烈的思辨，并发现了两条相对清晰的路径。其一是在已被证明有效的统计学习的框架内进一步扩展和演进，其二则是理解人脑的智能产生机制，并由此重新定义“类脑”的学习和计算框架。
“在这两天的论坛里，与会专家分别针对这两条路径进行了梳理和探讨，今天这个大会论坛实质上是对此前思辨论坛的进一步延伸。”崔鹏说，“希望利用这样的机会，进一步论证一下未来十年到二十年，‘统计’和‘类脑’到底哪一条路径更有可能形成新的突破。”
大脑原理尚不清楚时“类”还是“不类”
此次论坛上，张钹坦承，对于智能，目前业界尚没有一个统一的定义。因此，“人工智能主要是用计算机来模拟人类的智能行为”。
他强调，之所以模拟的不是智能，而是智能行为，是因为行为是可观察、测量和评估的，而只有可观察、测量和评估的对象才可以进行科学研究。反之，如果对象非常模糊，就不可能进行科学研究，只能进行哲学层面的探讨。
张钹提出，第三代人工智能的发展思路是，把第一代的知识驱动和第二代的数据驱动结合起来，通过同时利用知识、数据、算法和算力等4个要素，构造更强大的AI。
“我不赞成用‘类脑’这个词。”张钹说，“类脑”的英文原文是“brain—inspired”，翻译成“类脑”不太合适。因为目前的脑研究并没有彻底揭示大脑的诸多秘密，因此“脑子不清楚类谁”。
而在黄铁军看来，“‘类脑’研究不用等到人类搞明白大脑的原理再去参考它来做，而是现在就可以做。”他举例说，指南针发明的时候，科学家并不明白它为何能指南，而飞机发明的时候，也不清楚它为什么能上天，因此，“并不是一定要明白原理后这件事儿才能做成”。
他所给出的“智能”的定义是，智能是系统通过获取和加工信息而获得的能力。它包括以生物为载体的生物智能（自然智能）和以机器为载体的机器智能（人工智能）两个方面。而智能科学是研究智能现象背后规律的科学，专指以机器智能为对象的技术科学。
“生物大脑是最好的先验结构。人类设计的各种人工智能和机器学习方法，最终都将收敛到生物大脑结构。”黄铁军认为，正因如此，“强大智能必须依托复杂结构，站在进化肩膀上，看似艰难，实则最快”。
必须开辟新赛道
在清华大学统计学研究中心长聘副教授邓柯看来，第一代人工智能是在做推理，第二代人工智能是在做感知，而到了第三代人工智能之后，科研人员将面临一些更为复杂的问题。
他表示，在第二代人工智能的框架下，对于不确定性关注比较少，主要是在做一些基于算法的结果优化，而基于算法的优化和基于不确定性因素做推断之间有非常大的差异。“要真正解决一些更深层次、更难的问题，急需建立起对于不确定性因素的认知以及在此基础上的推理能力。这将是下一代人工智能非常核心的问题。”
黄铁军也认为，目前深度学习已经在图像识别等方面取得了重大突破，但却并未真正解决感知问题。他举例说，通过反人脸识别技术，就可以让软件把自己识别成别的人。因此，深度学习远未抓住人类视觉系统的复杂性，要重新思考智能模型。
“未来的人工智能发展一定要离开计算，不能在计算框架下思考智能问题。因此，要思考新的可能性，没有说历史一定要绑在计算这驾战车上一直开下去。”黄铁军说。
在他看来，以人工智能为代表的智能科学，实际上是一个无限演进的过程，即从结构仿脑到功能类脑，再到性能超脑。而人工智能的下一步是什么？“从长远看，希望一个智能系统能在复杂的环境里像生物一样，甚至以超越生物的能力去探索。”
张钹强调，第三代人工智能必须将知识驱动放在重要位置，将其和数据驱动结合起来。只有这样，才能既最大限度地借鉴大脑的工作机制，又充分利用计算机的算力，使得人工智能在某些方面可以超越人类。
张钹表示，对于大脑的研究，实际上他们一直在借鉴，而且也反映在了人工智能的研究成果中。但是，从现实的角度讲，“未来几十年必须靠计算机，别的都靠不上”。
梅宏对张钹的观点表示赞同。在他看来，谈论第三代人工智能，应该是在第一代和第二代基础上的延伸，是基于计算的不断深化和完善。而“类脑”研究则类似学科的划分，以追求终极的智能为目标。“现在对计算机而言，只有类人计算，没有类脑计算，因为大脑原理还说不清楚，那不是计算。”
中国科学院自动化所研究员余山的研究背景是生物学，即研究大脑怎样工作。“从我个人角度讲，我还是相信‘类脑’可以给我们提供有益的启示。”
不过，他认为，“类脑”研究的目的不是去再造一个脑，这个没有太大意义，而是帮助人工智能能够更快地找到合适的解决复杂问题的途径。
无论是将知识驱动与数据驱动结合，还是做“类脑”研究，张钹认为，第三代人工智能都要创造出颠覆性的技术。
“人工智能对国家未来发展的影响太大了，因此我们必须要找到一条新的出路。”张钹强调，“不要纠缠在老赛道上，因为它已经过时了，必须要开辟出新赛道。只有在新赛道上，中国人才有可能和世界一块儿前进。”
《中国科学报》(2020-10-29第3版信息技术)构建第三代人工智能核心能力，清华、阿里、RealAI等联合发布最新AI安全评估平台
科技是发展的利器，也可能成为风险的源头。近日，张钹院士在智源大会上表示，AI的发展带来了科技是发展的利器，也可能成为风险的源头。近日，张钹院士在智源大会上表示，AI的发展带来了新的风险和安全隐患。
在算法层面看，现有的AI算法很脆弱，泛化能力很差。这就意味着如果将算法运用到与训练场景区别很大的实际场景中，就会存在安全问题。
从数据层面看，现在人工智能应用效果很大程度上依赖数据质量，但由此会带来隐私泄漏、数据确权等问题。在应用层面，人工智能技术已经逐渐对人们的生活造成冲击，比如售楼处看房戴头盔、困在算法里的外卖骑手等等。还有像深度伪造之类可能对社会造成重大影响的技术，都必须保证安全可控。说明AI的发展与治理之间存在更大与更多的矛盾。
因此，随着AI算法技术不断提升，安全可控性变得十分重要。特别是像人脸识别领域，易攻击性等安全问题的不断出现，促使大众深层次关注AI技术发展过程中的社会影响以及技术本身的可靠性。
产业侧对人工智能的期待进一步提升，但第一二代人工智能都存在天然的算法漏洞和缺陷，难以支撑人工智能的长久高质量发展。为此，RealAI创始人田天提出，需加快发展第三代人工智能，从目前的产业阶段与技术需求来看，第三代人工智能需发展“安全、可控”两大核心能力。
近日，清华大学联合阿里安全、RealAI发布了首个公平、全面的AI攻防对抗基准平台，该评测基准基于清华大学在2020年GitHub开源的ARES算法库，该平台致力于对AI防御和攻击算法进行自动化、科学评估。AI模型究竟是否安全，攻击和防御能力几何？只需提交至该平台，就可见能力排行。
中科院院士张钹（左二）、清华大学教授朱军（左三）、阿里巴巴安全部技术总监薛晖（右一）、RealAICEO田天（左一）等联合发布首个公平、全面的AI攻防对抗基准平台
构建这个平台的最初设想是什么？
“就像打仗一样，攻击者可能用水攻，也可能火攻，还可能偷偷挖条地道来攻打一座城，守城的人不能只考虑一种可能性，必须布防应对许多的攻击可能性。”参与该评测基准平台设计的阿里安全高级算法专家越丰这样比喻。
尤其要关注恶意攻击者对数据或样本进行“投毒”，故意影响AI模型的攻击行为。
UIUC（伊利诺伊大学）计算机科学系教授李博认为，机器学习在推理和决策的快速发展已使其广泛部署于自动驾驶、智慧城市、智能医疗等应用中，但传统的机器学习系统通常假定训练和测试数据遵循相同或相似的分布，并未考虑到潜在攻击者恶意修改两种数据分布。
这相当于在一个人成长的过程中，故意对他进行错误的行为引导。恶意攻击者可以在测试时设计小幅度扰动，误导机器学习模型的预测，或将精心设计的恶意实例注入训练数据中，通过攻击训练引发AI系统产生错误判断。好比是从AI“基因”上就做了改变，让AI在训练过程中按错误的样本进行训练，最终变成被操控的“傀儡”，只是使用的人全然不知。
“深入研究潜在针对机器学习模型的攻击算法，对提高机器学习安全性与可信赖性有重要意义。”李博指出。
之前的研究者在衡量模型的防御性能时，基本只在一种攻击算法下进行测试，不够全面。攻击算法是经常变化的，需要考虑模型在多种攻击算法下和更强的攻击下的防御能力，这样才能比较系统地评估AI模型的防御能力。
再加上业界此前提出的各种“攻击算法排行榜”只包含一些零散的算法，测量攻击算法的环境只包含单一的防御算法，用于评测的数据集也不多，并没有合适的统计、度量标准。
阿里巴巴安全部技术总监薛晖表示，参与推进这项研究工作，除了帮助AI模型进行安全性的科学评估，也是为了促进AI行业进一步打造“强壮”的AI。
为解决上述问题，近日，清华大学、阿里安全、RealAI三方联合提出深度学习攻击防御算法及评测的基准平台。
不同于之前只包含零散攻防模型的对抗攻防基准，此次推出AI对抗安全基准基本上包括了目前主流的人工智能对抗攻防模型，涵盖了数十种典型的攻防算法。不同算法比测的过程中尽量采用了相同的实验设定和一致的度量标准，从而在最大限度上保证了比较的公平性。
除此之外，本次发布的AI安全排行榜也包括了刚刚结束的CVPR2021人工智能攻防竞赛中诞生的排名前5代表队的攻击算法。此次竞赛吸引到了全球2000多支代表队提交的最新算法，进一步提升了该安全基准的科学性和可信性。
“通过对AI算法的攻击结果和防御结果进行排名、比较不同算法的性能，建立AI安全基准具有重要学术意义，可以更加公平、全面地衡量不同算法的效果。”朱军介绍道。
AI算法的攻击结果和防御结果进行排名，实现不同算法性能的比较
“该基准评测平台利用典型的攻防算法和CVPR2021比赛积累的多个性能优越的算法进行互相评估，代表当前安全与稳定性测量的国际标准。”RealAI副总裁唐家渝说。
越丰认为，该平台的发布对工业界和学术界都能带来正面的影响，比如工业界可以使用该平台评估目前AI服务的安全性，发现模型的安全漏洞。同时，也可为学术界提供一个全面、客观、公平、科学的行业标准，推动整个学术界在AI对抗攻防领域的快速发展。
清华方面介绍，本次发布的AI安全基准也是依托清华大学人工智能研究院研发的人工智能对抗安全算法平台ARES（AdversarialRobustnessEvaluationforSafety）建立。ARES作为古希腊神话中的战神，双手持矛和盾是攻防合一的化身，集中体现了AI安全算法攻防博弈的特点。该平台对主流的攻防算法实现了模块化的设计，支持数十种主流攻防算法的实现，可以方便研究者和开发人员进行使用，有助于推动AI对抗攻防领域的发展。
清华大学、阿里安全、RealAI三方强调，该基准评测平台不是专属于某一家机构或者公司搭建的平台，需要工业界和学术界的共同参与才能把它打造为真正受认可的全面、权威的AI安全评估平台。因此，三方将联合不断在排行榜中注入新的攻击和防御算法，并且欢迎学术界和产业界的团队能提供新的攻防模型。
最后，张钹院士表示，AI的创新发展是大道理，纵观信息科技的发展历史，尽管信息科技发展异常迅猛，但基本上安全可控。而AI的发展却缓慢曲折，安全问题层出不穷。两者的差别在哪里？值得我们深思。不同在于，从信息革命一开始，信息的3大理论就已经建立，即图林机理论（1936），申论的通讯理论（1948），维纳的控制论（1948）。有了坚实的理论基础，从而引导信息技术健康地发展。AI则相反，它的理论基础至今没有建立，尽管经历了第一代AI的符号主义模型（知识驱动），和第二代AI的亚符号（连接）主义模型（数据驱动），由于它们均具有很大的局限性，不能构成AI的理论基础。由于缺乏理论指导，AI的发展处于难以控制的局面。必须解决这个“卡脖子”的基础理论问题，因此建立AI的理论基础是我们提出“第三代人工智能”的初衷。所谓的“第三代人工智能”，其发展路径是融合第一代的知识驱动和第二代的数据驱动的人工智能，利用知识、数据、算法和算力4个要素，建立新的可解释和鲁棒的AI理论和方法，从而发展安全、可信、可靠和可扩展的AI技术。这样发展第三代AI和AI治理一起抓，以达到相辅相成共同发展。
附1：基准测试平台网站http://ml.cs.tsinghua.edu.cn/adv-bench/
附2：ARES开源算法库https://github.com/thu-ml/ares
张钹：迈向第三代人工智能
人工智能(ArtificialIntelligence，简称AI)在60多年的发展历史中，一直存在两个相互竞争的范式，即符号主义与连接主义(或称亚符号主义)。符号主义（即第一代人工智能）到上个世纪八十年代之前一直主导着AI的发展，而连接主义（即第二代人工智能）从上个世纪九十年代逐步发展，到本世纪初进入高潮，大有替代符号主义之势。但是今天看来，这两种范式只是从不同的侧面模拟人类的心智(或大脑)，具有各自的片面性，不可能触及人类真正的智能。
清华大学人工智能研究院院长、中国科学院院士张钹教授在“纪念《中国科学》创刊70周年专刊”上发表署名文章，首次全面阐述第三代人工智能的理念，提出第三代人工智能的发展路径是融合第一代的知识驱动和第二代的数据驱动的人工智能,同时利用知识、数据、算法和算力等4个要素，建立新的可解释和鲁棒的AI理论与方法，发展安全，可信，可靠和可扩展的AI技术，这是发展AI的必经之路。
全文链接：http://scis.scichina.com/cn/2020/SSI-2020-0204.pdf
以下全文刊载张钹院士的文章《迈向第三代人工智能》。
人工智能的三次浪潮与三种模式
■史爱武
谈到人工智能，人工智能的定义到底是什么？
达特茅斯会议上对人工智能的定义是：使一部机器的反应方式就像是一个人在行动时所依据的智能。
百度百科上对人工智能的定义是：它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
尽管人工智能现在还没有非常严格准确或者所有人都接受的定义，但是有一些约定俗成的说法。通常人工智能是指机器智能，让机器达到人智能所实现的一些功能。人工智能既然是机器智能，就不是机械智能，那么这个机器是指什么呢？是指计算机，用计算机仿真出来的人的智能行为就可以叫作人工智能。
2017年7月，国务院印发了《新一代人工智能发展规划》。2017年12月，人工智能入选“2017年度中国媒体十大流行语”。这一国家级战略和社会流行趋势标志着，人工智能发展进入了新阶段，我国要抢抓人工智能发展的重大战略机遇，构筑人工智能发展的先发优势，加快建设创新型国家和世界科技强国。
人工智能的三次浪潮
自1956年开始，人工智能经历了三起三落，出现了几次浪潮，现在人工智能已经是处于第三次浪潮了。
第一次浪潮（1956-1976年，20年），最核心的是逻辑主义
逻辑主义主要是用机器证明的办法去证明和推理一些知识，比如用机器证明一个数学定理。要想证明这些问题，需要把原来的条件和定义从形式化变成逻辑表达，然后用逻辑的方法去证明最后的结论是对的还是错的，也叫做逻辑证明。
早期的计算机人工智能实际上都是沿着这条路在走。当时很多专家系统，比如医学专家系统，用语言文字输入一些症状，在机器里面变换成逻辑表达，用符号演算的办法推理出大概得了什么病。所以当时的主要研究都集中在逻辑抽象、逻辑运算和逻辑表达等方面。
在第一次浪潮中，数学定理证明实际上是实现效果最好的，当时有很多数学家用定理思路证明了数学定理。为了更好地完成定理证明工作，当时出了很多和逻辑证明相关的逻辑程序语言，比如很有名的Prolog。
虽然当时的成果已经能够解开拼图或实现简单的游戏，却几乎无法解决任何实用的问题。
第二次浪潮（1976—2006年，30年），联结主义盛行
在第一次浪潮期间，逻辑主义和以人工神经网络为代表的联结主义相比，逻辑主义是完全占上风的，联结主义那时候不太吃香。然而逻辑主义最后无法解决实用的问题，达不到人们对它的期望，引起了大家的反思，这时候人工神经网络（也就是联结主义）就慢慢占了上风。
在70年代末，整个神经元联结网络、模型都有突飞猛进的进步，最重要的是BP前馈神经网络。1986年BP前馈神经网络刚出来的时候解决了不少问题，后来大家往更大的领域应用，实现了比较大的成果。在很多模式识别的领域、手写文字的识别、字符识别、简单的人脸识别也开始用起来，这个领域一下子就热起来，一时之间，人们感觉人工智能大有可为。随后十几年人们发现神经网络可以解决一些单一问题，解决复杂问题却有些力不从心。训练学习的时候，数据量太大，有很多结果到一定程度就不再往上升了。
这时期所进行的研究，是以灌输“专家知识”作为规则，来协助解决特定问题的“专家系统”为主。虽然有一些实际的商业应用案例，应用范畴却很有限，第二次热潮也就慢慢趋于消退。
第三次浪潮（2006—现在），基于互联网大数据的深度学习的突破
如果按照技术分类来讲，第二次和第三次浪潮都是神经网络技术的发展，不同的是，第三次浪潮是多层神经网络的成功，也就是深度学习取得突破。这里既有硬件的进步，也有卷积神经网络模型与参数训练技巧的进步。
若观察脑的内部，会发现有大量称为“神经元”的神经细胞彼此相连。一个神经元从其他神经元那里接收的电气信号量达某一定值以上，就会兴奋（神经冲动）；在某一定值以下，就不会兴奋。兴奋起来的神经元，会将电气信号传送给下一个相连的神经元。下一个神经元同样会因此兴奋或不兴奋。简单来说，彼此相连的神经元，会形成联合传递行为。我们透过将这种相连的结构来数学模型化，便形成了人工神经网络。
经模型化的人工神经网络，是由“输入层”“隐藏层”及“输出层”等三层构成。深度学习往往意味着有多个隐藏层，也就是多层神经网络。另外，学习数据则是由输入数据以及相对应的正确解答来组成。
为了让输出层的值跟各个输入数据所对应的正解数据相等，会对各个神经元的输入计算出适当的“权重”值。通过神经网络，深度学习便成为了“只要将数据输入神经网络，它就能自行抽出特征”的人工智能。
伴随着高性能计算机、云计算、大数据、传感器的普及，以及计算成本的下降，“深度学习”随之兴起。它通过模仿人脑的“神经网络”来学习大量数据的方法，使它可以像人类一样辨识声音及影像，或是针对问题做出合适的判断。在第三次浪潮中，人工智能技术及应用有了很大的提高，深度学习算法的突破居功至伟。
深度学习最擅长的是能辨识图像数据或波形数据这类无法符号化的数据。自2010年以来，Apple、Microsoft及Google等国际知名IT企业，都投入大量人力物力财力开展深度学习的研究。例如AppleSiri的语音识别，Microsoft搜索引擎Bing的影像搜寻等等，而Google的深度学习项目也已超过1500项。
深度学习如此快速的成长和应用，也要归功于硬件设备的提升。图形处理器（GPU）大厂英伟达（NVIDIA）利用该公司的图形适配器、连接库（Library）和框架（Frame⁃work）产品来提升深度学习的性能，并积极开设研讨课程。另外，Google也公开了框架TensorFlow，可以将深度学习应用于大数据分析。
人工智能的3种模式
人工智能的概念很宽泛，根据人工智能的实力可以分成3大类，也称为3种模式。
（1）弱人工智能：擅长于单个方面的人工智能，也叫专业人工智能。比如战胜世界围棋冠军的人工智能AlphaGo，它只会下围棋，如果让它下国际象棋或分辨一下人脸，它可能就会犯迷糊，就不知道怎么做了。当前我们实现的几乎全是弱人工智能。
（2）强人工智能：是指在各方面都能和人类比肩的人工智能，这是类似人类级别的人工智能，也叫通用人工智能。人类能干的脑力活，它都能干，创造强人工智能比创造弱人工智能难得多，目前我们还做不到。
（3）超人工智能：知名人工智能思想家NickBostrom把超级智能定义为“在几乎所有领域都比最聪明的人类大脑都聪明很多，包括科学创新、通识和社交技能”。超人工智能可以是各方面都比人类强点，也可以是各方面都比人类强很多倍。超人工智能现在还不存在，很多人也希望它永远不要存在。否则，可能像好莱坞大片里面的超级智能机器一样，对人类也会带来一些威胁或者颠覆。
我们现在处于一个充满弱人工智能的世界。比如，垃圾邮件分类系统是个帮助我们筛选垃圾邮件的弱人工智能；Google翻译是可以帮助我们翻译英文的弱人工智能等等。这些弱人工智能算法不断地加强创新，每一个弱人工智能的创新，都是迈向强人工智能和超人工智能的进步。正如人工智能科学家AaronSaenz所说，现在的弱人工智能就像地球早期软泥中的氨基酸，可能突然之间就形成了生命。如世界发展的规律看来，超人工智能也是未来可期的！