人工智能研究三大学派
符号主义曾长期一枝独秀,为人工智能的发展做出重要贡献,为人工智能走向工程应用具有特别重要的意义。在人工智能的其他学派出现之后,符号主义仍然是人工智能的主流派别。
联结主义:受脑科学的启发
联结主义学派把人的智能归结为人脑的高层活动,强调智能的产生是由大量简单的单元通过复杂的相互联结和并行运行的结果。
它的代表性成果是1943年由生理学家麦卡洛克和数理逻辑学家皮茨创立的脑模型,即MP模型,开创了用电子装置模仿人脑结构和功能的新途径。它从神经元开始进而研究神经网络模型和脑模型,开辟了人工智能的又一发展道路。
20世纪60~70年代,联结主义,尤其是对以感知机为代表的脑模型的研究出现过热潮,由于受到当时的理论模型、生物原型和技术条件的限制,脑模型研究在20世纪70年代后期至80年代初期落入低潮。直到20世纪80年代提出用硬件模拟神经网络以后,联结主义才又重新抬头。
中科院自动化所副研究员王威表示:“联结主义更多受到脑科学的启发。我们现在所说的深度的神经网络,就是一类典型的联结主义的算法,或者说是工具。”
行为主义:基于“感知——行动”
行为主义,是一种基于“感知——行动”的行为智能模拟方法。
行为主义学派认为人工智能源于控制论。早期的研究工作重点是模拟人在控制过程中的智能行为和作用,并进行“控制论动物”的研制。到20世纪60~70年代,播下智能控制和智能机器人的种子,并在20世纪80年代诞生了智能控制和智能机器人系统。行为主义是20世纪末才以人工智能新学派的面孔出现的,引起了许多人的兴趣。这一学派的代表作首推布鲁克斯的六足行走机器人,它被看作是新一代的“控制论动物”,是一个基于感知-动作模式模拟昆虫行为的控制系统。
☟返回搜狐,查看更多
科学网—从人工智能的三条路线看未来
从人工智能的三条路线看未来《科学之路:人,机器与未来》,[法]杨立昆著,李皓、马跃译,中信出版社2021年8月出版,定价:88元
■黄铁军
杨立昆是当今世界顶尖的人工智能专家,为他的新书作序,颇具挑战性。好在众多专家已在人工智能领域探索了近70年,本文希望通过反思已走过路径的合理性及局限性,探索人工智能的未来发展方向。
就像人可以分为精神和肉体两个层次,机器智能也可以分为载体(具有特定结构的机器)和智能(作为一种现象的功能)两个层次,两个层次同样重要。因此,我偏好用机器智能这个概念替代人工智能。
与机器智能相比,人工智能这个概念的重心在智能。“人工”二字高高在上的特权感主导了人工智能研究的前半叶,集中体现为符号主义。符号主义主张(由人)将智能形式化为符号、知识、规则和算法,认为符号是智能的基本元素,智能是符号的表征和运算过程。
符号主义的思想起源是数理逻辑、心理学和认知科学,并随着计算机的发明而步入实践。符号主义有过辉煌,但不能从根本上解决智能问题,一个重要原因是“纸上得来终觉浅”:人类抽象出的符号,源头是身体对物理世界的感知,人类能够通过符号进行交流,是因为人类拥有类似的身体。
计算机只处理符号,就不可能有类人感知和类人智能,人类可意会而不能言传的“潜智能”,不必或不能形式化为符号,更是计算机不能触及的。要实现类人乃至超人智能,就不能仅仅依靠计算机。
与符号主义自顶向下的路线针锋相对的是连接主义。连接主义采取自底向上的路线,强调智能活动是由大量简单单元通过复杂连接后并行运行的结果,基本思想是,既然生物智能是由神经网络产生的,那就通过人工方式构造神经网络,再训练人工神经网络产生智能。
人工神经网络研究在现代计算机发明之前就开始了,1943年,沃伦·麦卡洛克和沃尔特·皮茨提出的M-P神经元模型沿用至今。连接主义的困难在于,它并不知道什么样的网络能够产生预期智能,因此大量探索归于失败。
20世纪80年代神经网络曾经兴盛一时,掀起本轮人工智能浪潮的深度神经网络只是少见的成功个案,不过这也是技术探索的常态。
人工智能的第三条路线是行为主义,又称进化主义,思想来源是进化论和控制论。生物智能是自然进化的产物,生物通过与环境以及其他生物之间的相互作用发展出越来越强的智能,人工智能也可以沿这个途径发展。
这个学派在20世纪80年代末90年代初兴起,近年来颇受瞩目的波士顿动力公司的机器狗和机器人就是这个学派的代表作。行为主义的一个分支方向是具身智能,强调身体对智能形成和发展的重要性。行为主义遇到的困难和连接主义类似,那就是什么样的智能主体才是“可塑之才”。
机器学习从20世纪80年代中期开始引领人工智能发展潮流,本书给出了很通俗的定义:学习就是逐步减少系统误差的过程,机器学习就是机器进行尝试、犯错以及自我调整等操作。机器学习对人工智能最重要的贡献是把研究重心从人工赋予机器智能转移到机器自行习得智能。近年来,最成功的机器学习方法是深度学习和强化学习。
深度学习是连接主义和机器学习相结合的产物,最大的贡献是找到了一种在多层神经网络上进行机器学习的方法,本书作者杨立昆和约书亚·本吉奥、杰弗里·辛顿因此获得2018年度图灵奖。
深度学习首先回答了什么样的神经网络可以训练出智能,包括多层神经网络和卷积神经网络,也回答了训练(学习)方法问题,包括受限玻尔兹曼机模型、反向传播算法、自编码模型等。深度学习对连接主义的重大意义是给出了一条训练智能的可行途径,对机器学习的重大意义则是给出了一个凝聚学习成效的可塑载体。
强化学习的思想和行为主义一脉相承,可追溯到1911年行为心理学的效用法则:给定情境下,得到奖励的行为会被强化,而受到惩罚的行为会被弱化,这就是强化学习的核心机制——试错。1989年,沃特金斯提出Q学习,证明了强化学习的收敛性。
2013年,谷歌子公司DeepMind将Q学习和深度神经网络相结合,取得AlphaGo、AlphaZero(阿尔法元)和AlphaStar等重大突破。最近,DeepMind更是强调,只需要强化学习,就能实现通用人工智能。
与DeepMind极力推崇强化学习不同,杨立昆认为强化学习不过是锦上添花,传统监督学习标注成本高,泛化能力有限,也只是点缀,自监督学习才是机器学习的未来。
自监督学习是通过观察发现世界内在结构的过程,是人类(以及动物)最主要的学习形式,是“智力的本质”,这就是本书第九章的核心观点。最近,杨立昆和另外两位图灵奖获得者发表的论文DeepLearningforAI(《面向人工智能的深度学习》)中,也重点谈了这个观点。
有了三位图灵奖获得者的大力倡导,相信自监督学习将会掀起一波新的研究浪潮,但我不认为这就是“智力的本质”。根本原因在于,这只是从机器学习层次看问题,或者更一般地说,是从功能层次看问题。我认为,学习方法(功能)固然重要,从事学习的机器(结构)同样重要,甚至更重要,因为结构决定功能。正如我开始时强调过的,永远不要忘记作为智能载体的机器。
杨立昆在第九章开篇提到了法国航空先驱克莱芒·阿代尔,他比莱特兄弟早13年造出了能飞起来的载人机器。杨立昆从这位先驱身上看到的主要是教训:“我们尝试复制生物学机制的前提是理解自然机制的本质,因为在不了解生物学原理的情况下进行复制必然导致惨败。”
他的立场也很清楚:“我认为,我们必须探究智能和学习的基础原理,不管这些原理是以生物学的形式还是以电子的形式存在。正如空气动力学解释了飞机、鸟类、蝙蝠和昆虫的飞行原理,热力学解释了热机和生化过程中的能量转换一样,智能理论也必须考虑到各种形式的智能。”
我的看法和他不同,我认为克莱芒·阿代尔(和莱特兄弟)不仅没有“惨败”,而且取得了伟大的成功。
原因很简单:克莱芒·阿代尔1890年和莱特兄弟1903年分别发明飞机,而空气动力学是1939—1946年才建立起来的。两次世界大战中发挥重大作用的飞机,主要贡献来自克莱芒·阿代尔和莱特兄弟的工程实践,而不是空气动力学理论的贡献,因为空气动力学还没出现。
另一个基本事实是,至今空气动力学也没能全面解释飞机飞行的所有秘密,更没有全面解释各种动物的飞行原理。空气动力学很伟大,但它是“事后诸葛亮”,对于优化后来的飞机设计意义重大,但它不是指导飞机发明的理论导师。
智能比飞行要复杂得多,深度学习成功实现了智能,但是能够解释这种成功的理论还没出现,我们并不能因此否定深度学习的伟大意义。杨立昆和另外两位图灵奖获得者的伟大,和克莱芒·阿代尔及莱特兄弟之伟大的性质相同。
我们当然要追求智能理论,但是不能迷恋智能理论,更不能把智能理论当作人工智能发展的前提。如果这里的智能理论还试图涵盖包括人类智能在内的“各种形式的智能”,则这种理论很可能超出了人类智能可理解的范围。
所以,尽管自监督学习是值得探索的一个重要方向,它也只是探索“智力的本质”漫漫长途中的一个阶段。
人类和很多动物具有自监督学习能力,并不是自监督学习多神奇,而是因为他(它)们拥有一颗可以自监督学习的大脑,这才是智力的本质所在。机器要进行自监督学习,也要有自己的大脑,至少要有深度神经网络那样的可塑载体,否则自监督学习无从发生。
相比之下,强化学习的要求简单得多,一个对温度敏感的有机大分子就能进行强化学习,这正是生命和智能出现的原因。所以,强化学习才是更基本的学习方法。
当然,从零开始强化学习,确实简单粗暴、浪费巨大,这也是强化学习思想提出百年并没取得太大进展的重要原因。强化学习近十年来突然加速,是因为有了深度神经网络作为训练的结构基础,因而在围棋、《星际争霸》等游戏中超越人类。不过,人类输得并不心甘情愿,抱怨的主要理由是机器消耗的能源远高于人类大脑。
我认为这种抱怨是片面的,人类棋手大脑的功耗确实只有数十瓦,但训练一个人类棋手要花费十多年时间。更重要的是,人类棋手学围棋时是带着大脑这个先天基础的,这颗大脑是亿万年进化来的,消耗了巨大的太阳能,这都应该记到能耗的总账中。这样比较,到底是机器棋手还是人类棋手能耗更大呢?
从节省能源角度看,机器智能确实不应该从头再进化一次,而是应该以进化训练好的生物神经网络为基础,这就是纯粹的连接主义:构造一个逼近生物神经网络的人工神经网络。
1950年,图灵的开辟性论文《计算机与智能》中就表达了这个观点:“真正的智能机器必须具有学习能力,制造这种机器的方法是,先制造一个模拟童年大脑的机器,再教育训练它。”这也是类脑智能或神经形态计算的基本出发点。
相关科研实践开始于20世纪80年代,基本理念就是构造逼近生物神经网络的神经形态光电系统,再通过训练与交互,实现更强的人工智能乃至强人工智能。
除了改进训练对象的先天结构,训练不可或缺的另一个要素是环境。环境才是智能的真正来源,不同环境孕育不同智能。人们往往把今天人工智能系统的成功归结为三个要素:大数据+大算力+强算法,其中数据是根本,另外两个要素主要影响效率。训练更强智能,需要更大数据,这是智能发展的基本规律。
但即便是大数据,也不能完整有效地表达环境,数字孪生能更全面地刻画物理环境,更好地保留环境自有的时空关系,因此也能够哺育出更强的人工智能。物理世界的模型化本来就是科学最核心的任务,以前从中发现规律的是人类,未来这个发现主体将扩展到机器。
行文至此,我们已经从人工智能发展史中小心翼翼地挑出三根靠得住的基本支柱:一是神经网络,二是强化学习,三是环境模型。在这三根支柱中,杨立昆最突出的贡献是对神经网络的贡献,特别是卷积神经网络。至于想到用卷积神经网络,是因为借鉴了生物神经感知系统,这就是卷积神经网络在图像识别和语音识别等领域大获成功的主要原因——深度神经网络已经借鉴了生物神经网络的部分结构。
总而言之,人工智能经典学派有三个:符号主义、连接主义和行为主义。符号描述和逻辑推理不是智能的基础,而是一种表现,读写都不会的文盲就拥有的“低级”智能才更基础。因此,连接主义和行为主义虽然困难重重,但有着更强的生命力,从中发展出的深度学习和强化学习两套方法,成为当今支撑人工智能的两大主要方法。
最后需要强调的是,人类智能是地球环境培育出的最美丽的花朵,我们在为自己骄傲的同时,也要警惕人类中心主义。
(作者系北京智源人工智能研究院院长、北京大学教授,本文为《科学之路:人,机器与未来》一书序言,有删减,标题为编者所加)
《中国科学报》(2021-08-19第7版书评)简述人工智能,及其三大学派:符号主义、连接主义、行为主义
人工智能是什么人工智能是一个很大的圈子,但是基础必然是机器学习
什么是机器学习呢?
说白了就是你告诉机器你想做什么?并且给它一堆数据让它去模仿着做
(比如,咱们上高中,老师会告诉我们一个目标就是考高分,然后给我们一堆练习册和答案,我们的目的就是让我们做的题的解和答案一致)
机器学习需要什么?算法,数据,程序,评估,应用
机器学习能做什么?
机器学习在数据挖掘,图像识别,语音和自然语言处理中有着广泛应用
人工智能哪些领域回到本文的正题。全面认识人工智能之所以困难,是有客观原因的。
其一、人工智能是一个非常广泛的领域。当前人工智能涵盖很多大的学科,我把它们归纳为六个:
(1)计算机视觉(暂且把模式识别,图像处理等问题归入其中)、(2)自然语言理解与交流(暂且把语音识别、合成归入其中,包括对话)、(3)认知与推理(包含各种物理和社会常识)、(4)机器人学(机械、控制、设计、运动规划、任务规划等)、(5)博弈与伦理(多代理人agents的交互、对抗与合作,机器人与社会融合等议题)。(6)机器学习(各种统计的建模、分析工具和计算的方法),这些领域目前还比较散,目前它们正在交叉发展,走向统一的过程中。
由于学科比较分散,从事相关研究的大多数博士、教授等专业人员,往往也只是涉及以上某个学科,甚至长期专注于某个学科中的具体问题。比如**,人脸识别**是计算机视觉这个学科里面的一个很小的问题;深度学习属于机器学习这个学科的一个当红的流派。很多人现在把深度学习就等同于人工智能,就相当于把一个地级市说成全国,肯定不合适。
三大学派为更充分认识人工智能,我们从他的派系来了解人工智能的发展
人工智能符号主义早在上个世纪五十年代,人们基于”让机器产生像人类一样的智能“这样的美好愿望,提出了人工智能的概念,所以一切试图做到这一点的都可以看作”人工智能“的技术,比如在人工智能早期曾十分流行的人工智能三大流派之一的符号主义,人们自己总结规则,然后通过if-else的方法堆砌成一个专家系统,这也属于人工智能领域,而且是人工智能领域非常重要的一部分。
正是这些符号主义者,早在1956年首先采用“人工智能”这个术语。后来又发展了启发式算法>专家系统>知识工程理论与技术,并在20世纪80年代取得很大发展。符号主义曾长期一枝独秀,为人工智能的发展作出重要贡献,尤其是专家系统的成功开发与应用,为人工智能走向工程应用和实现理论联系实际具有特别重要的意义。在人工智能的其他学派出现之后,符号主义仍然是人工智能的主流派别。这个学派的代表人物有纽厄尔(Newell)、西蒙(Simon)和尼尔逊(Nilsson)等。
近些年来符号主义中的知识图谱在很多智能问答应用中还发挥着很重要的作用,但这种符号主义的手段对于人工消耗极大,每一个规则都需要人手工录入,机器无法自主学习,所以为了解决这个问题,人们提出了机器学习的想法,这时候我们不再需要给机器逐个录入规则本身,而是让机器自己在数据中学习到规则,所以一切试图做到这一点的,都可以看作是机器学习的技术。
对于商用QA系统生成的答案,即使并没有很人性化的回答到问题,但表述的准确性和正确性往往比所谓的智能更重要,所以业内普遍还是偏向于使用符号主义中的知识图谱技术,而不是深度学习让机器学习规则。
人工智能连接主义认为人工智能源于仿生学,特别是对人脑模型的研究。它的代表性成果是1943年由生理学家麦卡洛克(McCulloch)和数理逻辑学家皮茨(Pitts)创立的脑模型,即MP模型,开创了用电子装置模仿人脑结构和功能的新途径。它从神经元开始进而研究神经网络模型和脑模型,开辟了人工智能的又一发展道路。
其中最具代表的神经网络,和深层次神经网络(深度学习)。所以在深度学习领域中,就是不断的增加一个神经网络的隐藏层神经元,让输入的数据被这些神经元不断的抽象和理解,最后得到一个具有泛化能力的预测网络模型
而我们一般把隐藏层超过三层的网络,称之为:深度神经网络
至于网络中每个节点到底在理解什么,很难用精确的数学手段去分析。我们唯一能做的就是:收集数据,送入数据,进行训练,然后期待结果
当然也不是说我们对一个深度神经网络完全不可把控,起码我们能在比如学习率,激活函数,神经元层数和数量等等方面调节神经网络的大致工作行为,俗称——调参
深度学习的训练可以来这里进行体验:Tensorflow游乐场:http://playground.tensorflow.org/
近些年来,人工智能,机器学习领域随着算力,数据和从业者的不断增加,正在不断的涌现着一些十分有趣的想法,等待着探索和发现。
人工智能行为主义行为主义认为人工智能源于控制论。除了深度学习以外,目前机器学习领域中还有另外一项振奋人心的技术,强化学习。
强化学习的灵感来自于人工智能三大流派之一的行为主义,让一个智能体(Agent)不断的采取不同的行动(Action),改变自己的状态(State),和环境(Enviroment)进行交互,从而获得不同的奖励(Reward),我们只需要设计出合适的奖励(Reward)规则,智能体就能在不断的试错中习得合适的策略,
强化学习近些年来也得到了很多的应用,从alphago开始,到近期腾讯的”觉悟“,通过强化学习训练的游戏AI,已经让人类选手开始在MOBA游戏中深感绝望,当然像觉悟这样的AI,在强化学习中也加入了深度学习部分,也就是所谓的深度强化学习。
机器学习该怎么学?-机器学习本质包含了数学原理推导与实际应用技巧
机器学习中有很多经典算法,既然要学习,那就需要清楚一个算法是怎么来的(推导)以及该如何应用
数学重要吗?非常重要的,大学的数学基础即可,如果你都忘了,大致的印象还是有的吧,我觉得与其从头过一遍数学,不如边学边查,一个合适的做法就是哪里不会点哪里,我每天也在查很多知识点
一定要学数学,学推导吗?我知道会用不就可以了吗?有句老话,不光要知其然还要知其所以然,这对我们的应用具有很大的帮助
推导肯定是重中之重了,因为对于我们来说学习的目的就是转换成自身的资本让我们更有竞争力,面试与笔试的时候,这些推导全来了
程序员兄弟如果要转行,让你看数学你肯定要疯的,重点应在于如何应用(库的使用,完整项目如何构建,从头到尾的流程)
底层实现和上层应用像很多技术领域一样,往往可以把这个领域的知识体系简单的分为两层:底层实现和上层应用。
而上层应用中往往随着该领域的发展又会出现很多经过验证的行之有效的经典方法
比如编程语言中Java这个体系,jvm虚拟机,字节码技术构成了Java体系的底层实现,并通过Java语言向上提供应用的接口,而像Spring、Mybatis等框架,以及各种常用的库,则是人们在多年实践中总结而成,能高效的用于生产的经典上层实现,那在实现一个经典任务的时候,Java程序员往往会直接使用这些框架和库,而他们往往也能应对绝大多数问题。
同样,在深度学习领域,我们学习过的像梯度下降,反向传播,CNN,RNN,以及未详细说明的其他的一些基本原理,则构成了现代神经网络的底层实现,而像LeNet-5网络,LSTM,GRU以及AlexNet,VGG,ResNet,Yolo等等,则是在神经网络发展的过程中经过检验而行之有效的模型,
同样,这些经典的网络模型在很多常见的场景,比如语音识别,自然语言处理,图像识别等领域中都能有不错的效果,所以想要用神经网络实现一个具体任务,那么应该首先考虑这些已有的经典网络模型,就像我们使用spring开发Java项目一样,是很自然的选择,
而我们为了提高自己Java项目的开发水平,可能需要去熟悉框架的实现,好消息是我们可以阅读他们的源码,只要你想,就能知道所有细节,而坏消息是这些代码往往非常的庞杂,配合文档和资料也需要很长时间的学习和研究。
同样为了提高对神经网络应用水平,我们需要去熟悉这些经典网络模型,最好的方法就是阅读他们的论文,好消息是这些论文一般都不会特别的长,内容也相对单一,很快就可以看一遍,但坏消息是这些论文一般不会附带源码,一般都是数学公式和图表,阅读他们的门槛可能更高,
但另外一个好消息就是,对于这些经典的网络结构,目前网络上已经有很多人写博客做了更通俗易懂的解读,比如一篇关于LSTM的著名博客,《UnderstandingLSTMNetwork》,这要比看LSTM的原论文要轻松许多,有些文章甚至会逐步的贴出相应的代码,比如对于LeNet5和AlexNet,随便一搜就能找到一大批关于他们论文的解读和用keras实现的代码,所以对于这些经典网络的学习并不是一件特别困难事情。
当然,人工智能作为一门正处于高速发展的学科,每段社区都会有新的idea被提出,有些可能是变革性的,有些可能只是一个小的修补,不论怎样,如果你希望了解这些新的想法,那么唯一的方法就是去看原始的论文,这可能会比较艰难,因为很多论文都是对想法进行简单的描述,然后给出一些公式,而且一般不会详细的说明这些公式每一步推导的细节,最后贴出测试效果的图表,而且并不会附赠源代码,所以为了提高阅读的效率,只能是多看,排除那些写的特别晦涩的论文,一般来说一个领域内的论文,看的多了也就能慢慢的培养出一点感觉,
当然这里还有个很重要的问题,那就是要对机器学习神经网络的底层实现有足够的了解,不仅仅是概念上的,还有数学上的。当然,如果你并不是想做机器学习,神经网络相关的研究工作,而只是想把它应用到自己实际的问题上,那倒是不必研究的如此深刻,在理解了大致工作原理之后,去学习使用那些经典的模型就好,正如我们在学习编程语言的时候,即使不是特别深入的了解计算机的底层实现,也可以写出不错的程序,但是如果是从事像操作系统这样的计算机的方面的研究工作,那么深入的学习则是不可避免的。