博舍

图灵奖得主杨立昆:我所经历的人工智能“寒冬” 杨立坤人工智能

图灵奖得主杨立昆:我所经历的人工智能“寒冬”

本文来自微信公众号:返朴(ID:fanpu2019),作者:杨立昆(YannLeCun),翻译:李皓、马跃,原文标题:《图灵奖得主杨立昆:我如何走上人工智能之路丨展卷》,题图来自:视觉中国

一、遭遇寒冬

1969年,西摩尔·帕普特(SeymourPapert)和马文·明斯基(后者在20世纪50年代曾热衷于人工神经网络的研究,后来放弃了)联合出版《感知器:计算几何学概论》一书[1]。他们在书中指出了学习机的局限性,其中有些局限性对于技术发展会造成严重阻碍。因此对他们来说,神经网络的研究之旅已经走入了死胡同。这两位都是麻省理工学院极负盛名的权威教授,他们的作品在领域内引起了轰动:资助机构纷纷退出,不再支持该领域的研究工作。与GOFAI(goodold-fashionedartificialintelligence,好的老式人工智能。基于逻辑、规则和搜索算法的传统人工智能方法。)一样,神经网络的研究也遭遇了它的第一个“冬天”。

大多数科学家不再谈论制造具有学习能力的智能机器之事,转而把目光转向了更容易落地的项目。比如,运用一些原本用来研究神经网络的方法创建了“自适应滤波”,这是许多现代通信技术的起源。在此之前,当我们通过电话线在两台计算机之间交换数据时,电话线可能会发生以下情形:我们输入一个二进制信号,电压从0伏升到48伏,而信号在距离目的地还剩几公里时就已经损坏了。但现在,自适应滤波器能将其复原,这个过程是通过以其发明者鲍勃·拉迪(BobLucky)的名字命名的Lucky算法实现的。20世纪80年代后期,鲍勃·拉迪曾在贝尔实验室担任部门经理,领导着约300人工作,我也是其中一员。

如果没有自适应滤波,就不会出现带扬声器的电话。扬声器可以让我们对着麦克风讲话,而它不需要同时记录对话者说的话(有时我们能听到自己在说话)。回声消除器使用的算法与感知器使用的算法非常相似。

二、狂热的疯子

在20世纪七八十年代的“寒冬”里,仍有一些人执着于神经网络研究,科学界把他们视为狂热的疯子。比如,芬兰人戴沃·科霍宁(TeuvoKohonen),他研究的是一个与神经网络比较接近的课题—联想记忆。再比如,还有一群日本人,与西方不同,日本的工程科学生态系统比较孤立,其中包括数学家甘利俊一(Shun-IchiAmari)和一位名为福岛邦彦(KunihikoFukushima)的业内人士,后者发布了一个被他称为“认知机”(Congitron)的机器,这一命名来自术语“感知器”(preceptron)。福岛邦彦前后一共发布了这个机器的两个版本,分别是20世纪70年代的认知机和80年代的神经认知机(Neocognitron)。与同时代的弗兰克·罗森布拉特一样,福岛邦彦也受到了神经科学新发现的启发,特别是美国人大卫·休伯尔(DavidH.Hubel)和瑞典人托斯坦·威泽尔(TorstenN.Wiesel)的发现给予了他很多灵感。

休伯尔和威泽尔是两位神经生物学家,他们因在猫的视觉系统方面的研究成果获得了1981年的诺贝尔生理学或医学奖。他们发现视觉是视觉信号通过几层神经元传递后呈现的结果,包括从视网膜到初级视觉皮层,再到视觉皮层的其他区域,最后到颞下皮层。在这些层级中,神经元发挥着非常特殊的作用。在初级视觉皮层中,每个神经元仅连接到视野的一小部分区域,即接收区域。这些神经元被称为简单细胞。在下一层,即视觉皮层中,其他单元集成了上一层激活的信息,使得视觉对象即使在视野中稍微移动,视觉系统也能保持图像的呈现。这些单元被称为复杂细胞。

福岛邦彦便是受到这个研究成果的启发,延伸出了一个想法:先利用一层简单细胞检测各个小接收区域所接收的图像的简洁信息,再利用下一层复杂细胞处理收集到的信息。他研发的神经认知机共有5层:简单细胞、复杂细胞、简单细胞、复杂细胞,最后是类似感知器的分类层。福岛在前四层使用了某种“不受监督”的学习算法,也就是说,它们接受的是不考虑完成任务的、“盲目”的训练。仅有最后一层像感知器一样,接受了“受监督”的训练。但从总体来看,福岛邦彦缺乏一种可以调整所有层级参数的算法,所以他的网络只能识别诸如数字一类极其简单的事物。

在20世纪80年代初期,福岛邦彦并非独自一人在此领域进行探索,北美的一些团队也在进行着积极的探索,例如心理学家杰伊·麦克莱兰德(JayMcClelland)和戴夫·鲁梅尔哈特(DavidRumelhart),还有生物物理学家约翰·霍普菲尔德(JohnHopfield)和特伦斯·谢诺夫斯基(TerrySejnowski),以及计算机科学家杰弗里·辛顿(GeoffreyHinton)。辛顿与我共享了2018年度图灵奖。

三、被兴趣激发的人

从20世纪70年代起,我开始对这些研究产生了浓厚的兴趣,我的好奇也许来自对父亲的观察。他是一名航空工程师,同时也是一位动手天才,他总是喜欢在业余时间做电子产品。他制作过遥控飞机的简化模型。记得那是在1968年5月大罢工期间(译者注:这里的大罢工指“五月风暴”,是1968年5月法国爆发的一场学生罢课、工人罢工的群众运动),父亲在家里制作了他人生中第一个遥控汽车和一艘船的遥控器。我并不是家里唯一被激发兴趣的人,我弟弟也是。他比我小6岁,同样受到父亲的影响,后来也成为计算机科学家。他大学毕业后成为谷歌的研究员。

在很早的时候,我就对技术、征服太空以及计算机的诞生充满了探索的热情。我曾梦想成为一名古生物学家,因为人类智能的出现及演化深深地吸引了我。即使在今天,我也依旧认为大脑的运行机制是生命世界中最神秘的事物。我8岁的时候,在巴黎跟我的父母、一位叔叔和一位沉迷于科幻的阿姨一起看过一部电影——《2001太空漫游》。影片里出现了我所热爱的一切:太空旅行、人类的未来以及超级计算机哈尔的起义。哈尔为了确保自己的生存和完成最后的任务而要展开屠杀,这件事情真的很不可思议,而在这之前,如何将人工智能复制到机器中这个问题就已经让我深深着迷了。

鉴于此,高中毕业后我自然而然地打算投身这个领域进行具体研究。1978年,我进入了巴黎高等电子与电工技术工程师学院,就读该学院无须参加预科课程,可以在高中毕业后直接申请。我的实践经历证明,读预科并不是在科学之路上取得成功的唯一途径。而且,我在巴黎高等电子与电工技术工程师学院学习时拥有很多自主权,所以我肯定会好好珍惜利用!

四、卓有成效的阅读

在第一批让我感到欣喜的读物中,有一份是我在1980年读过的报告。这实际上是一份辩论总结,辩论是在瑟里西(Cerisy)会议上展开的,主题是人类语言机制到底是先天的还是后天的。[2]语言学家诺姆·乔姆斯基的观点是,大脑中生来就已经存在能够让人们学习说话的结构。而发展心理学家让·皮亚杰(JeanPiaget)则认为,一切都是通过后天学习获得的,包括大脑中学习说话的结构,语言学习是随着智能的逐步建构而分阶段完成的。因此,智力的获得是人与外界交流学习的结果。这个想法深深地吸引了我,我开始思考如何才能将其应用于机器学习中。也有其他一些顶尖的科学家参加了这场辩论,比如西摩尔·帕普特,他极力颂扬了感知器,认为它是能够学习复杂任务的简单机器。

我因此知道了感知器的存在,并迅速沉迷于这个课题。我利用每周三下午不上课的时间,在罗康库尔的Inria(法国国家信息与自动化研究所)的图书馆寻找专业图书来读。在法兰西岛大区,Inria掌握着最为丰厚的计算机研究经费。我在阅读过程中很快发现,西方科学界尚无人研究神经网络。同时我还惊奇地发现,有关感知器的研究就截止在西摩尔·帕普特所称颂的感知器上,此外没有进一步的发展。

系统理论(在20世纪50年代被称为控制论)是我的另一个研究爱好,它主要研究人工系统和天然生物系统。比如人类体温的调节系统:人体温度之所以能够维持在37℃左右,主要得益于一种恒温器,它可以调节人体温度与外界温度之间的差异。

我对“自组织”也有浓厚的兴趣。分子或相对简单的物体是如何本能地相互作用组成复杂结构的?智能是如何从大量相互作用的简单元素(神经元)中发展而来的?

我研究了柯尔莫哥洛夫、所罗门诺夫和柴廷(Chaitin)的算法复杂性理论中的数学部分。此外,我在前文中提到的理查德·杜达和彼得·哈特的书[3]就摆放在我的床头,同时我还订阅了《生物控制论》,这是一本涉及大脑运作原理和生命系统的计算机数学模型的期刊。

因此,所有因为“寒冬”而被忽视的人工智能问题都呈现在我面前。在思考这些问题时,我慢慢形成了自己的理念:以逻辑的方式无法建构真正的智能机器,我们必须赋予机器学习的能力,让它们能以经验为基础进行自我建构。

在阅读期间,我发现科学界不只我有这种想法,因此我也注意到了福岛邦彦的研究成果,并开始思考提高新认知中心神经网络效率的方法。对正式开展研究来说比较幸运的是,巴黎高等电子与电工技术工程师学院为学生提供了当时功能非常强大的计算机。我与学校里的朋友菲利普·梅曲(PhilippeMetsu)一起开始编写程序。他同样热爱人工智能,尤其对儿童的学习心理感兴趣。学校里的数学老师也愿意指导我们,我们一起尝试模拟神经网络。但实验十分费力:计算机进步缓慢,编写程序也着实令人头疼。

在学校的第四年,我由于更加沉迷于这项研究,开始设想一种用于训练多层神经网络的学习规则,可惜并没有真正得到数学层面的验证。我构想出一种可以在网络中实现从后向前传递信号的算法,用来实现端到端的训练,我将它命名为HLM算法(取自分层学习机的英文名称hierarchicallearningmachine,参见第五章相关内容)。命名这个算法的时候,我还玩了一个有趣的文字游戏(译者注:在法语中,HLM是低租金住房[habitationàloyermodéré]的缩写)……在HLM的基础上发展而来的“梯度反向传播”算法如今已被广泛应用于训练深度学习系统。HLM与如今的反向传播梯度网络的不同之处在于,HLM传递的是每个神经元的期望状态。因此在当时计算机运算乘法的速度比较慢的情况下,可以使用二进制神经元。HLM算法是训练多层网络的第一步。

五、我的偶像

1983年夏,我从工程专业毕业时,从一本书上了解到一个对自组织系统和自动机网络感兴趣的小组:网络动力学实验室(LDR)。他们的办公地点位于巴黎圣纳维耶沃综合理工学院的旧址,小组成员都是法国人,他们来自各大高校。因为该小组不挂靠任何机构,所以几乎没有经费和预算,只有一台回收的计算机。从另一个角度说,法国在机器学习方面的研究当时正处于近乎停滞的状态。我拜访了他们。和我不一样,这些研究人员没有接触过有关神经网络的早期出版物,但他们熟悉其他作品。

我向他们表示,我对他们的研究课题感兴趣,而且我所在学院的设备有助于他们做进一步的研究。后来,我在皮埃尔和玛丽·居里大学继续研究生学习时,也加入了他们的小组。1984年,我准备攻读博士学位。虽然当时我有巴黎高等电子与电工技术工程师学院的研究奖学金,但还没有找到合适的论文指导老师。弗朗索瓦丝·福热尔曼-苏利耶(FrançoiseFogelman-Soulié,后来更名为Soulié-Fogelman)与我共事了很长时间,她当时是巴黎第五大学的计算机科学副教授。从能力上来讲,她完全可以指导我,可惜,她还没有完成国家博士论文(此资格是欧洲教育体系的特色),所以她没有取得指导博士论文的资格。

因此,我只能求助于实验室中唯一一位能够指导计算机博士论文的教授莫里斯·米尔格朗(MauriceMil-gram),他是贡比涅技术大学计算机和工程科学的教授。他同意成为我的导师,但同时表示他对神经网络一无所知,所以可能帮不上什么忙。我永远都不会忘记他对我的关照。那段时间,我将所有精力都用在了巴黎高等电子与电工技术工程师学院(和它强大的计算机)和LDR(和它的知识环境)中。

我身处一个完全未知的领域,这实在令人兴奋。在国外,也有一些课题跟我们接近的研究小组正在慢慢起步。1984年夏,我陪同弗朗索瓦丝·福热尔曼去了加利福尼亚,在带有传奇色彩的施乐帕克研究中心的实验室实习了一个月。

当时,我十分渴望见到两位大人物:一位是来自巴尔的摩约翰斯·霍普金斯大学的生物物理学家和神经生物学家特伦斯·谢诺夫斯基(《深度学习》作者),另一位是来自卡内基·梅隆大学的杰弗里·辛顿,后者与约书亚·本吉奥和我共同分享了2018年度的图灵奖。

辛顿和谢诺夫斯基于1983年发表了一篇有关玻尔兹曼机(BoltzmannMachines)的文章,并在其中描述了一个带有“隐藏单元”的神经网络的学习过程,这个隐藏单元是位于输入和输出之间的中间层的神经元。我之所以对这篇文章感兴趣,主要是因为他们提到了多层神经网络的训练,这可是我研究课题中的核心问题,他们是真正对我的研究有价值的人!

六、“你认识一个叫杨立昆的人吗?”

我职业生涯真正意义上的转折点出现在1985年2月,在阿尔卑斯山莱苏什举行的研讨会上。在那次会议上,我遇到了当时世界上对神经网络感兴趣的顶级专家,他们有物理学家、工程师、数学家、神经生物学家、心理学家,尤其是遇到了在科学界宛如神话一般的贝尔实验室里一个新成立的研究神经网络的小组成员。得益于在莱苏什的相识,三年后,我被该小组聘用。

这次研讨会是由我所在的法国研究小组LDR的成员组织的,他们是弗朗索瓦丝和她当时的丈夫热拉尔·韦斯布赫(GérardWeisbuch),后者时任巴黎高等师范学院的物理学教授,以及当时在法国国家科学研究中心(CNRS)任职的理论神经生物学家埃利·比嫩斯托克(ÉlieBienenstock)。会议汇聚了许多对“自旋玻璃”感兴趣的物理学家,以及物理学和神经科学等领域的权威人士。约翰·霍普菲尔德那篇关于自旋玻璃和神经网络的开创性文章[4],引得许多物理学家开始关注并学习人工神经网络,但当时仍有许多工程师和计算机科学家不愿谈及这个话题。

在莱苏什,我是年龄最小的与会者之一,我当时刚开始着手写博士论文。令我无比紧张的是,我需要在众多享誉业界的大咖面前,用英语做一个关于多层网络和HLM算法(反向传播的前部研究)的英文报告。

尤其有两位听众给了我巨大的压力:一位是贝尔实验室的部门负责人拉里·杰克尔(LarryJackel),后来我很荣幸地加入了他的部门;另一位是该部门的二号人物约翰·登克尔(JohnDenker),他是一位来自亚利桑那州的真正牛仔,身穿牛仔裤和牛仔靴,有着垂到脸颊的头发……这位刚刚完成博士论文的“非典型研究人员”拥有令人难以置信的强大气场!当某位研究者发言之后,他能够很快就议题展开讨论,表明自己的观点。他谈话时虽没有攻击性,却掷地有声,有理有据。当然他的自信也是有缘由的,弗朗索瓦丝·福热尔曼曾说:“贝尔实验室的研究人员有着巨大的优越感。当你要研究某个课题时就会发现,要么贝尔实验室早在10年前就已经研究过了,要么已经证明这条路行不通了。”简直太可怕了!

我做完了关于多层网络和HLM算法的报告,与会者中真正听懂的人寥寥无几(这已经让我够紧张了!),然后,约翰·登克尔举起了手,我简直紧张到窒息!但他在所有听众面前对我说:“讲得真的很好!谢谢您,让我知道了很多事情……”我确信我的名字已经留在他和拉里·杰克尔的脑海中。一年后,他们邀请我去他们的实验室做报告。两年之后,我接受了贝尔实验室的面试。三年后,我正式加入了他们的团队!

同样是在莱苏什,我碰到了特伦斯·谢诺夫斯基,也就是与杰弗里·辛顿共同发表关于玻尔兹曼机的文章的作者。他是在我完成报告后到场的。我在下午的茶点时间找到了他,向他阐述了我在多层神经网络方面的工作。在交流之前,我并不确定他是否会感兴趣。他只是耐心地听着,并没有告诉我他与杰弗里·辛顿也在进行反向传播研究,也没有告诉我,辛顿已经成功实现反向传播,只不过没有对外公布而已。

伟大的发明之间能够相互启发。辛顿的研究就使用到了加利福尼亚大学圣迭戈分校的戴夫·鲁梅尔哈特的思路,辛顿在之前的几年里曾跟随戴夫读博士后。1982年,戴夫提出这个方法并编写了程序,只可惜没能成功运行。他找到辛顿,辛顿说:“失败的原因出在了局部一些极为细微的问题上。”(参见第四章“多个谷底的困扰”)后来,戴夫放弃了。但是,在研究玻尔兹曼机的过程中,辛顿意识到问题并没有自己当初想象的那么严重。因此,他用LISP语言在Symbolics公司的LISP机器上用戴夫的方法重新编写了程序,这一次程序成功运行起来。

因此,在我们交流的过程中,特伦斯很快注意到我的HLM方法和反向传播非常相似。他没有告诉我,在反向传播成功后,他已经在研究此后几个月将会风行一时的实际应用了。特伦斯回到美国后向辛顿提到了我:“法国有个孩子在进行跟我们同样的研究!”

同年春天,我写了第一篇关于自己研究成果的文章(我承认,这篇文章离科学文献的标准有点远),并在1985年6月举办的Cognitiva大会上将其公开,那是法国第一次召开集合了人工智能、神经网络、认知科学和神经科学的综合性大会。杰弗里·辛顿是当时的主讲嘉宾,他在开幕辞上介绍了玻尔兹曼机。结束后,将近50个人聚集在他的周围,我也想上前交流,但并没有机会靠近他。随后,我注意到他转向其中一位会议组织者丹尼尔·安德勒(DanielAndler),并问道:“你认识一个叫杨立昆的人吗?”丹尼尔开始四处观望,我立马大喊道:“我在这儿。”其实,辛顿已经在会议论文集上看到了我的文章,虽然他不精通法语,但依然看懂了文章的内容,他意识到我就是特伦斯提过的那个“孩子”。

我们在第二天碰了面,并一起在一家古斯古斯(来自北非马格里布地区的美食)餐厅吃了午饭。他向我解释了反向传播的原理,他知道我能听懂!辛顿说自己正在写一篇文章,其中引用了我的研究成果,我听后非常自豪。我俩很快意识到,我们的兴趣、方法以及思路都十分相似。辛顿邀请我参加1986年在卡内基·梅隆大学举办的关于联结主义模型的暑期培训班,我欣然接受。当时在认知科学界,研究者通常用“联结主义模型”这个术语来称呼神经网络这个未知领域。

七、梯度反向传播的运用

20世纪80年代,梯度反向传播的普及使得训练多层神经网络成为可能。该网络由成千上万分层的神经元组成,其间的连接更是数不胜数。每层神经元都会合并、处理和转换前一层的信息,并将结果传递到下一层,直到在最后一层产生响应为止。这种层次体系结构赋予了多层网络能够存储惊人的潜能,我们会在接下来的深度学习部分进行进一步的讨论。不过,在1985年,多层网络的学习过程仍然很难实现。

这一切在1986年发生了转变。特伦斯·谢诺夫斯基发表了一篇探讨NetTalk多层网络的技术报告,NetTalk通过反向传播训练使机器学习阅读。该系统将英文文本转换成一组语音音素(基本语音)后传到语音合成器,从而实现“阅读”的功能。将文本语音转换成法语很简单,转换成英语却十分困难。在训练的初期,这个系统如同一个刚开始学习说话的婴儿,随着训练的不断积累,它的发音也越来越好。特伦斯·谢诺夫斯基到巴黎高等师范学院现场做了相关报告,震惊了现场听众和业界。随即,所有人都希望向我取经,因为多层网络突然变得十分流行,我也变成了这个领域的专家。

在这之前的一年,我发现可以用拉格朗日形式从数学的角度反向传播,这类形式化是传统机械、量子机械和“最优控制”理论的基础。我还注意到在20世纪60年代,有一位最优控制的理论家提出了一个类似反向传播的方法,这个方法被命名为“凯利-布赖森(Kelly-Bryson)算法”,也被称为“伴随状态法”。在1969年出版的由亚瑟·布赖森(ArthurBryson)和何毓琦(Yu-ChiHo)合著的《应用最优控制》(AppliedOptimalControl)一书中对其进行了详细讲述。

这些科学家从没想过将这个方法应用到机器学习或者神经网络领域,他们更感兴趣的是系统的规划和控制。比如,如何控制火箭,使其到达一个精准的轨道并且和另外一个航空器对接,且同时要尽可能减少能源消耗。而从数学的角度来说,这个问题和调整多层神经网络节点的权重问题非常相似,这样最后一层的输出结果就会符合预期。

1986年7月,应辛顿之邀,我在匹兹堡的卡内基·梅隆大学参加了为期两周的关于联结主义模型的暑期课程(如下图)。这次美国之行我其实是有顾虑的,因为当时我的妻子正在孕中,我们的第一个孩子将在我回法国4周后降生。

1986年有关联结主义模型的暑期课程班学员

照片中标出的是斯坦尼斯拉斯·德阿纳(SD)、迈克尔·乔丹(MJ)、杰伊·麦克莱兰德(JMcC)、杰弗里·辛顿(GH)、特伦斯·谢诺夫斯基(TS)和我(YLC)。除此之外,照片上的许多参与者日后都成了机器学习、人工智能和认知科学领域的重要人物:安迪·巴尔托、戴夫·图尔茨基、格里·泰绍罗、乔丹·波拉克、吉姆·亨德勒、迈克尔·莫泽尔、理查德·德宾等组织者。

我对那个夏天最深的记忆就是我与辛顿,还有刚完成博士论文的迈克尔·乔丹(MichaelJordan)建立了一个研究神经网络的团队,我们三个人之间也因此结下了深厚的友谊。为什么邀请迈克尔呢?因为他的法语比我的英语好。在暑期培训班的野餐会上,他弹着吉他演唱了乔治·布拉桑(GeorgesBrassens)的歌。

虽然我还只是个学生,但辛顿还是邀请我做了一场报告,并介绍说我发现了反向传播。在一次晚餐时,我们享用着我带来的一瓶很棒的波尔多红酒,辛顿跟我说,他将在一年后离开卡内基·梅隆大学,加入多伦多大学。他问:“你愿意成为我的客座研究员吗?”我回答:“当然了!”这一年时间正好够我完成博士论文。

大变革的时代到来了。鲁梅尔哈特、辛顿、威廉联合发表的关于反向传播的论文在业界引发了爆炸式的反响。[5]NetTalk成功的消息也迅速传播开来。神经网络领域的研究走上了快车道。我制作的名为HLM的神经网络模拟和反向训练软件也吸引了法国工业界的一些买家,Thomson-CSF(现在名为Thales,即法国泰雷兹集团)就是我的顾客之一。

1987年6月,我完成了博士论文,并在皮埃尔和玛丽·居里大学通过了答辩。因为我在4月尝试一种新的沙滩帆船推进方式时伤到了脚踝,所以我借助拐杖才完成了答辩。杰弗里·辛顿是我的答辩委员之一,此外答辩委员会还有莫里斯·米尔格朗、弗朗索瓦丝·福热尔曼,雅克·皮特拉(JacquesPitrat,法国人工智能符号领域的科研领袖之一)和贝尔纳·安吉尼奥(BernardAngéniol,Thomson-CSF的一个研究团队负责人)。同年7月,我和我的妻子,还有我们一岁的宝宝一起来到多伦多,我成为辛顿的客座研究员。我们预计在多伦多的生活不会超过一年,我的妻子为了照顾孩子,不得不搁置了她的药剂师工作。我还指导着一个名叫莱昂·博图(LéonBottou)的朋友。我与莱昂结识于1987年初,当时他正在巴黎综合理工学院完成最后一年的学业。他对神经网络很感兴趣,因此决定跟随我做毕业实习。请千万不要告诉他们的校长我还没有取得博士学位。当时,我正计划编写新的软件来创建并训练神经网络,它是由LISP解释器驱动的模拟器。

我把解释器的相关工作交给了莱昂,他仅用三周时间就完成了!此外,因为我们都拥有同款个人计算机——Commodore公司的Amiga(一款高分辨率、快速的图形响应、可执行多媒体任务的计算机),所以我俩的合作既愉快又高效。与现在的苹果计算机和其他品牌的个人计算机不同,Amiga计算机具有类似北美IT(信息技术)部门中常见的UNIX工作站的属性:我们使用C语言编程,使用GCC编译器和Emacs文本编辑器。我那台Amiga计算机安装了专供信息工作者使用的文本处理程序LaTex,我就是利用它完成了博士论文。莱昂和我通过连接MiniTel(数字化电话信息的交互式媒体)远程交换程序代码段。

我们将程序命名为SN(simulatorneuronal,神经模拟器),它也是我俩长久合作与友谊的见证。莱昂后来在纽约FAIR的办公室离我的办公室并不远。

在多伦多,我完成了SN,之后对其做了调整,以便实现我设想的一个可以用于图像识别的神经网络——卷积网络。卷积网络是受福岛邦彦的神经认知机启发而产生的一个想法,但它使用的是更为传统的神经元,并且受到反向传播的驱动。同时,杰弗里·辛顿开发了一种更简单的用于语音识别的卷积网络,他将其称为TDNN(时延神经网络)。

1987年年底,我应邀前往麦吉尔大学的蒙特利尔计算机科学研究中心做报告。报告结束时,一位年轻的硕士研究生提出了一系列问题,从提问中可以看出他在多层神经网络方面有比较深入的研究。要知道在同时期,该领域的研究人员相当少。他想了解如何调整神经网络结构,并使其能够处理语音或文本等时间信号。我记住了他的名字:约书亚·本吉奥。

参考资料

[1] MarvinL.Minsky,SeymourA.Papert,Perceptrons:AnIntroductiontoComputionalGeometry,TheMITPress,1969.

[2] Théoriesdulangage,théoriesdel’apprentissage:ledébatentreJeanPiagetetNoamChomsky,débatrecueilliparMaximoPiatelli-Palmarini,CentreRoyaumontpourunesciencedel’homme,Seuil,《Points》,1979. 

[3] RichardO.Duda,PeterE.Hart,PatternClassificationandSceneAnalysis,op.cit.,p.6. 

[4] JohnJ.Hopfield,Neuralnetworksandphysicalsystemswithemergentcollectivecomputationalabilities,ProceedingsoftheNationalAcademyofSciences,1982,79(8),pp.2554–2558,DOI:10.1073/pnas.79.8.2554.  

[5] D.E.Rumelhart,G.E. Hinton,R. J.Williams,Learninginternalrepresentationsbyerrorpropagation,inD.E.Rumelhart,J.L.McClelland,PDPResearcheGroup,ParallelDistributedProcessing:ExplorationsintheMicrostructureofCognition,MITPress,1986,vol.1,pp.318-362.

本文经授权节选自《科学之路:人、机器与未来》(中信出版社)第二章,内容有删减

本文来自微信公众号:返朴(ID:fanpu2019),作者:杨立昆

图灵奖得主杨立昆:人工智能比你更聪明吗

来源:混沌巡洋舰

人工智能常常被认为是一项将要颠覆世界的技术,从这一概念诞生至今的65年中,无数电影与小说塑造了各种经典的人工智能角色,AI(ArtificialIntelligence)也很快成为人类未来世界蓝图中的重要组成部分。但在人工智能不断拓宽我们对未来想象的同时,也不乏“AI统治世界”、“AI监视隐私”等等一类的消极论调。

在所有击碎人类宇宙中心信念基石的科学革命中,人工智能绝对算是其中我们又爱又恨的一场。李世石被AlphaGo击败后流下的泪水已经干了,但人类对于AI的恐惧和想象还在无限蔓延。那么,AI真的比我们更聪明吗?

在AlphaGo战胜了韩国棋手李世石后,一名比利时程序员在DeepMind发表的最新论文的基础上开展了一项开源的围棋AI项目——LeelaZero,曾有人尝试与其对弈,结果是Leela在19路盘面取得压倒性胜利,而在25路棋局上完败,且无一例外。这说明只接受过19路围棋训练的人工智能Leela也只会下19路的围棋,即使那些数据一直存储在其数据库中,它也不知道该如何将19路盘面的训练“经验”移植到25路围棋的对战上。

那么问题来了,一直以来被认为终将反超人类的人工智能,难道并不聪明吗?图灵奖得主、Facebook首席人工智能科学家杨立昆(YannLeCun)在他的新书《科学之路:人,机器与未来》中告诉我们:AI,真的不是你想的那样。

《科学之路:人,机器与未来》2021.08中信出版集团

AI,真的不是你想的那样

人工智能正在改变人类对自身的看法,不断冲击着人类独有的的“物种”傲慢。在文艺作品中,AI危险又美丽,为人类服务却各方面都比人类更加强大、更有创意。但在现实中,AI落地的应用却往往不懂常识、行动迟缓且耗能极大。

当你凝视人工智能时,人工智能并不一定在凝视你,因为它根本不知道你为什么要凝视他(至少现在不知道)。原因就是人工智能缺乏常识,没有感知,甚至没有办法根据场景变换对已存储的知识活学活用。

DeepMind训练了一个可以玩经典雅达利(Atari)视频游戏的系统,系统一共包括80个游戏,每场比赛它至少要花费80个小时来训练,才能勉强达到合格水平,而一个人只需要15分钟就可以做到这一点。但实际上,这80个小时是机器实时玩游戏时所花费的训练时间,在训练结束之后,它可以用(比人类)更快的速度进行游戏,甚至可以同时进行多个游戏。也就是说,如果让系统运行更长的时间,它将达到人类无法企及的超高效率。

但并不是所有应用AI的系统都有足够的时间成本去用更长时间接受更多的训练,比如自动驾驶领域。自动驾驶系统中的AI必须跟随汽车在道路上行驶以获得更多训练数据——必须驾驶数百万个小时,模拟引起成千上万次的撞车事故,而后才能学会如何避免撞车。如果汽车掉下悬崖,系统一定会说“哦,我一定是错了”,但这只会稍微纠正其策略。第二次,汽车可能会以不同的方式掉下悬崖,然后系统会再次纠正一点。依此类推,在系统彻底弄清楚如何避免跌落悬崖之前,汽车必须像这样重复跌落悬崖数千次(还不止),其执行难度和资金耗费可想而知。

以上两个示例足够说明一点:AI不是天才,不能轻而易举地获得“智慧”,它需要大量的训练和数据支撑才能在某一具体事件上做到人们所说的“聪明”,但这中间耗费的时间、算力等等成本又远远超过人们的普遍预想。

人工智能悖论:至关重要的常识

如今的人工智能有一个悖论:它功能极其强大、极其专业化,却没有一点常识。

现在让我们回过头来看前文提到的围棋AI——LeelaZero。Leela如果想要在25路盘面上立于不败之地,则需要更多专门针对25路围棋对战的数据以及更长时间的自我对局训练,才最终有可能获得全胜局面。但Leela不知道围棋的基本常识通用于不同盘面,也不懂得类推和移情。这也从另一个侧面反映出了AI的另一个“不聪明”之处——对于人类常识的缺失。

常识缺失的人工智能是什么样的呢?唤醒你的Siri、Alexa、天猫精灵或者小爱同学,尝试着和它对话(最多)两分钟,你就多多少少有些感触了。杨立昆在《科学之路:人,机器与未来》中也对此有过具体的描述:

一个翻译系统有时可能会产生一些滑稽的错误而不自知,自动驾驶汽车可以从点A行驶到点B,但它并不知道什么是驾驶员。比如虚拟助手可以报告交通信息,能调到你点播的广播电台,但如果你告诉它,“Alexa,我的手机掉进了浴缸。”它不会知道这代表着你的手机湿了,且需要更换,因为它只能在接受训练的范围内工作。如果想要系统更有效地回答问题,Alexa必须具备一些常识,即一些有关世界运作方式及其物理规律的约束知识。

常识至关重要,它制约着我们与世界的联系,它能填补空白,弥补隐含的信息。我们看到一个坐在桌子旁的人,可能看不到他的腿,但知道他肯定有腿,因为我们对人类有一定的了解。我们的大脑还整合了物理学的基本定律,比如,如果有人打翻了眼前的玻璃杯,那么杯子里的水就会洒得满桌子都是。我们知道如果不拿住某个东西,它就会掉下去。我们还能够意识到时间流逝、万物运动。

我们在生命的头几个月和几年中逐渐了解世界的模型——我有意使用了与人工智能领域相同的词汇,这使我们可以将某个普通的句子补充完整。这个句子的其余部分并没有向我们提供有关整个句子的所有信息,但我们还是能够将这个句子补充完整,因为我们知道世界的运行规律。同样,当我们阅读一个文本时,可以或多或少预测到下一个句子;当我们观看一个视频时,能够或多或少预测到接下来一连串的动作和反应。

由此可见,人类常识对于培养人工智能的学习能力至关重要,否则它只是一个功能强大、专业化高,却没有任何概念、文化、什么都不懂且耗能极高的应用程序。

人类大脑——永远的神

到目前为止,人类的学习方法比任何一种人工智能的学习方法都更为有效。在人脑中,额叶专用于获取有关世界运转规律的常识,这就是智力的本质。动物学习的方法与人类学习的方法大致相同。有些物种的天赋更高,在鸟类中,乌鸦就特别有天赋。在海洋动物中,章鱼非常聪明。再说说猫,它们没有人类的推理能力,但依然比最聪明的机器拥有更多的常识,老鼠也一样。所有这些动物都通过观察来学习世界运转的规律,获得了可以增加生存概率的预测模型。如果人类能制造出像老鼠或松鼠一样聪明的机器,人工智能事业或许就成功了。

也就是说,即便是最先进的人工智能系统也存在局限性,它们可能还不如一只猫聪明。此外,人工智能不仅在智识上比不上人类大脑,在功耗的节省上也远远落后于人类大脑。

虽然现代科学已经了解了大脑学习的原理,知道了大脑的结构,但重现其功能所需的计算量是无比巨大的,大约是每秒1.5×1018量级的操作。现在一块GPU(图像处理器)每秒可执行1013次计算,功耗约为250瓦。为了达到人脑的计算能力,必须将10万个这样的处理器连接上功耗至少25兆瓦的巨型计算机才能实现。这巨大的能量消耗是人脑的100万倍!

所以,AI比你更聪明吗?

最后,你要是问AI聪明吗?在某种程度、某个范围、某个具体的事件上,在掌握了大量数据和长时间的训练之后,它可以做到更快速的反应、进行更深入的分析并处理更多的并行任务,这时你可以说,AI是聪明的。但在普遍意义的学习能力上,在我们所生活的这个复杂的世界模型里,它还没能积累起足够的世界知识以产生某些常识,你也可以说,AI是不怎么聪明的。

也许你要提起那些仿真机器人来反驳我了,比如“索菲亚”。索菲亚是一位面带神秘微笑、长着一双玻璃眼珠的美丽的光头女人,“她”在2017年的许多舞台上都大放异彩。“她”动人的脸庞能够呈现数十种不同的表情,在调侃一个记者关于地球上有太多机器人的担忧时,“她”笑道:“您好莱坞电影看太多了!”这个经典笑话让她如此酷似人类,以至沙特阿拉伯在当年授予了“她”沙特国籍。实际上,“她”只是一个由工程师预先设定好一系列标准答案的“木偶”。当我们与“她”交流时,所有的谈话内容均会经过匹配系统处理,并从得到的答案中选择最合适的一个输出。索菲亚欺骗了人们,“她”只是一个完成度很高的塑料制品,只不过是我们(被这个激活了的物体所感动的人类)赋予了它某些智能。

于是,让AI变聪明也就成为了科学家们研究的首要任务。杨立昆在新书《科学之路:人,机器与未来》也阐述了人工智能研究的真正挑战:

“这些人工智能应用将会改变社会,但是,直到机器能够像动物和人类一样有效地学习,直到它们能够通过自我监督学习获得世界模型,直到它们积累起足够的世界知识以产生某些常识,这一切才会成为可能。”

本文摘编自中信出版集团8月新书《科学之路:人,机器与未来》。

《科学之路:人,机器与未来》内容简介:

“图灵奖”得主、“深度学习三巨头”之一、“卷积神经网络之父”……由于在人工智能领域的突出贡献,杨立昆被中国计算机科学界和企业界所熟知。杨立昆的科学之路,谱写了一段关于勇气的宣言。他为了知识本身求学,而不是文凭,他用自己的经历,证明了通过激烈的考试竞争进入名校不是科学成功的唯一路径。他广泛阅读,为他科学思维的形成奠定了坚实的理论基础。他特立独行,做自己感兴趣的事情,即便那件事在短时间里不被人看好。在人工神经网络研究的低谷期,他寂寞地坚持,终于取得了举世瞩目的成就。人工智能正在颠覆人类社会,未来机器能思考吗?杨立昆的这部著作,讲述正是人工智能在我们面前崛起——这个历史上绝无仅有的时刻发生的故事。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

图灵奖得主杨立昆:人工智能比你更聪明吗

关注公众号,发现CV技术之美

到目前为止,人类的学习比任何一种人工智能学习方法都更为有效。

人工智能常常被认为是一项将要颠覆世界的技术,从这一概念诞生至今的65年中,无数电影与小说塑造了各种经典的人工智能角色,AI(ArtificialIntelligence)也很快成为人类未来世界蓝图中的重要组成部分。但在人工智能不断拓宽我们对未来想象的同时,也不乏“AI统治世界”、“AI监视隐私”等等一类的消极论调。

在所有击碎人类宇宙中心信念基石的科学革命中,人工智能绝对算是其中我们又爱又恨的一场。李世石被AlphaGo击败后流下的泪水已经干了,但人类对于AI的恐惧和想象还在无限蔓延。那么,AI真的比我们更聪明吗?

在AlphaGo战胜了韩国棋手李世石后,一名比利时程序员在DeepMind发表的最新论文的基础上开展了一项开源的围棋AI项目——LeelaZero,曾有人尝试与其对弈,结果是Leela在19路盘面取得压倒性胜利,而在25路棋局上完败,且无一例外。这说明只接受过19路围棋训练的人工智能Leela也只会下19路的围棋,即使那些数据一直存储在其数据库中,它也不知道该如何将19路盘面的训练“经验”移植到25路围棋的对战上。

 

那么问题来了,一直以来被认为终将反超人类的人工智能,难道并不聪明吗?图灵奖得主、Facebook首席人工智能科学家杨立昆(YannLeCun)在他的新书《科学之路:人,机器与未来》中告诉我们:AI,真的不是你想的那样。

1

AI,真的不是你想的那样

人工智能正在改变人类对自身的看法,不断冲击着人类独有的的“物种”傲慢。在文艺作品中,AI危险又美丽,为人类服务却各方面都比人类更加强大、更有创意。但在现实中,AI落地的应用却往往不懂常识、行动迟缓且耗能极大。

 

当你凝视人工智能时,人工智能并不一定在凝视你,因为它根本不知道你为什么要凝视他(至少现在不知道)。原因就是人工智能缺乏常识,没有感知,甚至没有办法根据场景变换对已存储的知识活学活用。

DeepMind训练了一个可以玩经典雅达利(Atari)视频游戏的系统,系统一共包括80个游戏,每场比赛它至少要花费80个小时来训练,才能勉强达到合格水平,而一个人只需要15分钟就可以做到这一点。但实际上,这80个小时是机器实时玩游戏时所花费的训练时间,在训练结束之后,它可以用(比人类)更快的速度进行游戏,甚至可以同时进行多个游戏。也就是说,如果让系统运行更长的时间,它将达到人类无法企及的超高效率。

 

但并不是所有应用AI的系统都有足够的时间成本去用更长时间接受更多的训练,比如自动驾驶领域。自动驾驶系统中的AI必须跟随汽车在道路上行驶以获得更多训练数据——必须驾驶数百万个小时,模拟引起成千上万次的撞车事故,而后才能学会如何避免撞车。如果汽车掉下悬崖,系统一定会说“哦,我一定是错了”,但这只会稍微纠正其策略。第二次,汽车可能会以不同的方式掉下悬崖,然后系统会再次纠正一点。依此类推,在系统彻底弄清楚如何避免跌落悬崖之前,汽车必须像这样重复跌落悬崖数千次(还不止),其执行难度和资金耗费可想而知。

 

以上两个示例足够说明一点:AI不是天才,不能轻而易举地获得“智慧”,它需要大量的训练和数据支撑才能在某一具体事件上做到人们所说的“聪明”,但这中间耗费的时间、算力等等成本又远远超过人们的普遍预想。

 

2

人工智能悖论:至关重要的常识

如今的人工智能有一个悖论:它功能极其强大、极其专业化,却没有一点常识。

现在让我们回过头来看前文提到的围棋AI——LeelaZero。Leela如果想要在25路盘面上立于不败之地,则需要更多专门针对25路围棋对战的数据以及更长时间的自我对局训练,才最终有可能获得全胜局面。但Leela不知道围棋的基本常识通用于不同盘面,也不懂得类推和移情。这也从另一个侧面反映出了AI的另一个“不聪明”之处——对于人类常识的缺失。

 

常识缺失的人工智能是什么样的呢?唤醒你的Siri、Alexa、天猫精灵或者小爱同学,尝试着和它对话(最多)两分钟,你就多多少少有些感触了。杨立昆在《科学之路:人,机器与未来》中也对此有过具体的描述:

 

一个翻译系统有时可能会产生一些滑稽的错误而不自知,自动驾驶汽车可以从点A行驶到点B,但它并不知道什么是驾驶员。比如虚拟助手可以报告交通信息,能调到你点播的广播电台,但如果你告诉它,“Alexa,我的手机掉进了浴缸。”它不会知道这代表着你的手机湿了,且需要更换,因为它只能在接受训练的范围内工作。如果想要系统更有效地回答问题,Alexa必须具备一些常识,即一些有关世界运作方式及其物理规律的约束知识。

 

常识至关重要,它制约着我们与世界的联系,它能填补空白,弥补隐含的信息。我们看到一个坐在桌子旁的人,可能看不到他的腿,但知道他肯定有腿,因为我们对人类有一定的了解。我们的大脑还整合了物理学的基本定律,比如,如果有人打翻了眼前的玻璃杯,那么杯子里的水就会洒得满桌子都是。我们知道如果不拿住某个东西,它就会掉下去。我们还能够意识到时间流逝、万物运动。

我们在生命的头几个月和几年中逐渐了解世界的模型——我有意使用了与人工智能领域相同的词汇,这使我们可以将某个普通的句子补充完整。这个句子的其余部分并没有向我们提供有关整个句子的所有信息,但我们还是能够将这个句子补充完整,因为我们知道世界的运行规律。同样,当我们阅读一个文本时,可以或多或少预测到下一个句子;当我们观看一个视频时,能够或多或少预测到接下来一连串的动作和反应。

由此可见,人类常识对于培养人工智能的学习能力至关重要,否则它只是一个功能强大、专业化高,却没有任何概念、文化、什么都不懂且耗能极高的应用程序。

 

3

人类大脑——永远的神

到目前为止,人类的学习方法比任何一种人工智能的学习方法都更为有效。在人脑中,额叶专用于获取有关世界运转规律的常识,这就是智力的本质。动物学习的方法与人类学习的方法大致相同。有些物种的天赋更高,在鸟类中,乌鸦就特别有天赋。在海洋动物中,章鱼非常聪明。再说说猫,它们没有人类的推理能力,但依然比最聪明的机器拥有更多的常识,老鼠也一样。所有这些动物都通过观察来学习世界运转的规律,获得了可以增加生存概率的预测模型。如果人类能制造出像老鼠或松鼠一样聪明的机器,人工智能事业或许就成功了。

 

也就是说,即便是最先进的人工智能系统也存在局限性,它们可能还不如一只猫聪明。此外,人工智能不仅在智识上比不上人类大脑,在功耗的节省上也远远落后于人类大脑。

 

虽然现代科学已经了解了大脑学习的原理,知道了大脑的结构,但重现其功能所需的计算量是无比巨大的,大约是每秒1.5×1018量级的操作。现在一块GPU(图像处理器)每秒可执行1013次计算,功耗约为250瓦。为了达到人脑的计算能力,必须将10万个这样的处理器连接上功耗至少25兆瓦的巨型计算机才能实现。这巨大的能量消耗是人脑的100万倍!

4

所以,AI比你更聪明吗?

最后,你要是问AI聪明吗?在某种程度、某个范围、某个具体的事件上,在掌握了大量数据和长时间的训练之后,它可以做到更快速的反应、进行更深入的分析并处理更多的并行任务,这时你可以说,AI是聪明的。但在普遍意义的学习能力上,在我们所生活的这个复杂的世界模型里,它还没能积累起足够的世界知识以产生某些常识,你也可以说,AI是不怎么聪明的。

也许你要提起那些仿真机器人来反驳我了,比如“索菲亚”。索菲亚是一位面带神秘微笑、长着一双玻璃眼珠的美丽的光头女人,“她”在2017年的许多舞台上都大放异彩。“她”动人的脸庞能够呈现数十种不同的表情,在调侃一个记者关于地球上有太多机器人的担忧时,“她”笑道:“您好莱坞电影看太多了!”这个经典笑话让她如此酷似人类,以至沙特阿拉伯在当年授予了“她”沙特国籍。实际上,“她”只是一个由工程师预先设定好一系列标准答案的“木偶”。当我们与“她”交流时,所有的谈话内容均会经过匹配系统处理,并从得到的答案中选择最合适的一个输出。索菲亚欺骗了人们,“她”只是一个完成度很高的塑料制品,只不过是我们(被这个激活了的物体所感动的人类)赋予了它某些智能。

于是,让AI变聪明也就成为了科学家们研究的首要任务。杨立昆在新书《科学之路:人,机器与未来》也阐述了人工智能研究的真正挑战:

 

“这些人工智能应用将会改变社会,但是,直到机器能够像动物和人类一样有效地学习,直到它们能够通过自我监督学习获得世界模型,直到它们积累起足够的世界知识以产生某些常识,这一切才会成为可能。”    

 

本文经授权摘编自中信出版集团8月新书《科学之路:人,机器与未来》

《科学之路:人,机器与未来》

2021.08

中信出版集团

内容简介:

    “图灵奖”得主、“深度学习三巨头”之一、“卷积神经网络之父”……由于在人工智能领域的突出贡献,杨立昆被中国计算机科学界和企业界所熟知。

杨立昆的科学之路,谱写了一段关于勇气的宣言。他为了知识本身求学,而不是文凭,他用自己的经历,证明了通过激烈的考试竞争进入名校不是科学成功的唯一路径。他广泛阅读,为他科学思维的形成奠定了坚实的理论基础。他特立独行,做自己感兴趣的事情,即便那件事在短时间里不被人看好。在人工神经网络研究的低谷期,他寂寞地坚持,终于取得了举世瞩目的成就。

人工智能正在颠覆人类社会,未来机器能思考吗?杨立昆的这部著作,讲述正是人工智能在我们面前崛起——这个历史上绝无仅有的时刻发生的故事。

互动赠书

在本文下方留言区推荐一篇近期所读论文以及简述推荐理由,如:

论文:Prototype-supervisedAdversarialNetworkforTargetedAttackofDeepHashing

地址:https://arxiv.org/abs/2105.07553

CV君将会选取5位留言“走心、对他人有帮助”的伙伴,赠送《科学之路:人,机器与未来》一书。

活动截止时间:2021.8.13-17:00

戳下面的原文购买,即刻尝鲜!

图灵奖得主杨立昆:人工智能比你更聪明吗

《科学之路:人,机器与未来》2021.08中信出版集团

AI,真的不是你想的那样

人工智能正在改变人类对自身的看法,不断冲击着人类独有的的“物种”傲慢。在文艺作品中,AI危险又美丽,为人类服务却各方面都比人类更加强大、更有创意。但在现实中,AI落地的应用却往往不懂常识、行动迟缓且耗能极大。

当你凝视人工智能时,人工智能并不一定在凝视你,因为它根本不知道你为什么要凝视他(至少现在不知道)。原因就是人工智能缺乏常识,没有感知,甚至没有办法根据场景变换对已存储的知识活学活用。

DeepMind训练了一个可以玩经典雅达利(Atari)视频游戏的系统,系统一共包括80个游戏,每场比赛它至少要花费80个小时来训练,才能勉强达到合格水平,而一个人只需要15分钟就可以做到这一点。但实际上,这80个小时是机器实时玩游戏时所花费的训练时间,在训练结束之后,它可以用(比人类)更快的速度进行游戏,甚至可以同时进行多个游戏。也就是说,如果让系统运行更长的时间,它将达到人类无法企及的超高效率。

但并不是所有应用AI的系统都有足够的时间成本去用更长时间接受更多的训练,比如自动驾驶领域。自动驾驶系统中的AI必须跟随汽车在道路上行驶以获得更多训练数据——必须驾驶数百万个小时,模拟引起成千上万次的撞车事故,而后才能学会如何避免撞车。如果汽车掉下悬崖,系统一定会说“哦,我一定是错了”,但这只会稍微纠正其策略。第二次,汽车可能会以不同的方式掉下悬崖,然后系统会再次纠正一点。依此类推,在系统彻底弄清楚如何避免跌落悬崖之前,汽车必须像这样重复跌落悬崖数千次(还不止),其执行难度和资金耗费可想而知。

以上两个示例足够说明一点:AI不是天才,不能轻而易举地获得“智慧”,它需要大量的训练和数据支撑才能在某一具体事件上做到人们所说的“聪明”,但这中间耗费的时间、算力等等成本又远远超过人们的普遍预想。

人工智能悖论:至关重要的常识

如今的人工智能有一个悖论:它功能极其强大、极其专业化,却没有一点常识。

现在让我们回过头来看前文提到的围棋AI——LeelaZero。Leela如果想要在25路盘面上立于不败之地,则需要更多专门针对25路围棋对战的数据以及更长时间的自我对局训练,才最终有可能获得全胜局面。但Leela不知道围棋的基本常识通用于不同盘面,也不懂得类推和移情。这也从另一个侧面反映出了AI的另一个“不聪明”之处——对于人类常识的缺失。

常识缺失的人工智能是什么样的呢?唤醒你的Siri、Alexa、天猫精灵或者小爱同学,尝试着和它对话(最多)两分钟,你就多多少少有些感触了。杨立昆在《科学之路:人,机器与未来》中也对此有过具体的描述:

一个翻译系统有时可能会产生一些滑稽的错误而不自知,自动驾驶汽车可以从点A行驶到点B,但它并不知道什么是驾驶员。比如虚拟助手可以报告交通信息,能调到你点播的广播电台,但如果你告诉它,“Alexa,我的手机掉进了浴缸。”它不会知道这代表着你的手机湿了,且需要更换,因为它只能在接受训练的范围内工作。如果想要系统更有效地回答问题,Alexa必须具备一些常识,即一些有关世界运作方式及其物理规律的约束知识。

常识至关重要,它制约着我们与世界的联系,它能填补空白,弥补隐含的信息。我们看到一个坐在桌子旁的人,可能看不到他的腿,但知道他肯定有腿,因为我们对人类有一定的了解。我们的大脑还整合了物理学的基本定律,比如,如果有人打翻了眼前的玻璃杯,那么杯子里的水就会洒得满桌子都是。我们知道如果不拿住某个东西,它就会掉下去。我们还能够意识到时间流逝、万物运动。

我们在生命的头几个月和几年中逐渐了解世界的模型——我有意使用了与人工智能领域相同的词汇,这使我们可以将某个普通的句子补充完整。这个句子的其余部分并没有向我们提供有关整个句子的所有信息,但我们还是能够将这个句子补充完整,因为我们知道世界的运行规律。同样,当我们阅读一个文本时,可以或多或少预测到下一个句子;当我们观看一个视频时,能够或多或少预测到接下来一连串的动作和反应。

由此可见,人类常识对于培养人工智能的学习能力至关重要,否则它只是一个功能强大、专业化高,却没有任何概念、文化、什么都不懂且耗能极高的应用程序。

人类大脑——永远的神

到目前为止,人类的学习方法比任何一种人工智能的学习方法都更为有效。在人脑中,额叶专用于获取有关世界运转规律的常识,这就是智力的本质。动物学习的方法与人类学习的方法大致相同。有些物种的天赋更高,在鸟类中,乌鸦就特别有天赋。在海洋动物中,章鱼非常聪明。再说说猫,它们没有人类的推理能力,但依然比最聪明的机器拥有更多的常识,老鼠也一样。所有这些动物都通过观察来学习世界运转的规律,获得了可以增加生存概率的预测模型。如果人类能制造出像老鼠或松鼠一样聪明的机器,人工智能事业或许就成功了。

也就是说,即便是最先进的人工智能系统也存在局限性,它们可能还不如一只猫聪明。此外,人工智能不仅在智识上比不上人类大脑,在功耗的节省上也远远落后于人类大脑。

虽然现代科学已经了解了大脑学习的原理,知道了大脑的结构,但重现其功能所需的计算量是无比巨大的,大约是每秒1.5×1018量级的操作。现在一块GPU(图像处理器)每秒可执行1013次计算,功耗约为250瓦。为了达到人脑的计算能力,必须将10万个这样的处理器连接上功耗至少25兆瓦的巨型计算机才能实现。这巨大的能量消耗是人脑的100万倍!

所以,AI比你更聪明吗?

最后,你要是问AI聪明吗?在某种程度、某个范围、某个具体的事件上,在掌握了大量数据和长时间的训练之后,它可以做到更快速的反应、进行更深入的分析并处理更多的并行任务,这时你可以说,AI是聪明的。但在普遍意义的学习能力上,在我们所生活的这个复杂的世界模型里,它还没能积累起足够的世界知识以产生某些常识,你也可以说,AI是不怎么聪明的。

也许你要提起那些仿真机器人来反驳我了,比如“索菲亚”。索菲亚是一位面带神秘微笑、长着一双玻璃眼珠的美丽的光头女人,“她”在2017年的许多舞台上都大放异彩。“她”动人的脸庞能够呈现数十种不同的表情,在调侃一个记者关于地球上有太多机器人的担忧时,“她”笑道:“您好莱坞电影看太多了!”这个经典笑话让她如此酷似人类,以至沙特阿拉伯在当年授予了“她”沙特国籍。实际上,“她”只是一个由工程师预先设定好一系列标准答案的“木偶”。当我们与“她”交流时,所有的谈话内容均会经过匹配系统处理,并从得到的答案中选择最合适的一个输出。索菲亚欺骗了人们,“她”只是一个完成度很高的塑料制品,只不过是我们(被这个激活了的物体所感动的人类)赋予了它某些智能。

于是,让AI变聪明也就成为了科学家们研究的首要任务。杨立昆在新书《科学之路:人,机器与未来》也阐述了人工智能研究的真正挑战:

“这些人工智能应用将会改变社会,但是,直到机器能够像动物和人类一样有效地学习,直到它们能够通过自我监督学习获得世界模型,直到它们积累起足够的世界知识以产生某些常识,这一切才会成为可能。”

本文摘编自中信出版集团8月新书《科学之路:人,机器与未来》。

《科学之路:人,机器与未来》内容简介:

“图灵奖”得主、“深度学习三巨头”之一、“卷积神经网络之父”……由于在人工智能领域的突出贡献,杨立昆被中国计算机科学界和企业界所熟知。杨立昆的科学之路,谱写了一段关于勇气的宣言。他为了知识本身求学,而不是文凭,他用自己的经历,证明了通过激烈的考试竞争进入名校不是科学成功的唯一路径。他广泛阅读,为他科学思维的形成奠定了坚实的理论基础。他特立独行,做自己感兴趣的事情,即便那件事在短时间里不被人看好。在人工神经网络研究的低谷期,他寂寞地坚持,终于取得了举世瞩目的成就。人工智能正在颠覆人类社会,未来机器能思考吗?杨立昆的这部著作,讲述正是人工智能在我们面前崛起——这个历史上绝无仅有的时刻发生的故事。

编辑/王雅静返回搜狐,查看更多

图灵奖得主杨立昆人工智能十问:AI会统治人类吗

来源:《科学之路》

作者:杨立昆  

即便是最先进的人工智能系统也存在局限性,它们还不如一只猫聪明。

人工智能常常被认为是一项将要颠覆世界的技术,从这一概念诞生至今的65年中,无数电影与小说塑造了各种经典的人工智能角色,AI(ArtificialIntelligence)也很快成为人类未来世界蓝图中的重要组成部分。但在人工智能不断拓宽我们对未来想象的同时,也不乏“AI统治世界”、“AI监视隐私”等等一类的消极论调,那么,我们当下讨论的AI真的即将统治人类吗?AI真的在威胁着个人数据与隐私吗?......又或者,AI真的比我们更聪明吗?

如果你也对这些问题心存疑虑,又想免于被互联网上的各种言论牵着鼻子走,那么,图灵奖得主杨立昆(YannLeCun)的新书《科学之路:人,机器与未来》或许可以为你提供一份更科学、客观且前沿的人工智能问题参考手册。

在真正开始有关AI的伦理思考之前,我们首先要弄清楚以下三个名词的关系:人工智能、机器学习与深度学习。人工智能是试图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。目前,开发新应用最常用的人工智能技术之一就是机器学习,而深度学习是实现机器学习的重要方法之一,也被杨立昆以及其他许多科学家认为是人工智能的未来。

杨立昆在书中对人工智能提出了10个问题并进行了深入探讨,让我们更全面、更客观的了解人工智能。

1、人工智能是不可理解的黑匣子吗?

一些悲观主义者认为深度学习系统是“黑匣子”,我们未来没办法理解和操控人工智能,但他们错了。诚然,深度学习以模拟人类神经网络为基础,当神经网络具有数百万个单位和数十亿个连接时,似乎很难完全理解它的工作原理,但这不正是所有智能决策的特点吗?

我们不了解让出租车司机、工匠、医生或航空公司飞行员完成他们的工作的神经运作机制,但我们会选择相信他们。为什么要对一台反应更快、不知疲倦、从不分心的机器提出更高的要求呢?当你可以证明它比人类更可靠时,为什么还要对它产生怀疑呢?

人工智能系统每天做出数万亿个决策,其中大多数都与查找、分类和过滤信息以及一些稍显无聊的应用程序有关,例如应用于照片和视频的效果。你是否真的愿意花时间和精力来详细了解它们?人工智能的工作能够带来令人满意的效果,这不就够了吗?

而且使用没有深入了解其运行机制的系统是一种常见的现象。许多常用药物都是通过反复试错获得的,而我们对其作用机制了解甚少。比如,我们熟悉的且在日常生活中不可被替代的阿司匹林是有史以来使用最广泛的药物,它于1897年首次被合成,可是直到1971年我们才明确其作用机制。

2、大脑只是一部可模拟的机器吗?

如今,大多数科学家都接受了大脑是生化机器的概念。虽然这是一台复杂的机器,但总归是一台机器。神经元对输入的电信号做出反应,根据从上游神经元接收到的信息计算是否产生电脉冲信号、动作电位或放电脉冲,并将其发送给所有下游神经元。这是一种十分基本的机制。但是,通过结合数十亿个相对简单的神经元的活动,我们便获得了大脑和思想。 

我意识到,模拟人脑的想法可能会让一些哲学家或有宗教信仰的人极力反对,但是有许多科学家认为思维机制最终将会由可以学习的人工智能系统重现。

质疑此观点的人认为,我们对生物、物理、量子和其他系统如何在人体内结合以使大脑发挥作用的了解还远远不够。的确,我们并不能理解这一切,但是我坚信,哺乳动物或人类的大脑是可以“计算”的机器,并且这些计算原则上可以通过电子机器或计算机进行再现。

3、人工智能会产生意识吗?

意识是一个很难讨论的话题,我们不知道如何衡量和定义它。它与自我意识混淆在了一起,同时,意识被认为是动物存在超级智力的标志。在镜子中认出自己的大象和黑猩猩已经具有自我意识,而狗不行。

我个人认为意识是一种幻觉,它似乎在许多聪明的动物身上存在。人类的意识与注意力息息相关,当面对特殊情况时,我们将注意力集中于此,此时我们会非常专注。当我们玩益智游戏时、准备新的烹饪食谱时、参加辩论时,我们的注意力将毫不犹豫地集中在这个不寻常的复杂任务上。它迫使我们开启“世界模型”以规划下一步行动。

对我来说,毫无疑问,未来的智能机器应该具备某种形式的意识。也许与人类的不同,它们可以同时专注于多项任务。但它是无法培养意图或发展意识的。我的同事安托万·博兹总结道:“我们甚至没有配方的原料去制造一台既能够制定战略,又对世界有敏锐了解的真正智能机器。如今我们还缺乏一些基础概念。”

4、人工智能比人类更聪明吗?

如今,即便是最先进的人工智能系统也存在局限性,它们还不如一只猫聪明。虽然我们已经了解了大脑学习的原理,知道了大脑的结构,但重现其功能所需的计算量是无比巨大的,大约是每秒1.5×1018量级的操作。现在一块GPU每秒可执行1013次计算,功耗约为250瓦。为了达到人脑的计算能力,必须将10万个这样的处理器连接上功耗至少25兆瓦的巨型计算机才能实现。这巨大的能量消耗是人脑的100万倍!

因此,深度学习的能力十分强大却又十分有限。目前的深度学习系统仍无法进行逻辑推理,因为当前的逻辑与学习能力并不匹配,这是未来几年的主要挑战。只受过国际象棋训练的机器根本无法下围棋,而且它完全不理解自己所做的事情,它只不过是机械化地执行指令。如果以生物的智能做一把标尺,人类的智能为100,老鼠的智能为1,那么人工智能在标尺上的位置可能更接近后者。

科学面临的挑战是巨大的,技术也是如此。

也许你要提起那些仿真机器人来反驳我了,比如“索菲亚”。索菲亚是一位面带神秘微笑、长着一双玻璃眼珠的美丽的光头女人,“她”在2017年的许多舞台上都大放异彩。“她”动人的脸庞能够呈现数十种不同的表情,在调侃一个记者关于地球上有太多机器人的担忧时,“她”笑道:“您好莱坞电影看太多了!”这个经典笑话让她如此酷似人类,以至沙特阿拉伯在当年授予了“她”沙特国籍。实际上,“她”只是一个由工程师预先设定好一系列标准答案的“木偶”。当我们与“她”交流时,所有的谈话内容均会经过匹配系统处理,并从得到的答案中选择最合适的一个输出。索菲亚欺骗了人们,“她”只是一个完成度很高的塑料制品,只不过是我们(被这个激活了的物体所感动的人类)赋予了它某些智能。

所以,人工智能比人类聪明吗?也许它们在执行十分精确严密的特定任务时所表现出的性能远超人类。但至少目前,任何一种机器学习方法都没有人类的学习更加有效。

5、人工智能会产生人类感情吗?

 我丝毫不会怀疑自主智能机器有一天会产生情感。

当用于测量机器人电池电量的镜头元件产生了较高的成本而致使机器人开始寻找电源时,不正与饥饿的感觉相似吗?

当机器因成本高昂而避免采取行动时,或者由于成本低廉而执行任务时,这是否已经可以看作是一种情感的标志? 

当计算饥饿的目标函数的组成部分产生高成本时,它会触发对食物的搜索。普遍地观点认为,这些行为是目标模块组件不满意的结果。

我很清楚地意识到所有这些似乎都是可以简化的。情感是人性的重要组成部分,因此人们不愿意将其数字化为简单的数学函数计算,对将人类行为简化为目标函数的最小化也心存疑虑。但是,我在此提出的仅是关于智能系统的一般体系结构的假设,没有否认目标函数和世界模型的丰富性或复杂性。

6、人工智能可以预测未来吗?

人们都很喜欢预测,例如预测库存、预测产品的需求、预测一只股票或财务价值的演变曲线......那么,人工智能可以预测未来吗?

如今的人工智能有一个悖论:它功能极其强大、极其专业化,却没有一点常识。

常识至关重要,它制约着我们与世界的联系,它能填补空白,弥补隐含的信息。当我们看到一个坐在桌子旁的人时,可能看不到他的腿,但我们知道他肯定有腿,因为我们对人类有一定的常识。我们的大脑还整合了物理学的基本定律,比如,如果有人打翻了眼前的玻璃杯,那么杯子里的水就会洒得满桌子都是。我们知道如果不拿住某个东西,它就会掉下去。我们还能够意识到时间流逝、万物运动。

目前,机器带有的预测能力十分有限。当然,如果给定一个有些删减的文本,机器有能力给出一个可能的后续单词列表。但是,如果这段文字是阿加莎·克里斯蒂(AgathaChristie)的小说,在最后一幕波罗探长宣布“凶手是......先生”,那么,为了完成这个句子需要读者有很强的常识和对人性的了解。很显然,没有哪一台机器能做到这一点。更不用提预测人类世界的未来了。

7、人工智能会统治世界吗?

在经典科幻电影《我,机器人》(I,Robot)中,机器人具有自我进化能力,转化成了人类的“机械公敌”,制造者和被制造者展开了战争。这恐怕也是很多人对人工智能未来的担忧。

我们对机器人想要取得权力的恐惧主要来自人性特质在机器上的投射。对大多数人来说,人类与智慧生物的唯一互动就是与其他人类的互动,正因如此,我们混淆了智力和人性。这是一个错误,因为还有其他形式的智力存在,即使在动物界也是如此。

人类同倭黑猩猩、黑猩猩、狒狒和其他一些灵长类动物一样具有复杂且通常带有等级制的社会组织,每个个体的生存(或舒适度)取决于它影响该物种其他成员的能力(统治只是影响的一种形式)。我们是社会性动物的事实解释了我们为什么把对统治的渴望与智力联系在一起。

除了对统治的渴望,为了人类物种(或基因)的生存,我们的许多冲动和情感已通过进化建立了起来,其中包括好奇心,对探索的渴望,竞争力,屈服,渴望与我们的同类接触,爱,仇恨,掠食,以及我们对家庭成员、我们的部族、我们的文化、我们的国家的偏爱,没有这些冲动和情感的人、动物或机器也都可以是有智慧的。我们必须将这个问题说得清晰透彻:只有当我们在智能机器中明确地建立了这种欲望时,它们才会渴望统治人类。但我们为什么要这样做呢?

8、人工智能会被滥用吗?

霍金于2014年向英国广播公司称,“人工智能可能意味着人类的毁灭”,但后来他改变了想法。就像任何一位出色的天体物理学家一样,他的时间尺度是以数百万或数十亿年为单位的。试想,我们怎么会如此聪明地设计出一个超人类的智能机器,同时又如此愚蠢地赋予它荒谬至极的目标呢? 

请记住,人工智能始终都是由人类开发出来为人类服务的工具,目的是放大人类的智能。

我们认可的造福人类的所有技术革命都有其阴暗面,每一项技术都带来了问题,而这些问题最终都得到了解决。

为了防止这些滥用,我帮助创建了“人工智能伙伴关系”(PAI),这个组织汇集了约100名成员,包括大型公司、互联网巨头、学者社团、人权组织(国际特赦组织、美国公民自由联盟、电子前沿基金会)、媒体(《纽约时报》)、大学团体和政府机构等。我们讨论道德问题,警告危险并发布建议。人工智能是一个新领域,其深度展开的后果并非总是可预测的,我们必须多加考虑。

9、人工智能会带来军事风险吗? 

像其他所有技术一样,人工智能可以被用于做最好的事情,也可能被用于做最恶的事情。有些声音反对在军事上使用人工智能,主要是反对致命性自主武器系统(lethalautonomousweaponsystems),它通常也被称为“杀手机器人”。相对应的保障措施已经较为成熟,大多数军队都有极为严格的规则来管理启动打击的授权程序。无论是何种武器,决策的源头始终是高级军官。我们都知道,自动或半自动武器已经存在很长时间了,弹道导弹、巡航导弹也是如此。在所有具有很强杀伤性的自动武器中,最古老的当属地雷。自1999年以来,地雷就被一项国际公约禁止使用,不是因为它们很聪明,而是因为它们很愚蠢。

那么,智能化武器是否会有滑向军备竞赛的危险?弗拉基米尔·普京(VladimirPutin)在曾表示,“人工智能的领导者将成为世界的统治者”。面对人工智能推动的可能存在的军事失控,危险是无比真实的。避免这些危险最重要的力量来自我们的国际机构,坚定捍卫已有的保护措施比以往任何时候都更加有必要,因为它们受到了民粹主义、民族主义和孤立主义的威胁。

10、你会被人工智能取代吗?

我不确定人工智能革命是否会影响所有人。与那些从事可能被(部分或全部)系统化和自动化工作的人相比,深耕于有资质的、创新性的、专注于人际关系或人力资源职位的人更有可能保住工作。如果我们的政府不通过财政措施纠正存在的问题,那么人工智能带来的收益将无法平均分配,贫富差距会进一步扩大。

自动化已经取代了人类来完成重复性或艰巨的任务,而人工智能将在那些一定程度上需要加入感知、推理、决策和行动计划等内容的工作中取代人类。自动驾驶汽车会减少卡车、出租车和载客专车(VTC)的驾驶员的数量,因为它们会更加安全。医学图像分析系统已经走进放射科医生的日常工作中,患者也因此得到更可靠、更便宜的检查。在以上这些健康和交通运输领域,人工智能将会挽救更多的生命。

所有的职业都将受到科技变化带来的影响。有一件事是可以确定的:人工智能及其应用无法参与竞争的东西会变得更有价值。

我们每个人都可以花不到2欧元的低价或通过订阅的方式聆听最喜欢的音乐家的作品,然而如果要欣赏摇滚音乐会或歌剧,我们就需要支付50~300欧元。区别在哪里?区别在于,独特的事物赋予了生命独特的时刻。一顿大餐,参观自然景点或博物馆,听一场爵士乐音乐会—作为一个开明的业余爱好者,我因为能够做这些事情而感到高兴!—我们越来越重视创造力和独到的体验,越来越不看重大众化的产品。在健康、艺术、科学、教育、体育等领域的职业中,感性的方面在未来将占有重要的一席之地。

《科学之路:人、机器与未来》

作者:[法]杨立昆著

译者:李越,马跃一译

出版社:中信出版集团,2021.08

内容简介

“图灵奖”得主、“深度学习三巨头”之一、“卷积神经网络之父”……由于在人工智能领域的突出贡献,杨立昆被中国计算机科学界和企业界所熟知。

杨立昆的科学之路,谱写了一段关于勇气的宣言。他为了知识本身求学,而不是文凭,他用自己的经历,证明了通过激烈的考试竞争进入名校不是科学成功的唯一路径。他广泛阅读,为他科学思维的形成奠定了坚实的理论基础。他特立独行,做自己感兴趣的事情,即便那件事在短时间里不被人看好。在人工神经网络研究的低谷期,他寂寞地坚持,终于取得了举世瞩目的成就。

人工智能正在颠覆人类社会,未来机器能思考吗?杨立昆的这部著作,讲述正是人工智能在我们面前崛起——这个历史上绝无仅有的时刻发生的故事。

欢迎加入ImaginationGPU与人工智能交流群

群已满200人,入群请加小编拉进群,

小编微信号:eetrend89(添加请备注公司名和职称)

推荐阅读

Imagination官方信息速递2021年9月期

END

ImaginationTechnologies是一家总部位于英国的公司,致力于研发芯片和软件知识产权(IP),基于ImaginationIP的产品已在全球数十亿人的电话、汽车、家庭和工作场所中使用。获取更多物联网、智能穿戴、通信、汽车电子、图形图像开发等前沿技术信息,欢迎关注ImaginationTech!

长按识别二维码

关注我们

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。

上一篇

下一篇