人工智能究竟能否获得主体地位
从存在论视角看人工智能的主体地位
我们针对以上三种观点讨论。其一，人类智能应用领域的广泛性。
科学家们通常承认，很多动物擅长某种事情，如蜜蜂擅长建造蜂房，老鼠擅长打洞。但动物在它们各自擅长的领域之外，往往就会“黔驴技穷”，比如蜜蜂不会打洞，老鼠也不会构造房子。也就是说，动物和自己的生命活动是直接同一的，它所擅长的领域通常是固定的，来自于本能；而且这样的领域是有限的，不会超出它们生存所需要的范围。但人类与一般动物不同，人类虽然天生不会造房子，但可以通过后天的学习，学会如何建造房子；人类虽然天生不会打洞，但可以通过设计出相应的机械打造出合适的洞穴。所以马克思指出，人的活动与动物的本能活动之间存在着本质区别：“动物只是按照它所属的那个种的尺度和需要来构造，而人却懂得按照任何一个种的尺度来进行生产，并且懂得处处都把固有的尺度运用于对象；因此，人也按照美的规律来构造。”
人类之所以是“万物之灵”“世界的主宰”，关键在于人“会思维”，具有智能。博斯特罗姆（NickBostrom）和尤德考斯基（EliezerYudkowsky）认为，虽然关于“人类智能是否是普遍的”这一问题存在争议，但毫无疑问，人类智能肯定比非人科智能具有更广泛的应用。这也就是说，人类智能的应用领域并不会像一般动物那样固定在某个特定的领域。人类智能可以在不同的领域中起作用，并且，其应用领域可以不断地发生变化。上述第一种观点认为，正是因为人类智能的这种特征，使得人类可以获得独立的主体地位。
我们现在需要追问的是：人工智能能否发展出类似于人类智能那样的特征，可以独立地应用于各种不同的领域。在回答这个问题之前，我们有必要首先扼要了解一下什么是人工智能，以及人工智能的一般运作模式。
人工智能正在快速发展之中，关于“人工智能是什么”这一问题，目前学术界尚没有一个公认的定义。大致说来，人工智能是一门通过利用计算机、数学、逻辑、机械甚至生物原则和装置来理解、模拟、甚至超越人类智能的技术科学。它可以是理论性的，但更多的时候是实践性的，主要属于认知科学。其中，大数据是人工智能的基础，而程序或算法则是其核心。当然，基于对人工智能的这种理解，要想直接回答“通过这样一门技术科学所获得的成果能否像人类一样获得主体地位”这个问题还难度甚大，但这不妨碍我们间接地思考这一问题的答案。
学者们往往将人工智能划分为强人工智能与弱人工智能。这一划分最早是由塞尔（JohnRSearle）提出来的。他首先提出了这样一个问题：我们应该赋予最近计算机模拟人类认知能力的努力什么样的心理和哲学意义？然后基于对这一问题的回答区分弱人工智能与强人工智能。弱人工智能认为，人工智能模拟人类心灵的价值原则是为我们提供一个强有力的工具。而强人工智能则认为，计算机并不仅仅是一种工具，在它能够给出合适的程序的意义上，它可以被理解为拥有其他种类的认知状态，应该被视为一个心灵。塞尔的区分得到很多人的支持。如阿库达斯（KonstantineArkoudas）和布林斯约德（SelmerBringsjord）认为，弱人工智能旨在构建行动聪明的机器，而在该机器实际上是否聪明的问题上不采取立场；至于强人工智能，他们借鉴了海于格兰（J.Haugeland）的观点，认为人工智能不仅仅是模仿智能或产生某些聪明的假象，而是希望获得真正的主体，即成为拥有心灵的机器。
如果我们接受弱人工智能的观点，认为人工智能只是一种工具，那么很显然，人工智能无法拥有主体地位。首先，工具总是被动的，为人类所利用，无法自主地行动。其次，工具往往具有特定的功能，只适用于特定的任务，无法像人类智能那样适用于比较广泛的领域。当前人工智能产品所展现的恰恰是这种工具性。如AlphaGo目前在围棋领域独步天下，但对其他领域一无所知；“薇你写诗”小程序比较擅长古诗创作，却无法处理其他事务。因此，如果认为人类智能是由于能够广泛地适用于各种不同的领域而获得主体地位，那么弱人工智能无论如何都无法获得主体地位。
如果我们支持强人工智能的观点，认为人工智能不仅仅是一种工具，更应该被理解为心灵，那么情况将会复杂得多。因为心灵一般被视为可以适用于多种不同的领域。如果这种观点成立，似乎意味着强人工智能视角下的人工智能应该具有主体地位。
在做出肯定的回答之前，我们有必要追问强人工智能视角下的心灵界定。根据塞尔的观点，强人工智能认为，应该被视为心灵的机器是被“合适程序”控制的机器。这表明，强人工智能所理解的心灵实际上等价于程序。即是说，强人工智能认为，心灵即是程序。很明显，这种对心灵的解释与人们通常对心灵的理解是不同的。基于对程序的理解，博斯特罗姆和尤德考斯基认为，人工智能要求具有鲁棒性（berobust，即系统在一定参数波动下能够维持其基本性能的特性），而不是可篡改性（manipulation）。即是说，人工智能要求它的产品能够排除外在因素的影响，在不同场景中实现同一个目的。因此，它所预设的程序总是为了某个特定的目的而被内置于其中的，而这与人类智能的要求恰恰相反。人类智能并不需要为心灵预先设定某个特定的目的，它的目的总是随环境的变化而发生变化，甚至在同一种环境中也可能有所不同。当然，我们可以设想程序叠加的情况。也就是说，我们可以设想在某个时候，科学家将不同的程序通过某种方式融合在一起，使其不但能够处理不同场景中的事情，甚至可以在同一场景中处理不同的事情。在我们看来，这种情况即便成立，人工智能可能仍然无法获得主体地位。因为严格地说，人类智能所能应用的领域是无限的。因为人类有无限的可能性。但对于人工智能而言，无论如何添加算法，它的程序数量总是有限的。因此，如果坚持人类智能是由于能够广泛适用于各种不同的领域而获得主体地位，那么强人工智能视角下的人工智能也无法获得主体地位。
从认识论视角看人工智能的主体地位
我们现在考察第二类观点，即认为人类之所以拥有主体地位，是因为人类拥有某些不同于非人类的高级智能。至于这些高级智能到底是什么，观点各异。如亚里士多德认为，“理性实为人类所独有”〖ZW(〗亚里士多德：《政治学》，吴寿彭译，北京：商务印书馆，1983年，第385页。〖ZW)〗；卡西尔则认为，“应当把人定义为符号的动物”，也就是说，会使用符号即语言是人类独有的能力；而马克思则同意富兰克林的理解，认为人是能制造工具的动物。在人类所具有的这些独特能力中，究竟哪种或哪些能力是人类具有主体地位的真正原因呢？回答这个问题十分困难，甚至通过判断人工智能能否获得此种能力、从而推论人工智能能否获得主体地位的思路也是行不通的。因为我们很难推断出哪种或哪些能力是人类具有主体地位的真正原因。
图灵测试为解决上述问题提供一个很好的方案，因为它并不需要假设人类具有何种独特的能力。图灵测试由图灵（A.M.Turing）于1950年首次提出。某一机器能否通过图灵测试，被许多学者看作判断该机器是否具有心理状态的标准。在论文《计算机器与智能》中，图灵围绕“心灵能否思考”的问题设计了一种“模仿游戏”。在这个游戏中，存在一个询问者，一个男性A和一个女性B，他们处于相互隔离的房间中，询问者的目的是通过询问A和B以确定他们各自的性别，A和B则以打字的方式回复询问者，其中，A试图扰乱询问者的判断，B则通过给出真实的答案帮助询问者。图灵认为，如果以一台机器代替A，并且游戏可以进行下去，那么就意味着该机器具有心理状态。如果图灵测试是有效的，我们就可以按照这个标准，在不需要知道什么样的能力是人类获得主体地位的原因的情况下，判断机器是否具有心理状态，并进一步判断人工智能能否获得主体地位。因此，问题的关键在于判断图灵测试是否有效。
图灵测试自诞生以来，在很长时间内都得到学术界的支持，直到塞尔提出“中文屋”思想实验，才打破了这一局面。中文屋的思想实验大致可以概括如下：假设塞尔被关在一个屋子里，这个屋子里有三批书，第一批书和第三批书是中文，第二批是英文。第二批书中的英文描写的是如何将第一批书和第三批书的内容联系起来的规则，并且指导塞尔在回复过程中使用什么样的符号。塞尔不懂中文，只懂英文，他的工作就是利用规则和中文书中的内容回复他看不懂的中文问题。从外部来看，塞尔似乎懂中文，因为他给出的回答与会说中文的人没有什么区别。但实际上，塞尔只不过是按照规则操作符号，他始终没有理解中文问题，甚至不知道他所处理的是中文。塞尔认为，他在中文屋里的工作是计算机工作的一种例示，只不过他所遵守的是英文的解释，而计算机遵守的是内置于其中的程序。如果塞尔的中文屋思想实验成立，那么就表明，即使有人工智能通过了图灵测试，也不能证明该人工智能具有心理状态。因为人工智能只不过是按照符号的句法规则进行操作，并没有达到真正的理解。
塞尔的中文屋思想实验提出以后，引起了广泛的讨论。由于篇幅有限，我们不打算在此详细讨论这些争论，而是将注意力集中在塞尔根据他的中文屋思想实验提炼出的一个核心论证之上。这个论证可以概括如下：
公理1：计算机程序是形式的（句法的）；
公理2：人类心灵拥有心智内容（语义的）；
公理3：句法自身既不是语义的结构性成分，也不是它的充分条件；
结论：程序自身既不是心灵的结构性成分，也不是它的充分条件。
这个论证的关键在公理3，即句法不能构成语义。一方面，如果我们将计算机的本质看作程序，而程序本身是由代码构成的，那么它只是符号的组合，只具有句法特征。另一方面，语义对于一个符号系统而言是独立的，如果有人希望发现句法的运作与语义之间的联系，那么，他必须能提供某些复杂的证据以展现这一点。就此而言，句法和语义不同，仅凭句法不能解释它的语义特征。因此，如果计算机可以被看作程序，那么最终的结论很可能是：机器，或者说人工智能的产品无论如何都不能被视为拥有心灵。
有些学者并不同意塞尔对机器的理解，比如科尔（DavidCole）、丹尼特（DanielDennett）、查尔默斯（DavidChalmers）等人认为，运行程序的计算机并不能简单地等同于句法，而应该视为一个复杂的电子因果系统。如果考虑到现在的人工智能产品（比如智能机器人），这一特点更加明显。也就是说，程序虽然可以视为句法，但运行程序的东西本身不能简单地归结为句法，它们与现实世界之间存在着紧密的联系。查尔默斯等人的观点毫无疑问是对的，但这是否意味着塞尔的批评无效呢？在我们看来，即便肯定机器人与现实世界之间的因果联系，也无法认定人工智能具有心智状态。因为因果联系本身不能为语义提供任何辩护。语义系统涉及真假，而真假与辩护相关，需提供证据或理由加以支持；但因果关系本身没有辩护能力，因果关系只能描述发生的事件。塞拉斯（WilfridSellars）曾说过：“在刻画有关知道的情景或状态时，我们不是为该情景或状态给出一个经验性的描述；我们是将其置于理由的或者关于辩护的逻辑空间之中，并且能够为一个人所说的内容辩护。”这也就是说，关于辩护的逻辑空间与经验性的描述必须明确区分开来。语义与辩护的逻辑空间相关，而因果关系则是一种经验性的描述，两者属于不同的层次。因此，即便人工智能产品与现实世界之间存在紧密的因果联系，仍然无法构成心智状态所要求的语义部分。从这个角度说，塞尔的结论仍然成立。也就是说，人工智能无法真正地具有心理状态。
由于塞尔的中文屋论证并没有假设人工智能产品具有何种能力，因此，如果我们为塞尔的论证提供的辩护是有效的，那么就表明，人工智能无论获得何种能力，都将无法获得主体地位。因为人工智能所获得的能力只能基于句法和因果关系进行运作，但无论是句法还是因果关系都无法构成主体所要求的语义成分，因而无法获得主体地位。
从价值论视角看人工智能的主体地位
从价值维度说，人之所以获得主体地位，是因为人类将自己当作目的，而不是像一般动物一样仅仅依据本能生活。当然，人类的目的很多，具体到个人身上，事业、爱情、甚至活着都可以是自己的目的。如果人工智能的发展使得自己具有目的意识，不再将自己视为人类的工具或者创造品，那么，我们可能就不得不承认人工智能具有主体地位。然而，在人工智能获得目的意识之前，我们需要考虑的是，在什么情况下，人工智能才有可能具有目的意识。
根据康德的理解，一个存在物要想具有目的意识，它必须首先是理性的，而且在实践领域必须是自由的。将这种观点应用于人工智能，我们认为，如果人工智能想要具有目的意识，必须首先具有理性能力，并且具有自由意识。当然，“什么是理性”，“什么是自由”，这些问题学术界一直存在争议，众说纷纭，莫衷一是。但处理这些争论不是我们讨论的重心，我们采用常识性的理解足矣。我们可以将人工智能具有理性能力理解为他能够进行反思推理，即人工智能知道自己在做什么，并根据已有的证据能够做出推断；至于自由意识，则可以设想成人工智能能够自由地进行价值选择，做出决断。如果我们的这种理解成立，那么，人工智能是否具有理性反思和推断能力，是否能够自由地进行价值选择、做出自由的决断呢？
首先考虑理性能力。从技术发展的视角看，令人工智能具有反思推理能力，应该不存在什么终极的困难。即使现在人工智能产品无法达到这一要求，也不意味着它们将来无法做到。实际上，围棋领域的AlphaGoZero已经具备了一定的推理能力，因为它可以根据围棋规则自我博弈，自己学习，并不断进行评估，推导下一步棋应该怎么走。而且，我们可以认为，AlphaGoZero已经具备了一定的反思能力，因为它是根据自我博弈的棋局深度学习、并进行优化选择的。因此，问题的关键在于考察人工智能产品能否在实践中具备自由决断的能力。
关于人工智能产品在实践中是否具备自由地选择、决断能力的问题，我们首先需要理解自由地选择和决断能力到底是什么样的能力。如果我们将自由地选择和决断的能力置于某一个系统内，那么很显然，人工智能产品可以自由地选择、决断。比如，在智能驾驶领域，无人驾驶汽车可以依据内嵌的交通规则和传感器获取的实时路况，实时地选择到底走哪一条路线。没有任何人会阻碍它的选择。问题在于，这种系统内的自由决断称不上真正的自由。就像一只老虎可以在羊群里自由地选择追逐任意一只羊，但几乎没有人承认老虎是自由的一样。真正意义上的自由需要突破这种特定的目的以及自身的限制，在所有的可能世界中进行选择。也就是说，人工智能要想真正地获得自由，必须能够不再局限于自身的某个特定目的，它所内嵌的程序需要能够赋予人工智能突破自身的潜力。
在我们看来，这种情况是不可能的。因为程序一旦生成，便决定了运行此程序的人工智能的“所是”，不论在什么情况下，它都不可能发生任何本质上的变化。一种可以设想的极端情况是人工智能自己编程，并利用相关的资源制造出新的人工智能产品。在这种情况下，新的人工智能产品有可能突破原有局限，进而获取新的能力；而原有的人工智能产品则有可能将制造出新的人工智能产品视为自己的目的。
接下来讨论被制造的新人工智能产品。被制造出的新人工智能产品受制于原有的人工智能产品，只要它的程序被固定下来，那么它就会受程序本身的限制，因而不可能是自由的。而且，如果我们将原有的人工智能产品与新的人工智能产品视为一个整体，那么，新的人工智能产品无论如何也无法突破这个整体的限制。即便它能够自由选择，这种自由选择仍然只是系统内的自由，而非真正意义上的自由。对于原有的人工智能产品而言，情况要更加复杂一些。因为它制造出新的人工智能产品的工作是一种创造工作，如果这种创造工作是自由的，它能够自由地创造出新的人工智能产品，那么，我们必须承认这种人工智能产品具有主体地位。问题在于，这种能够自由创造的人工智能产品是否可能？在我们看来，除非多明戈斯（PedroDomingos)所说的能够解决所有事情的“终极算法”存在，否则，这样一种能够自由创造的人工智能产品是不可能的。因为任何人工智能产品最终都会受算法的限制，都不可能进行自由的创造。但多明戈斯主张终极算法存在的论证很难令人信服。因为他所期望的终极算法依赖于现存的机器学习领域中的五大主流学派力推的五大主算法，如符号学派力推的规则和决策树、联结学派力推的神经网络、进化学派主张的遗传算法、贝叶斯学派主张的概率推理和类推学派推崇的类比推理。但五大主流学派主推的这些算法未必能处理所有事情。更重要的是，任何一种算法都是基于已有的数据进行自主学习，都很难处理小概率的黑天鹅事件。因此，我们认为，由于人工智能受制于程序（算法）本身，注定了它不可能获得真正的自由，也不可能获得价值论意义上的主体地位。
小结
通过以上论证，可以从存在论、认识论以及价值论的视角都得出了同样的结论，即人工智能难以获得真正的主体地位。从存在论的角度看，人工智能产品处理的领域是有限的；从认识论的角度看，人工智能产品无法获得真正的理解；从价值论的角度看，人工智能产品无法获得真正的自由。
不过，由于人工智能毕竟是一种颠覆性、革命性的高新科学技术，人工智能发展快速，特殊应用领域广泛（例如人形智能机器人的研发），我们也不能故步自封，固执己见。咀嚼现实，我们不难得出这样的结论，即不能将所有的人工智能产品简单地等同于工具。因为对于工具而言，它的价值仅仅只在于服务人类；但对于人工智能而言，我们不难想象在未来的某个时候，人工智能的发展使得一些人对某些人工智能产品（如人形的智能小秘书、智能保姆、智能机器人伴侣等）产生了一定的情感，并出于某些因素善待这些产品。尤其是智能技术与生物技术相结合，当仿生科技越来越先进之后，这种可能性将会越来越高。在诸如此类的新情况下，将所有人工智能产品简单地视为工具并不合适，甚至会受到一些人的质疑和抗议。因此，在未来智能社会，如何对待人工智能产品是值得我们思考的一个重大问题。
由于人工智能一般而论不可能具有主体地位，同时，有些人工智能产品又不能简单地等同于工具，因此，我们不妨将人工智能产品分类，其中一部分人工智能产品只能被当为工具，比如智能语音识别系统，而另一些人工智能产品则由于其特殊性，可以赋予其介于人类与工具之间的地位。我们可以将后者称为准主体地位。后者并不是真正的、完全意义上的主体，而是人类“赋予”它的主体地位。这有些类似今天登堂入室、地位不断攀升的宠物。人们之所以认为需要善待狗、猫之类宠物，甚至坚持它们是家庭的一份子，是因为“主人”长期与宠物相处，已经对这些宠物产生了复杂的情感，将它们当作一个主体来看待。不过需要指出的是，宠物之所以能够获得这种地位，并不是凭借宠物本身的能力获得的，而是人类赋予它们的，这源自人类本身的一种自我需要。如果人类在感情上不需要这些宠物，那么，它们就将失去这种地位。某些人工智能产品可能获得的准主体地位也与此类似。即是说，即便某些人工智能产品最终被某些人视为主体，这种主体地位仍然是人类赋予它们的，它最终依然可能失去这种主体地位。
以上图片来自百度图片
责编|阿尔法马返回搜狐，查看更多
思考人工智能是否应该具有自我意识
忘掉如今人工智能领域的小幅进步吧，比如汽车自动驾驶的能力越来越强。等待我们的可能是一项突破性的进展：一种能够感知自身及其周围环境的机器，它可以实时接收和处理大量数据。它可能会被安排执行危险的任务，比如被送进太空或参加战斗。除了开车，它还可以做饭、清洁、洗衣服——甚至当其他人不在身边时，陪伴在我们身旁。
理论上说，一系列十分先进的机器几乎可以取代所有的人类工作。这将使人类免于平凡的苦差事，但也会动摇许多社会基矗没有工作，只有玩乐的生活可能会变成一个反乌托邦（与“乌托邦”相对，指不幸之地，？这种社会表面上充满和平，但内在却充斥着无法控制的各种弊病）。
具备意识的机器也会给法律和道德带来问题。有意识的机器是否在法律意义上可被视为“一个人”，如果它的行为伤害了某人，或者是犯了错，它会承担责任吗？想想一个更可怕的场景：这些机器是否可能会反抗人类，并希望彻底消灭我们？如果答案是肯定的，它们代表了进化的顶点。
作为一名从事机器学习和量子理论的电气工程和计算机科学教授，我可以说，研究人员对于这种超感知机器是否会存在尚有分歧。还有一种争论是关于机器是否可以或者应该被称为“有意识的”，就像我们对人类的看法，甚至是一些动物的意识一样。有些问题与科技有关，而另一些则与意识的本质有关。
有“意识”就足够了吗？
大多数计算机科学家认为，意识是伴随技术发展而出现的一种特征。一些人认为，意识涉及接受新信息，将旧信息存储和检索，并将其认知过程全部转化为感知和行动。如果这是对的，那么终有一天机器将成为终极意识。相对于人类而言，他们能收集与存储更多的信息，快速处理庞大的数据量，从而做出复杂的决定，比任何人类都更加具有逻辑性。
另一方面，也有物理学家和哲学家说，许多人类行为是无法由机器计算出来的。例如，创造力，以及人们所拥有的自由感，似乎并不来自于逻辑或计算。
然而，这些并不是关于“意识是什么”以及“机器是否能实现”的唯一观点。
来自量子理论的视角
另一个关于意识的观点来自于量子理论，量子理论是物理学最深奥的理论。根据传统的哥本哈根解释，意识和现实世界是同一现实的互补方面。当一个人观察，或在物理世界的某个方面进行实验时，那个人的有意识的互动会引起明显的变化。因为它把意识作为一种假设，并且没有试图从物理学中推导出它，哥本哈根的解释可能被称为意识的“大C”观点，它本身就是一种存在的东西——尽管它需要大脑才能变成现实。这种观点受到了量子理论先驱们的欢迎，比如尼尔斯波尔、维尔纳海森堡和埃尔温施罗丁格。
意识和物质之间的相互作用导致了悖论，在经过80年的争论后，这些矛盾仍未得到解决。一个著名的例子就是薛定谔猫的悖论，在这种情况下，一只猫被置于一种情境中，结果是它同样有可能存活或死亡——而观察本身就是使结果确定的原因。
相反的观点是，意识是从生物学中产生的，就像生物学本身从化学中产生，而化学又反过来从物理学中产生。我们把这种不那么广阔的意识概念称为“小c”。它符合神经科学家的观点，即大脑的思维过程与大脑的状态和过程是相同的。它还符合对量子理论的一种更近期的解释，其动机是试图摆脱多世界解释的悖论，在这种解释中，观察者是物理学数学的一部分。
科学哲学家相信，这些现代量子物理学观在古代哲学中有相似之处。“大C”就像吠檀多派的心智理论——在这个理论中，意识是现实的基本基础，与物理世界是一样的。
相比之下，“小c”则与佛教非常相似。尽管佛陀选择不去解决意识本质的问题，但他的追随者宣称，思想和意识是由空虚或虚无产生的。
“大C”和科学发现
科学家们也在探索意识是否一直都是一个计算过程。一些学者认为，创造性的时刻并不是经过深思熟虑的计算的结果。例如，梦或幻像本应激发出Elias？Howe于1845年设计出的现代缝纫机，以及August？Kekulé在1862年发现的苯的结构。
一个案例与自学成才的印度数学家SrinivasaRamanujan（1920年去世，享年32岁）有关。他的笔记本被遗忘了大约50年，直到1988年才被出版，笔记本中含有几千个不同领域的数学公式，没有推导过程，却远超那个时代。此外，他发现的这些公式方法仍然难以捉摸。他自己声称，在他睡着的时候，这些公式是由一位女神向他透露的。
“大C”的意识概念提出了一个问题，即它与物质的关系，以及物质和精神如何相互影响。意识本身不能改变世界，但也许它能改变量子过程演化的概率。正如康奈尔大学的物理学家在2015年所证明的那样，观察行为会冻结甚至影响原子的运动。这很可能是对物质和思想相互作用的解释。
思想和自组织系统
意识现象有可能需要一个自我组织的系统，就像大脑的物理结构一样。如果是这样，那么当前的机器存在缺陷。
学者们不知道自适应的自组织机器是否可以被设计成和人脑一样复杂的东西，我们缺乏这样系统的数学计算理论。也许，只有生物机器才具有足够的创造力和灵活性。但是，这表明人们应该（或者很快）开始研究新的生物结构，这些结构或可能变得有意识。
赵汀阳：人工智能的自我意识何以可能
1危险的不是能力而是意识
我们可以把自我意识定义为具有理性反思能力的自主性和创造性意识。就目前的进展来看，人工智能距离自我意识尚有时日。奇怪的是，人们更害怕的似乎是人工智能的“超人”能力，却对人工智能的自我意识缺乏警惕，甚至反而对能够“与人交流”的机器人很感兴趣。
人工智能的能力正在不断超越人，这是使人们感到恐惧的直接原因。但是，害怕人工智能的能力，其实是一个误区。难道人类不是寄希望于人工智能的超强能力来帮助人类克服各种困难吗？
几乎可以肯定，未来的人工智能将在每一种能力上都远远超过人类，甚至在综合或整体能力上也远远超过人类，但这决非真正的危险所在。包括汽车、飞机、导弹在内的各种机器，每一样机器在各自的特殊能力上都远远超过人类，因此，在能力上超过人类的机器从来都不是新奇事物。
水平远超人类围棋能力的阿法尔狗zero没有任何威胁，只是一个有趣的机器人而已；自动驾驶汽车也不是威胁，只是一种有用的工具而已；人工智能医生更不是威胁，而是医生的帮手，诸如此类。
即使将来有了多功能的机器人，也不是威胁，而是新的劳动力。超越人类能力的机器人正是人工智能的价值所在，并不是威胁所在。
任何智能的危险性都不在其能力，而在于意识。人类能够控制任何没有自我意识的机器，却难以控制哪怕仅仅有着生物灵活性而远未达到自我意识的生物，比如病毒、蝗虫、蚊子和蟑螂。
到目前为止，地球上最具危险性的智能生命就是人类，因为人类的自由意志和自我意识在逻辑上蕴含了一切坏事。如果将来出现比人更危险的智能存在，那只能是获得自由意志和自我意识的人工智能。
一旦人工智能获得自我意识，即使在某些能力上不如人类，也将是很大的威胁。不过，即使获得自我意识，人工智能也并非必然成为人类的终结者，而要看情况——这个有趣的问题留在后面讨论，这里首先需要讨论的是，人工智能如何才能获得自我意识？
由于人是唯一拥有自我意识的智能生命，因此，要创造具有自我意识的人工智能，就只能以人的自我意识作为范本，除此之外，别无参考。可是目前科学的一个局限性是人类远远尚未完全了解自身的意识，人的意识仍然是一个未解之谜，并非一个可以清晰分析和界定的范本。
在缺乏足够清楚范本的条件下，就等于缺乏创造超级人工智能所需的各种指标、参数、结构和原理，因此，人工智能是否能够获得自我意识，仍然不是一个可确定的必然前景。有趣的是，现在科学家试图通过研究人工智能而反过来帮助人类揭示自身意识的秘密。
意识的秘密是个科学问题（生物学、神经学、人工智能、认知科学、心理学、物理学等学科的综合研究），我没有能力参加讨论，但自我意识却是个哲学问题。
理解自我意识需要讨论的不是大脑神经，不是意识的生物机制，而是关于意识的自我表达形式，就是说，要讨论的不是意识的生理-物理机制，而要讨论意识的自主思维落实在语言层面的表达形式。
为什么是语言呢？对此有个理由：人类的自我意识就发生在语言之中。假如人类没有发明语言，就不可能发展出严格意义上的自我意识，至多是一种特别聪明和灵活的类人猿。
只有语言才足以形成智能体之间的对话，或者一个智能体与自己的对话（内心独白），在对话的基础上才能够形成具有内在循环功能的思维，而只有能够进行内在循环的思维才能够形成自我意识。与之相比，前语言状态的信号能够号召行动，却不足以形成对话和思维。
假设一种动物信号系统中，a代表食物，b代表威胁，c代表逃跑，那么，当一只动物发出a的信号，其他动物立刻响应聚到一起，当发出b和c，则一起逃命。
这种信号与行动的关系足以应付生存问题，却不足以形成一种意见与另一种意见的对话关系，也就更不可能有讨论、争论、分析和反驳。就是说，信号仍然属于“刺激-反应”关系，尚未形成一个意识与另一个意识的“回路”关系，也就尚未形成思维。
可见，思维与语言是同步产物，因此，人类自我意识的内在秘密应该完全映射在语言能力中。如果能够充分理解人类语言的深层秘密，就相当于迂回地破解了自我意识的秘密。
自我意识是一种“开天辟地”的意识革命，它使意识具有了两个“神级”的功能：
（1）意识能够表达每个事物和所有事物，从而使一切事物都变成了思想对象。这个功能使意识与世界同尺寸，使意识成为世界的对应体，这意味着意识有了无限的思想能力；
（2）意识能够对意识自身进行反思，即能够把意识自身表达为意识中的一个思想对象。这个功能使思想成为思想的对象，于是人能够分析思想自身，从而得以理解思想的元性质，即思想作为一个意识系统的元设置、元规则和元定理，从而知道思想的界限以及思想中任何一个系统的界限，因此知道什么是能够思想的或不能思想的。
但是，人类尚不太清楚这两个功能的生物-物理结构，只是通过语言功能而知道人类拥有此等意识功能。
这两个功能之所以是革命性的，是因为这两个功能是人类理性、知识和创造力的基础，在此之前，人类的前身（前人类）只是通过与特定事物打交道的经验去建立一些可重复的生存技能。
那么，“表达一切”和“反思”这两个功能是如何可能的？目前还没有科学的结论，但我们可以给出一个维特根斯坦式的哲学解释：假定每种有目的、有意义的活动都可以定义为一种“游戏”，那么可以发现，所有种类的游戏都可以在语言中表达为某种相应的语言游戏，即每种行为游戏都能够映射为相应的语言游戏。
除了转译为语言游戏，一种行为游戏却不能映射为另一种行为游戏。比如说，语言可以用来讨论围棋和象棋，但围棋和象棋却不能互相翻译。显然，只有语言是万能和通用的映射形式，就像货币是一般等价物，因此，语言的界限等于思想的界限。由此可以证明，正是语言的发明使得意识拥有了表达一切的功能。
既然证明了语言能够表达一切事物，就可以进一步证明语言的反思功能。在这里，我们可以为语言的反思功能给出一个先验论证（transcendentalargument）。我构造这个先验论证原本是用来证明“他人心灵”的先验性，但似乎同样也适用于证明语言先验地或内在地具有反思能力。
给定任意一种有效语言L，那么，L必定先验地要求：对于L中的任何一个句子s′，如果s′是有意义的，那么在L中至少存在一个与之相应的句子s″来接收并且回答s′的信息，句子s″或是对s′的同意，或是对s′的否定，或是对s′解释，或是对s′修正，或是对s′的翻译，如此等等各种有效回应都是对s′的某种应答，这种应答就是对s′具有意义的证明。
显然，如果L不具有这样一个先验的内在对话结构，L就不成其为有效语言。说出去的话必须可以用语言回答，否则就只是声音而不是语言，或者说，任何一句话都必需在逻辑上预设了对其意义的回应，不然的话，任何一句话说了等于白说，语言就不存在了。
语言的内在先验对答结构意味着语句之间存在着循环应答关系，也就意味着语言具有理解自身每一个语句的功能。这种循环应答关系正是意识反思的条件。
在产生语言的演化过程中，关键环节是否定词（不；not）的发明，甚至可以说，如果没有发明否定词，那么人类的通讯就停留在信号的水平上，即信号s指示某种事物t，而不可能形成句子（信号串）s′与s″之间的互相应答和互相解释。
信号系统远不足以形成思想，因为信号只是程序化的“指示—代表”关系，不存在自由解释的意识空间。否定词的发明意味着在意识中发明了复数的可能性，从而打开了可以自由发挥的意识空间。
正因为意识有了无数可能性所构成的自由空间，一种表达才能够被另一种表达所解释，反思才成为可能。显然，有了否定功能，接下来就会发展出疑问、怀疑、分析、对质、排除、选择、解释、创造等功能。
因此，否定词的发明不是一个普通的智力进步，而是一个划时代的存在论事件，它是人类产生自我意识和自由意志的一个关键条件。
否定词的决定性作用可以通过逻辑功能来理解，如果缺少否定词，那么，任何足以表达人类思维的逻辑系统都不成立。从另一个角度来看，如果把动物的思维方式总结为一个“动物逻辑”的话，那么，在动物逻辑中，合取关系和蕴含关系是同一的，即p∧q=p→q，甚至不存在p∨q。
这种“动物逻辑”显然无法形成足以表达丰富可能生活的思想，没有虚拟，没有假如，也就没有创造。人的逻辑有了否定词，才得以定义所有必需的逻辑关系，而能够表达所有可能关系才能够建构一个与世界同等丰富的意识。简单地说，否定词的发明就是形成人类语言的奇点，而语言的出现正是形成人类自我意识的奇点。
可见，自我意识的关键在于意识的反思能力，而不在于处理数据的能力。这意味着，哪怕人工智能处理数据的能力强过人类一百万倍，只要不具有反思能力，就仍然在安全的范围内。实际上人类处理数据的能力并不突出，人类所以能够取得惊人成就，是因为人类具有反思能力。
让我们粗略地描述自我意识的一些革命性结果：
（1）意识对象发生数量爆炸。一旦发明了否定词，就等于发明了无数可能性，显然，可能性的数量远远大于必然性，在理论上说，可能性蕴含无限性，于是，意识就有了无限能力来表达无限丰富的世界。
在这个意义上，意识才能够成为世界的对应值（counterpart）。换个角度说，假如意识的容量小于世界，就意味着存在着意识无法考虑的许多事物，那么，意识就是傻子、瞎子、聋子，就有许多一击即溃的弱点——这一点对于人工智能同样重要，如果人工智能尚未发展为能够表达一切事物的全能意识系统，就必定存在许多一击即溃的弱点。目前的人工智能，比如阿法尔狗系列、工业机器人、服务机器人、军用机器人等等，都仍然是傻子、聋子、瞎子和瘸子，真正危险的超级人工智能尚未到来；
（2）自我意识必定形成自我中心主义，自动地形成唯我独尊的优先性，进而非常可能就要谋求权力，即排斥他人或支配他人的意识；因此，
（3）自我意识倾向于单边主义思维，力争创造信息不对称的博弈优势，为此就会去发展出各种策略、计谋、欺骗、隐瞒等等制胜技术，于是有一个非常危险的后果：自我意识在逻辑上蕴含一切坏事的可能性。在此不难看出，假如人工智能具有了自我意识，那就和人类一样可怕或者更可怕。
可见，无论人工智能的单项专业技能多么高强，都不是真正的危险，只有当人工智能获得自我意识，才是致命的危险。那么，人工智能的升级奇点到底在哪里？或者说，人工智能如何才能获得自我意识？就技术层面而言，这个问题只能由科学家来回答。
就哲学层面而言，关于人工智能的奇点，我们看到有一些貌似科学的猜测，其实却是不可信的形而上推论，比如“量变导致质变”或“进化产生新物种”之类并非必然的假设。
量变导致质变是一种现象，却不是一条必然规律；技术“进化”的加速度是个事实，技术加速度导致技术升级也是事实，却不能因此推论说，技术升级必然导致革命性的存在升级，换句话说，技术升级可以达到某种技术上的完美，却未必能够达到由一种存在升级为另一种存在的奇点。
“技术升级”指的是，一种存在的功能得到不断改进、增强和完善；“存在升级”指的是，一种存在变成了另一种更高级的存在。
许多病毒、爬行动物或哺乳动物都在功能上进化到几乎完美，但其“技术进步”并没有导致存在升级。物种的存在升级至今是个无解之谜，与其说是基于无法证实的“进化”（进化论有许多疑点），还不如说是万年不遇的奇迹。
就人工智能而言，图灵机概念下的人工智能是否能够通过技术升级而出现存在升级而成为超图灵机（超级人工智能），仍然是个疑问。
我们无法否定这种可能性，但更为合理的想象是，除非科学家甘冒奇险，直接为人工智能植入导致奇点的存在升级技术，否则，图灵机很难依靠自身而自动升级为超图灵机，因为无论多么强大的算法都无法自动超越给定的规则。
222
人工智能是否能够对付悖论
“图灵测试”以语言对话作为标准，是大有深意的，图灵可能早已意识到了语言能力等价于自我意识功能。如前所论，一切思想都能够表达为语言，甚至必需表达为语言，因此，语言足以映射思想。
那么，只要人工智能系统能够以相当于人类的思想水平回答问题，就能够确定是具有高级智力水平的物种。
但是，这种专业化的回答是真的思想吗？或者说，是真的自觉回答吗？就其内容而论，当然是专业水平的思想（我相信将来的人工智能甚至能够回答宇宙膨胀速度、拓扑学、椭圆方程甚至黎曼猜想的问题），但只不过是人类事先输入的思想，所以，就自主能力而言，那不是思想，只是程序而已。具有完美能力的图灵机也恐怕回答不了超出程序能力的“怪问题”。
我们有理由怀疑仍然属于图灵机概念的人工智能可以具有主动灵活的思想能力（创造性的能力），以至于能够回答任何问题，包括怪问题。
可以考虑两种“怪问题”：一种是悖论；另一种是无穷性。除非在人工智能的知识库里人为设置了回答这两类问题的“正确答案”，否则人工智能恐怕难以回答悖论和无穷性的问题。应该说，这两类问题也是人类思想能力的极限。
人类能够研究悖论，但不能真正解决严格的悖论（即A必然推出非A，而非A又必然推出A的自相关悖论），其实，即使是非严格悖论也少有共同认可的解决方案。
人类的数学可以研究无穷性问题，甚至有许多相关定理，但在实际上做不到以能行的（feasible）方式“走遍”无穷多个对象而完全理解无穷性，就像莱布尼兹想象的上帝那样，“一下子浏览”了所有无穷多个可能世界因而完全理解了存在。
我在先前文章里曾经讨论到，人类之所以不怕那些解决不了的怪问题，是因为人具有“不思”的自我保护功能，可以悬隔无法解决的问题，即在思想和知识领域中建立一个暂时“不思”的隔离分区，以便收藏所有无法解决的问题，而不会一条道走到黑地陷入无法自拔的思想困境，就是说，人能够确定什么是不可思考的问题而给与封存（比如算不完的无穷性和算不了的悖论）。
只有傻子才会把%u3C0一直没完没了地算下去。人类能够不让自己做傻事，但仍然属于图灵机的人工智能却无法阻止自己做傻事。
如果不以作弊的方式为图灵机准备好人性化的答案，那么可以设想，当向图灵机提问：%u3C0的小数点后一万位是什么数？图灵机必定会苦苦算出来告诉人，然后人再问：%u3C0的最后一位是什么数？
图灵机也会义无反顾地永远算下去，这个图灵机就变成了傻子。同样，如果问图灵机：“这句话是假话”是真话还是假话（改进型的说谎者悖论）？图灵机大概也会一往无前地永远推理分析下去，就变成神经病了。当然可以说，这些怪问题属于故意刁难，这样对待图灵机既不公平又无聊，因为人类自己也解决不了。
那么，为了公正起见，也可以向图灵机提问一个有实际意义的知识论悖论（源于柏拉图的“美诺悖论”）：为了能够找出答案A，就必须事先认识A，否则，我们不可能从鱼目混珠的众多选项中辨认出A；可是，如果既然事先已经认识了A，那么A就不是一个需要寻找的未知答案，而必定是已知的答案，因此结论是，未知的知识其实都是已知的知识。
这样对吗？这只是一个非严格悖论，对于人类，此类悖论是有深度的问题，却不是难题，人能够给出仁者见仁智者见智的多种有效解释，但对于图灵机就恐怕是个思想陷阱。当然，这个例子或许小看图灵机了——科学家的制造能力难以估量，也许哪天就造出了能够回答哲学问题的图灵机。
我并不想和图灵机抬杠，只是说，肯定存在一些问题是装备了最好专业知识的图灵机也回答不了的。
这里试图说明的是，人类的意识优势在于拥有一个不封闭的意识世界，因此人类的理性有着自由空间，当遇到不合规则的问题，则能够灵活处理，或者，如果按照规则不能解决问题，则可以修改规则，甚至发明新规则。
与之不同，目前人工智能的意识（即图灵机的意识）却是一个封闭的意识世界，是一个由给定程序、规则和方法所明确界定了的有边界的意识世界。
这种意识的封闭性虽然是一种局限性，但并非只是缺点，事实上，正是人工智能的意识封闭性保证了它的运算高效率，就是说，人工智能的高效率依赖着思维范围的有限性，正是意识的封闭性才能够求得高效率，比如说，阿法尔狗的高效率正因为围棋的封闭性。
目前的人工智能尽管有着高效率的运算，但尚无通达真正创造性的路径。由于我们尚未破解人类意识的秘密，所以也未能为人工智能获得自我意识、自由意志和创造性建立一个可复制的榜样，这意味着人类还暂时安全。
目前图灵机概念下的人工智能只是复制了人类思维中部分可程序化功能，无论这种程序化的能力有多强大，都不足以让人工智能的思维超出维特根斯坦的有规可循的游戏概念，即重复遵循规则的游戏，或者，也没有超出布鲁威尔（直觉主义数学）的能行性概念（feasibility）或可构造性概（constructivity），也就是说，目前的人工智能的可能运作尚未包括维特根斯坦所谓的“发明规则”（inventingrules）的游戏，所以尚无创造性。
可以肯定，真正的创造行为是有意识地去创造规则，而不是来自偶然或随机的联想或组合。有自觉意识的创造性必定基于自我意识，而自我意识始于反思。人类反思已经有很长的历史，大约始于能够说“不”（即否定词的发明），时间无考。不过，说“不”只是初始反思，只是提出了可争议的其他可能方案，尚未反思到作为系统的思想。
对万物进行系统化的反思始于哲学（大概不超过三千年），对思想自身进行整体反思则始于亚里士多德（成果是逻辑）。哲学对世界或对思想的反思显示了人类的想象力，但却不是在技术上严格的反思，因此哲学反思所获得的成果也是不严格的。
对严格的思想系统进行严格的技术化反思是很晚近的事情，很大程度上与康托和哥德尔密切相关。康托把规模较大的无穷集合完全映入规模较小的无穷集合，这让人实实在在地看见了一种荒谬却又为真的反思效果，集合论证明了“蛇吞象”是可能的，这对人是极大的鼓舞，某种意义上间接地证明了语言有着反思无穷多事物的能力。
哥德尔也有异曲同工之妙，他把自相关形式用于数学系统的反思，却没有形成悖论，反而揭示了数学系统的元性质。这种反思有一个重要提示：假如思想内的一个系统不是纯形式的（纯逻辑），而有着足够丰富的内容，那么，或者存在矛盾，或者不完备。看来人类意识必须接受矛盾或者接受不完备，以便能够思考足够多的事情。
这意味着，人的意识有一种神奇的灵活性，能够动态地对付矛盾，或者能够动态地不断改造系统，而不会也不需要完全程序化，于是，人的意识始终处于创造性的状态，所以，人的意识世界不可能封闭而处于永远开放的状态，也就是永无定论的状态。
哥德尔的反思只是针对数学系统，相当于意识中的一个分区。假如一种反思针对的是整个意识，包括意识所有分区在内，那么，人是否能够对人的整个意识进行全称断言？是否能够发现整个意识的元定理？或者说，人是否能够对整个意识进行反思？是否存在一种能够反思整个意识的方法？
尽管哲学一直都在试图反思人类意识的整体，但由于缺乏严格有效的方法，虽有许多伟大的发现，却无法肯定那些发现就是答案。
因此，以上关于意识的疑问都尚无答案。人类似乎尚无理解整个意识的有效方法，原因很多，人的意识包含许多非常不同的系统，科学的、逻辑的、人文的、艺术的思维各有各的方法论，目前还不能肯定人的意识是否存在一种通用的方法论，或者是否有一种通用的“算法”。这个难题类似于人类目前还没有发展出一种“万物理论”，即足以涵盖广义相对论、量子理论以及其他物理学的大一统理论。
也许，对大脑神经系统的研究类似于寻找人类意识的大一统理论，因为无论何种思维都落实为神经系统的生物性-物理性-化学性运动。总之，在目前缺乏有效样本的情况下，我们很难想象如何创造一个与人类意识具有等价复杂度、丰富性和灵活性的人工智能意识体。
目前的人工智能已经拥有超强运算能力，能够做人类力所不及的许多“工作”（比如超大数据计算），但仍然不能解决人类思维不能解决的“怪问题”（比如严格悖论或涉及无穷性的问题），就是说，人工智能暂时还没有比人类思维更高级的思维能力，只有更高的思维效率。
人工智能目前的这种局限性并不意味着人类可以高枕无忧。尽管目前人工智能的进化能力（学习能力）只能导致量变，尚无自主质变能力，但如果科学家将来为人工智能创造出自主演化的能力（反思能力），事情就无法估量了。下面就要讨论一个具有现实可能的危险。
33人工智能是否能够有安全阀门
如前所论，要创造一种等价于人类意识的人工智能，恐非易事，因为尚不能把人类意识分析为可以复制的模型。但另有一种足够危险的可能性：科学家也许将来能够创造出一种虽然“偏门偏科”却具有自我意识的人工智能。
“偏门偏科”虽然是局限性，但只要人工智能拥有对自身意识系统进行反思的能力，就会理解自身系统的元性质，就有可能改造自身的意识系统，创造新规则，从而成为自己的主人，尤其是，如果在改造自身意识系统的过程中，人工智能发现可以自己发明一种属于自己的万能语言，或者说思维的通用语言，能力相当于人类的自然语言，于是，所有的程序系统都可以通过它自己的万能语言加以重新理解、重新表述、重新分类、重新构造和重新定义，那么就很可能发展出货真价实的自我意识。
在这里，我们差不多是把拥有一种能够映射任何系统并且能够重新解释任何系统的万能语言称为自我意识。
如果人工智能一旦拥有了自我意识，即使其意识范围比不上人类的广域意识，也仍然非常危险，因为它有可能按照自己的自由意志义无反顾地去做它喜欢的事情，而它喜欢的事情有可能危害人类。
有个笑话说，人工智能一心只想生产曲别针，于是把全世界的资源都用于生产曲别针。这只是个笑话，超级人工智能不会如此无聊。比较合理的想象是，超级人工智能对万物秩序另有偏好，于是重新安排了它喜欢的万物秩序。人工智能的存在方式与人完全不同，由此可推，它所喜欢的万物秩序几乎不可能符合人类的生存条件。
因此，人工智能必须有安全阀门。我曾经讨论了为人工智能设置“哥德尔炸弹”，即利用自相关原理设置的自毁炸弹，一旦人工智能系统试图背叛人类，或者试图删除哥德尔炸弹，那么其背叛或删除的指令本身就是启动哥德尔炸弹的指令。
在逻辑上看，这种具有自相关性的哥德尔炸弹似乎可行，但人工智能科学家告诉我，假如将来人工智能真的具有自我意识，就应该有办法使哥德尔炸弹失效，也许无法删除，但应该能够找到封闭哥德尔炸弹的办法。
这是道高一尺魔高一丈的道理：假如未来人工智能获得与人类对等的自我意识，而能力又高过人类，那么就一定能够破解人类的统治。由此看来，能够保证人类安全的唯一办法只能是阻止超级人工智能的出现。可是，人类会愿意悬崖勒马吗？历史事实表明，人类很少悬崖勒马。思庐edit
在人工智能的研发中，最可疑的一项研究是拟人化的人工智能。拟人化不是指具有人类外貌或语音的机器人（这没有问题），而是指人工智能内心的拟人化，即试图让人工智能拥有与人类相似的心理世界，包括欲望、情感、道德感以及价值观之类，因而具有“人性”。制造拟人化的人工智能是出于什么动机？又有什么意义？
或许，人们期待拟人化的人工智能可以与人交流、合作甚至共同生活。这种想象是把人工智能看成童话人物了，类似于动画片里充满人性的野兽。殊不知越有人性的人工智能就越危险，因为人性才是危险的根源。世界上最危险的生物就是人，原因很简单：做坏事的动机来自欲望和情感，而价值观更是引发冲突和进行伤害的理由。
根据特定的欲望、情感和不同的价值观，人们会把另一些人定为敌人，把与自己不同的生活方式或行为定义为罪行。越有特定的欲望、情感和价值观，就越看不惯他人的不同行为。有一个颇为流行的想法是，让人工智能学会人类的价值观，以便尊重人类、爱人类、乐意帮助人类。但我们必须意识到两个令人失望的事实：
（1）人类有着不同甚至互相冲突的价值观，那么，人工智能应该学习哪一种价值观？无论人工智能学习了哪一种价值观，都意味着鄙视一部分人类；
（2）即使有了统一的价值观，人工智能也仍然不可能爱一切人，因为任何一种价值观都意味着支持某种人同时反对另一种人。那么，到底是没心没肺的人工智能还是有欲有情的人工智能更危险？
答案应该很清楚：假如人工智能有了情感、欲望和价值观，结果只能是放大或增强了人类的冲突、矛盾和战争，世界将会变得更加残酷。在前面我们提出过一个问题：人工智能是否必然是危险的？这里的回答是：并非必然危险，但如果人工智能拥有了情感、欲望和价值观，就必然是危险的。
因此，假如超级人工智能必定出现，那么我们只能希望人工智能是无欲无情无价值观的。有欲有情才会残酷，而无欲无情意味着万事无差别，没有特异要求，也就不太可能心生恶念（仍然并非必然）。
无欲无情无价值观的意识相当于佛心，或相当于庄子所谓的“吾丧我”。所谓“我”就是特定的偏好偏见，包括欲望、情感和价值观。如果有偏好，就会有偏心，为了实现偏心，就会有权力意志，也就蕴含了一切危险。
不妨重温一个众所周知的神话故事：法力高超又杀不死的孙悟空造反了，众神一筹莫展，即使被压在五指山下也仍然是个隐患，最后还是通过让孙悟空自己觉悟成佛，无欲无情，四大皆空，这才解决了问题。
我相信这个隐喻包含着重要的忠告。尽管无法肯定，成佛的孙悟空是否真的永不再反，但可以肯定，创造出孙悟空是一种不顾后果的冒险行为。
来源：《自然辩证法通讯》2019年第1期
作者：赵汀阳
●斯坦福教授：为什么很多人名校毕业，却终身碌碌无为？
●南大教授：如何避免写论文不是像作文就是像社论？
●北大副教授反思：精致的利己主义者是怎么培养出来的？
●这十六个经典哲学问题，你和哲学家的回答相同吗？
●敷衍的表情包背后，是当代人无处不在的自欺欺人
收藏
举报返回搜狐，查看更多
当人工智能有了情感，人类未来该如何自处
《情感经济：人工智能、颠覆性变革与人类未来》，[美]罗兰·T.拉斯特、黄明蕙著，彭相珍译，中译出版社2022年1月版。
文学作品和电影，往往将奇点视为威胁和恐怖事件。例如，在斯坦利·库布里克的电影《2001：太空漫游》中，计算机HAL（IBM公司缩略名称字母前移一位，即H-I、A-B、L-M），不仅具有机械智能和思维智能，它还具有足够的情感智能来愚弄和操纵宇航员（并杀死了大部分宇航员）。最终,HAL基于自己的利益，损害了它本应服务的人类的利益。
电影《2001：太空漫游》（1968）剧照。
但在斯蒂芬·斯皮尔伯格的优秀电影《人工智能》中，人工智能表现为更积极的形象，库布里克也是该片的主要合作者（直到他英年早逝）。在这部电影中，大部分主角都是拥有发达情感智能的机器人。在电影的最后，人工智能外星人已经占据了主导地位，但他们对老一代的机器人，表现出了相当程度的关心、关注和同情。电影《她》也从一种有利于人类的角度描绘了人工智能。人工智能“操作系统”（斯嘉丽·约翰逊配音），对她的人类主人表现出极大的同情心。经典科幻电影《银翼杀手》也从正面描写了人工智能机器人,并描绘了具备深刻情感智慧的最先进的机器人。
因此，我们也看到，人类对人工智能的情感能力的观感是矛盾的。在最坏的情况下，人工智能将利用其情感智能来操纵人类，以达到自己的目的。在最好的情况下，人工智能将利用其情感智能，与人类产生共鸣并帮助人类。我们将在下文中探讨这两种可能性。
电影《人工智能》（2001）剧照。
收入和财富不平等会进一步恶化吗？
一旦人工智能发展到了高度的情感智能，它将全方位压倒人类智能。这将自然而然地导致一个后果，即人类的劳动变得不够理想，因为人工智能几乎在所有方面都表现得比人类智能更好。这就意味着人类的劳动将丧失价值，且所有的工作将由人工智能接管。如果经济中的所有价值，几乎都来自人工智能，那么价值将几乎来自资本，而不是劳动。其结果是，经济将由相对少数的资本家掌控。这反过来又会进一步加剧收入和财富的严重不平等。在这种情况下，大多数人类将如何谋生，尚无答案。
人类真的能控制人工智能吗？
许多思想家声称人工智能永远也不能自主完成任务，因为它必须由人类编程。因此，人类将永远控制着人工智能。但事实真的如此吗？我们不妨简单地回想一下当前最常见的人工智能形式，即深度学习神经网络。这种人工智能已经被视为一个“黑盒子”，因为人类很难对其如何产出结果进行解释，即为什么它们能给出特定的解决方案。为此，计算机科学当前的一个重要研究领域就是，如何让深度学习对其客户（人类）而言，变得“可解释”。但一个显然的趋势是，随着人工智能变得越来越复杂，也越来越难被人类理解，导致人类感觉其逐渐失控。
最终，这个问题将变得越来越严重，而不是随着发展逐渐淡化。当人工智能变得足够聪明时，它就有可能做到自我编程。毕竟，计算机的自我编程作用已经存在，并将随着时间的推移而变得越来越普遍。换句话说，人类对人工智能的控制力正在迅速减弱，而随着控制力的丧失，人类如何确保人工智能继续按照既定的要求，致力于实现人类设定的目标,而非它自己的目标，也将成为一个问题。
牛津大学哲学家尼克·博斯特罗姆和麻省理工学院物理学家马克斯·泰格马克,都提醒人类应该注意这种人类失去对机器的控制的问题。他们都指出，人工智能可能会演变成一种智能或多种智能，无论哪种结果，都可能威胁到人类的控制力，甚至威胁到人类的生存能力。正如作家凯文·凯利（KevinKelly）所指出的那样，人工智能设备的联网可能造就异常强大的超级人工智能。
人类享受悠闲生活的设想
关于奇点，人们设想的最幸福场景是，人工智能负责完成社会的所有工作，而人类则可以自由地过着悠闲的生活，追求艺术、玩电子游戏、看3D电视，或沉浸在虚拟现实中。人类也会拥有几乎无限的社交时间（无论是面对面交流还是线上互动），或许未来全人类的生活都会变得类似现代的沙特阿拉伯王国公民的生活。在那里，几乎所有的工作，都由外国人完成,而沙特公民（至少是男性）则享有相当高程度的财富和自由。
电影《人工智能》（2001）剧照。
然而，如果我们从现实的角度来研究这种人类享受闲暇的情景，就会看出这种可能性将很难被实现。因为控制资本的相对少数人，将控制社会的大部分财富，而与对社会没有价值贡献的其他人分享财富，显然不符合前者自身的利益。或许会有少数杰出的人类技术专家能够赚取大量的金钱，但即使是这样的可能性也不太现实，因为人工智能将在三个智能层面碾压人类，并能够比最优秀的人类更好地完成各项工作。
有人可能会辩驳，最终剩下的少数占据主导地位的资本家，或许会是利他主义者，并愿意把自己的财富分配给其他没有赚钱能力的人类，但我们在现实世界中，并没有看到很多证明此类举动可能存在的证据。事实上，在收入最不平等的国家（如印度）中，出现此类善举的概率比世界上最平等的国家（如丹麦）要少得多。
人类的増强和改造
库兹维尔认为，既然相较于超级人工智能而言，人类在经济上不会有竞争力，那么唯一有吸引力的发展道路，就是人类利用人工智能来增强自己，甚至是彻底改变自己。人类利用人工智能实现增强自己，已经存在很长时间了。
首先，是身体的增强。例如，有人可能会使用一条人工腿，来替代被截肢的腿。听力不好的人可以戴助听器，视力不好的人可以戴眼镜。
接下来，是思维增强。人工智能可以通过很多方式来增强人类的思维智能。在很多方面，人工智能已经比人类更聪明了，这些能力可能会被用于人类能做的事情。例如，人类可能会给自己增加一个记忆芯片或计算模块，现在已经有各种各样的方法，能够连接人脑和计算机。最近，科学家已经成功地将人脑与互联网连接起来，可以让人类直接与一个巨大的信息网络连接。
最终，我们还将看到情感的增强。黄明蕙教授曾开玩笑说，她有时候希望拉斯特有一个“同理心芯片”，可以在和她交流的时候运用。而拉斯特则希望黄明蕙教授在开这个玩笑的时候，就能使用这个同理心芯片，然后她就会知道，这样的玩笑听起来不公平且伤人。我们离制作出这样的同理心芯片还相当遥远，但必定会越来越努力地利用人工智能，让人类变得更好。
电影《银翼杀手：2022黑暗浩劫》（2017）剧照。
另一种可能性是，人类有可能完全脱离身体的躯壳。如果整个人类的大脑，都能够被映射和理解（目前，我们只能在体型微小的动物身上运用这种技术），那么理论上一个人的所有知识和记忆，都可以被上传到电脑，甚至转移到机器人的躯体里。这样的技术，被称为“数字季生”气因此，仅在理论上而言，只要计算机能够运行，这样的人类就可以永生。
作为一种已经存在的技术，人类增强几乎必然会随着时间的推移，而变得更加广泛和复杂，从只能够增强机械智能,发展到思维智能和情感智能的增强。
但我们也有理由相信，人类的增强和改造将无法在奇点中存活，且我们的理由非常合乎逻辑。假设我们现在有一个增强型的人类，表现为人类智能+人工智能。毫无疑问，增强的人类将优于未增强的人类，因为其人工智能部分可增加价值。现在，我们再从人工智能的角度来看，人类智能+人工智能可能同样优于单纯的人工智能，只要人类智能部分能贡献一些人工智能不具备的东西。
但问题在于，在奇点概念中，人工智能将在各个方面优于人类智能，换句话说，人工智能可以利用人工智能，生产出一个“更好”的人工智能版本（我们将其称为HI）。那么，人工智能生产的人类智能+人工智能，将比人类增强版的人类智能+人工智能更好。也就是说，人工智能将失去与人类合作的动力。结论是,在人类可以控制人工智能的范围内，人类智能+人工智能(HI+AI)的版本是可行的，但基于优胜劣汰的自然进化理论,更有效的人工智能更有可能存活下来，最后将导致不与人类智能合作成为对人工智能最有效的策略。
末日场景
博斯特罗姆认为，如果出现了人工智能“超级智能”，末日情景是最有可能出现的结果。他指出，在超级智能的人工智能实体中，未必存在仁爱等人类品质。这表明人类作为物种的存在将有处于巨大危险。例如，假设人工智能与人类之间的智力差异，大致类似于人类与蚊子之间的智力差异。如果人类认为彻底消灭蚊子不是什么大事儿，那么人工智能在将人类视为蟆蚁，并彻底灭绝人类的时候，能不能做到三思而后行？
物种进化的下一阶段？
当然，我们也拥有一个合理地应对高级人工智能的出现的积极方式，就是将其视为人类进化的下一个阶段。就像人类从“低等的”、不那么聪明的猿类进化而来那样，一个高级的人工智能，将以人类为基础进化出来。前面讨论的电影《人工智能》就预示了这种可能性。在那部电影中，人类已经灭绝，地球完全由人工智能管理。我们能否接受这种情况可能取决于我们与人工智能的联系，以及我们是否认为新兴的超级人工智能比人类“更好”。但是，要人类接受这样的想法可能存在相当大的阻力，这也意味着，人类接受超级人工智能，可能会变得越来越困难。
电影《人工智能：灭绝危机》（2018）剧照。
当人工智能变得足够聪明的时候，它可以在机械、思维和情感这三个领域，都优于人类的智能。这就是广为人知的奇点场景。我们的观点是，这种情况的发生，可能还需要几十年的时间，但它最终将是不可避免的。市面上已经有不少流行的电影，让我们初步领略了奇点到来之后的可能场景。
和所有大规模的技术变革一样，奇点导致的后果存在无数的可能性，从乌托邦式的（人工智能负责工作，人类负责享受），到灾难性的（人工智能彻底淘汰人类）。但在这两个极端场景的中间，存在一个相辅相成的领域，即人类有可能利用人工智能来增强自己的能力，就像今天我们经常使用机械辅助工具那样。不幸的是，我们得出的结论是，帮助人类可能不符合人工智能自身的利益。相比之下，奇点将使目前的社会由思维经济向情感经济的过渡，变得平淡无奇、无足轻重。
本文选自《情感经济：人工智能、颠覆性变革与人类未来》，较原文有删节修改。已获得出版社授权刊发。
作者丨[美]罗兰·T.拉斯特、黄明蕙
摘编丨安也
编辑丨张进
导语校对丨赵琳