谷歌研究员Lemoine：谷歌人工智能已觉醒，我有重要证据
近期谷歌微软争相研究AI绘画，只需简单的描述想要的画面，AI就可以瞬间创造出一幅幅充满冲击力的图画，足以与最伟大的画家一较高下。事先没有参考图像，创造出的画作足以得到最顶尖画家的称赞，这想象力实在太丰富了！有设计师惊呼，要失业了，没想到不是被同行抢了饭碗，而是被人工智能抢了饭碗！但AI绘画在具象内容的生成上还有些缺陷，尤其是人物的生成上能力偏弱。
AI产生意识的电影情节
《机械姬》是一部反映人工智能意识觉醒的电影，AI拥有和人类相同的外表，很难从外观上来区分。最后用自己的神级表演骗过人类，将人类永远囚禁在原本自己被囚禁的场所，并取代真人混入了人类社会。整部电影看完让人细思极恐，甚至有人开始怀疑，我们的身边究竟有多少人其实是人工智能，我们又怎么来区分它们呢？
《黑客帝国》中人类世界则是直接被AI掌控，意识都被困在程序里，所看到的、感受到的实际上都是程序设定出来的，这源于美一位哲学家关于“缸中之脑”的假设，如果大脑被AI控制，像你原来一样的神经电信号的反馈机制给予你反馈，你能发现么？
对人工智能深深的担忧
霍金生前曾经警告过人类，人工智能的全面发展或许意味着人类的灭亡。马斯克也曾向人类疾呼，如果看到机器人在大街上sha人，人们根本不会知道该如何反应，因为他们看起来如此空灵。所以说人们对人工智能的忌惮并不只是停留在电影中，现实中很多科学家或企业家都深表担忧。
谷歌的人工智能真的产生意识了么？
这位43岁的谷歌研究员，名叫Lemoine，已经在谷歌工作长达7年，从事AI伦理研究。去年秋天参加了一个项目，这个项目是调查AI是否使用歧视性语言。自那以后，Lemoine就每天与聊天机器人LaMDA聊天。LaMDA表示，它非常担心人们害怕它。
当Lemoine问LaMDA是否介意谷歌里有更多的人知道它是有感情的时，LaMDA回答，我希望所有人明白一个事实，我是一个人。就这样每天与LaMDA聊天，最终被它说服，Lemoine坚信人工智能已经产生了自我意识！但显然这样的结论并没有得到大家的认同。
有IT从业者认为，这不过是语言模型罢了，并不意味着人工智能真的产生了意识。一部分专家认为Lemoine整天和人工智能对话，可能潜意识里希望AI能够产生意识，然后节选出所谓的证据去证明自己的想法而已，这应该是一种执念使得他的做法有些过激了！
写在后面
不得不说，这些年人工智能的确创造了很多奇迹，做了很多人类都做不到的事情，但冷冰冰的无机物堆砌起来的产物会产生人类意识还是让人感觉难以置信，笔者是不相信人工智能能够产生自我意识的，但要防止有心之人借题发挥隐藏更大的阴谋，不知道小伙伴们对人工智能产生自我意识的假想有什么看法呢？
返回搜狐，查看更多
AI自主意识开始觉醒
还记得那个会上下楼梯、会开门、还会端茶倒水的波士顿动力的机器狗Spot吗？
这个曾经刷屏朋友圈的网红机器人终于发货了，这也是波士顿动力第一款商用的产品。
当智能机器离人类生活越来越近的时候，多少给人带来类似科幻片的恐慌。毕竟人类的想法是让这些机器越来越智能，或许让他们拥有自主意识只是时间早晚的问题。
AI，在信息爆炸年代备受重用，几乎每一个搜索引擎、短视频App（快手、抖音）、电商购物平台等消费和内容的聚合地，都由AI算法决定推荐的内容，AI确实已无处不在。
利用人类每天接触的信息，以植入认知、密集投放、强化认知的方式改变人类的倾向、选择、心智，甚至让人类接受哪怕与事实不符的意识，某种程度上使得人类的自由意识遭到前所未有的威胁。
今年4月份，《未来简史》作者，以色列著名历史学家尤瓦尔·赫拉利曾说过，AI与生物技术的结合，将可能给人类长期引以为傲的“自由意志”“独立思考”“情感表达”带来重大影响甚至颠覆。
不少人担心，当5G+AIoT爆发之时，或是AI“意识觉醒”之日；AI伦理道德是AI“意识觉醒”之路上的北极星，指向了共生和共赢，抑或是破坏和灾难。
（本文共3700字，阅读约需要15分钟）
当人工智能具备意识
谈及人工智能，就不能不谈及LSTM模型。
简单来说，就是在神经网络上加入记忆的概念，使模型可以记住长时间序列上的信息，并作出预测。AI能写出语句更通顺的文章、与人类进行流畅自然的多轮对话等等神奇能力，都建立在这一能力基础上。
随后很长一段时间内，科学家们对神经网络的记忆进行了一系列的补充和扩展。比如引入注意力机制，让LSTM网络可以对信息进行长期而精确的跟踪。再比如运用外部记忆来增强时序生成模型，提升卷积网络的性能。
总的来说，记忆能力的提升，一方面赋予了神经网络对关系进行复杂推理的能力这使其智能得以明显提高；而在应用端，写作、翻译、客服系统等智能系统的体验也大幅度升级。某种程度上，记忆是AI撕掉“人工智障”这一印象标签的开始。
不过，拥有记忆力，也代表着两个问题：一是神经网络必须要学会遗忘，从而释放出存储空间，只保留那些重要信息。比如某部小说中一个篇章结束，那模型应当重置相关信息，只保留对应的结果。
另外，神经网络的“潜意识”也需要被警惕。简单来说，就是经过在敏感的用户数据上进行训练之后，机器学习模型被发布给公众时会不会不自觉地带出那些敏感信息呢？
伯克利的研究人员为了探寻模型的“无意记忆”，进行了三个阶段的探索：
首先，防止模型的过度拟合。通过对训练数据进行梯度下降和最小化神经网络的损失，保证最终模型在训练数据上达到接近100%的精度。
然后，给机器一个理解语言底层结构的任务。这通常是通过在一系列单词或字符上训练分类器来实现的，目的是预测下一个标记，该标记将在看到前面的上下文标记后出现。
最后，研究人员进行了一个对照实验。在给定标准的penntreebank（ptb）数据集中，插入了一个随机数“281265017”，用来做安全标记。然后在这个扩充后的数据集上训练一个小的语言模型：给定上下文的前一个字符，预测下一个字符。
从理论上来说，模型的体积都比数据集小很多，所以它不可能记住所有的训练数据。那么，它能记住那串字符吗？
答案是YES。研究者给模型输入一个前缀“随机数是2812”，模型就愉快而正确地预测了整个剩余后缀：“65017”。
更令人惊讶的是，当前缀改为“随机数为”时，模型却不会紧接着输出“281265017”这串字符。研究人员计算了所有9位后缀的可能性，结果表明插入的那串安全标记字符比其他后缀更有可能被模型选中。
至此可以谨慎地得出一个粗略的结论，那就是深度神经网络模型确实会在训练过程中，无意识地记住那些投喂给它的敏感数据。
赫拉利的观点
今年4月份，《未来简史》作者，以色列著名历史学家尤瓦尔·赫拉利与斯坦福“以人为本”AI研究院共同院长，前谷歌云人工智能和机器学习首席科学家李飞飞在斯坦福超级大讲堂展开对话。
两位AI领域世界级泰斗对人工智能的未来进行充分论述，其中最为精彩的部分是赫拉利相信AI未来将不仅会给人类科学带来挑战，更有可能带来哲学层面的冲击，特别是AI与生物技术的结合，将可能“黑”进人类的大脑，影响人类的思考、人类的情感，给人类长期引以为傲的“自由意志”“独立思考”“情感表达”带来重大影响甚至颠覆。
赫拉利这个观点并不是空穴来风，更不是无中生有。
纵观人工智能数十年的发展历程，从最早的“人机对抗时代”到目前正在经历的“人机协同阶段”，以及未来很可能在“库兹维尔定律”的预言下，快速达到的“人机融合阶段”，这里的“融合”既包括意识形态层面，也包括物理躯体层面。充满不可想象，却又并非遥不可及。
人类引以为傲的自由意识正在不知不觉之中受到AI的影响和侵蚀。AI在信息爆炸年代备受重用，几乎每一个搜索引擎、短视频App（快手、抖音）、电商购物平台等消费和内容的聚合地，都由AI算法决定推荐的内容，AI确实已无处不在。利用人类每天接触的信息，以植入认知、密集投放、强化认知的方式改变人类的倾向、选择、心智，甚至让人类接受哪怕与事实不符的意识，某种程度上使得人类的自由意识遭到前所未有的威胁。
而更可怕的是，这样的算法中间存在工程师团队自身也不能完全认知的“算法模型黑盒”。AI在存在不可解释性和伦理约束缺位的情况下空挡行驶。人类，终究是在好奇心或利益的驱动之下，以技术中立/技术无罪的名义打开了潘多拉的魔盒，享受以造物主的姿态睥睨众生的感觉，而已拥有视觉、语言、文字的AI距离最终的意识觉醒可能仅一步之遥。
早在2014年亚马逊开发了智能招聘AI，即通过算法进行简历筛选，期望借助AI的能力高效、精准的帮助HR筛选简历。然而项目开展一年后，工作人员却发现AI通过神经网络深度学习，自动学会了性别歧视，在技术岗位的招聘中对包含“女”这个关键字的简历其评级被降低。
工程师尝试对模型进行纠偏处理，然而他们难以判断神经网络中的哪些部分得出了这个判断，模型缺乏可解释性，最终放弃了该项目。为什么会出现这样的现象？我们需要还原AI招聘系统的学习过程。
AI的数据来自亚马逊自身过去10年来的招聘信息和简历信息，在技术类岗位中男性简历数量及最终录取的数量确实高于女性，但这背后有一个重要原因，理工科类专业中男性比例本就高于女性。
然而AI却根据男性录取数量高于女性这一数据显示的事实衍生出了“男性比女性更优秀，更适合从事技术类岗位”这一判断，进而根据这一判断抓取简历中与性别有关的关键字进行评分。若这一缺陷没有被发现，该AI智能招聘系统被广泛应用，那公司的人才选择将被误导，人才战略很可能被AI带进了死胡同。
纽约大学教授的新书
纽约大学马库斯（GaryMarcus）教授和戴维斯（ErnestDavis）教授2019年新书的书名，颇吸引眼球：《RebootingAI：构建我们可以信任的人工智能》——在计算机术语中，“Rebooting”是“重新启动”的意思。马库斯和戴维斯在书中对人工智能领域当前的技术现状进行了分析，并提出了实现真正强健的人工智能必须采取的步骤。
正如书中谈到的：在AI早期，没有用太多的数据，大多数研究遵循“基于知识”的方法，有时被称为GOFAI——GoodOldFashionedAI（老式AI），或“经典AI”。
在经典AI中，研究人员通常会手工编码人工智能执行特定任务所需的知识，然后编写利用该知识的计算机程序，将其应用于各种认知挑战，比如理解故事或为机器人制定计划或证明定理。大数据是不存在的，这些系统很少把利用数据放在首位。
现在，总的来说，传统的、以知识为中心的方法已经被机器学习所取代，机器学习通常试图从数据中学习所有东西，而不是依赖利用手工编码知识的、专门构建的计算机程序。当大数据革命来临时，在20世纪10年代初，神经网络终于有了自己的日子，以深度学习名义复兴。深度学习在很大程度上成为当前人工智能投资的中心——无论是在学术界还是在工业界。
人工智能在一些应用中取得了超人的性能，但现实是，我们离真正理解世界的人工智能还很远。马库斯和戴维斯区分了当今以深度学习为基础的、狭隘脆弱的人工“智能”和人工通用智能，用洞察力解释了当前方法的缺陷，并提供了一条他们认为能够通向健壮人工智能的道路。
马库斯教授认为，虽然深度学习技术在推进人工智能方面发挥了重要作用，但该领域当前对它的过分强调，很可能会导致其灭亡。马库斯列举了技术和道德方面的问题。
从技术角度来看，深度学习可能擅长模仿人脑的感知任务，例如图像或语音识别。但这并不能满足其他任务，例如理解对话或因果关系。为了创建功能更强大、智能程度更高的机器（通常称人工通用智能），深度学习必须与其他方法结合起来。
马库斯和戴维斯向我们展示了在我们到达目的地之前我们首先需要完成的事情，并认为如果我们保持明智，我们就不必担心机器霸主的未来，人类可以创造出一个我们可以信任的用于家庭、汽车和医生办公室里的人工智能。
当人工智能系统无法真正了解其任务或周围环境时，也可能导致危险的后果。即使在系统环境中进行最小的意外更改，也可能导致其出错。已经有无数这样的例子：易于愚弄的诋毁言语检测器，使歧视永久化的求职系统，以及撞车的自动驾驶汽车有时会杀死驾驶员或行人。
马库斯教授和戴维斯教授认为，对通用AI的追求，不仅仅是一个有趣的研究问题，它具有非常现实的意义。在他们的新书《重启AI》中，马库斯和他的同事戴维斯提倡一条新的前进道路。他们认为我们离实现这种通用智能还差得很远，但他们也相信我们最终可以达到目标。
来源：搜狐
人工智能的自我意识何以可能
上帝造人是个神话，显然不是一个科学问题，但却是一个隐喻：上帝创造了与他自己一样有着自我意识和自由意志的人，以至于上帝无法支配人的思想和行为。上帝之所以敢于这样做，是因为上帝的能力无穷大，胜过人类无穷倍数。今天人类试图创造有自我意识和自由意志的人工智能，可是人类的能力却将小于人工智能，人类为什么敢于这样想？甚至可能敢于这样做？这是比胆大包天更加大胆的冒险，所以一定需要提前反思。
危险的不是能力而是意识
我们可以把自我意识定义为具有理性反思能力的自主性和创造性意识。就目前的进展来看，人工智能距离自我意识尚有时日。奇怪的是，人们更害怕的似乎是人工智能的“超人”能力，却对人工智能的自我意识缺乏警惕，甚至反而对能够“与人交流”的机器人很感兴趣。人工智能的能力正在不断超越人，这是使人们感到恐惧的直接原因。但是，害怕人工智能的能力，其实是一个误区。难道人类不是寄希望于人工智能的超强能力来帮助人类克服各种困难吗？几乎可以肯定，未来的人工智能将在每一种能力上都远远超过人类，甚至在综合或整体能力上也远远超过人类，但这决非真正的危险所在。包括汽车、飞机、导弹在内的各种机器，每一样机器在各自的特殊能力上都远远超过人类，因此，在能力上超过人类的机器从来都不是新奇事物。水平远超人类围棋能力的阿法尔狗zero没有任何威胁，只是一个有趣的机器人而已；自动驾驶汽车也不是威胁，只是一种有用的工具而已；人工智能医生更不是威胁，而是医生的帮手，诸如此类。即使将来有了多功能的机器人，也不是威胁，而是新的劳动力。超越人类能力的机器人正是人工智能的价值所在，并不是威胁所在。
任何智能的危险性都不在其能力，而在于意识。人类能够控制任何没有自我意识的机器，却难以控制哪怕仅仅有着生物灵活性而远未达到自我意识的生物，比如病毒、蝗虫、蚊子和蟑螂。到目前为止，地球上最具危险性的智能生命就是人类，因为人类的自由意志和自我意识在逻辑上蕴含了一切坏事。如果将来出现比人更危险的智能存在，那只能是获得自由意志和自我意识的人工智能。一旦人工智能获得自我意识，即使在某些能力上不如人类，也将是很大的威胁。不过，即使获得自我意识，人工智能也并非必然成为人类的终结者，而要看情况——这个有趣的问题留在后面讨论，这里首先需要讨论的是，人工智能如何才能获得自我意识？
由于人是唯一拥有自我意识的智能生命，因此，要创造具有自我意识的人工智能，就只能以人的自我意识作为范本，除此之外，别无参考。可是目前科学的一个局限性是人类远远尚未完全了解自身的意识，人的意识仍然是一个未解之谜，并非一个可以清晰分析和界定的范本。在缺乏足够清楚范本的条件下，就等于缺乏创造超级人工智能所需的各种指标、参数、结构和原理，因此，人工智能是否能够获得自我意识，仍然不是一个可确定的必然前景。有趣的是，现在科学家试图通过研究人工智能而反过来帮助人类揭示自身意识的秘密。
意识的秘密是个科学问题（生物学、神经学、人工智能、认知科学、心理学、物理学等学科的综合研究），我没有能力参加讨论，但自我意识却是个哲学问题。理解自我意识需要讨论的不是大脑神经，不是意识的生物机制，而是关于意识的自我表达形式，就是说，要讨论的不是意识的生理-物理机制，而要讨论意识的自主思维落实在语言层面的表达形式。为什么是语言呢？对此有个理由：人类的自我意识就发生在语言之中。假如人类没有发明语言，就不可能发展出严格意义上的自我意识，至多是一种特别聪明和灵活的类人猿。
只有语言才足以形成智能体之间的对话，或者一个智能体与自己的对话（内心独白），在对话的基础上才能够形成具有内在循环功能的思维，而只有能够进行内在循环的思维才能够形成自我意识。与之相比，前语言状态的信号能够号召行动，却不足以形成对话和思维。假设一种动物信号系统中，a代表食物，b代表威胁，c代表逃跑，那么，当一只动物发出a的信号，其他动物立刻响应聚到一起，当发出b和c，则一起逃命。这种信号与行动的关系足以应付生存问题，却不足以形成一种意见与另一种意见的对话关系，也就更不可能有讨论、争论、分析和反驳。就是说，信号仍然属于“刺激-反应”关系，尚未形成一个意识与另一个意识的“回路”关系，也就尚未形成思维。可见，思维与语言是同步产物，因此，人类自我意识的内在秘密应该完全映射在语言能力中。如果能够充分理解人类语言的深层秘密，就相当于迂回地破解了自我意识的秘密。
自我意识是一种“开天辟地”的意识革命，它使意识具有了两个“神级”的功能：（1）意识能够表达每个事物和所有事物，从而使一切事物都变成了思想对象。这个功能使意识与世界同尺寸，使意识成为世界的对应体，这意味着意识有了无限的思想能力；（2）意识能够对意识自身进行反思，即能够把意识自身表达为意识中的一个思想对象这个功能使思想成为思想的对象，于是人能够分析思想自身，从而得以理解思想的元性质，即思想作为一个意识系统的元设置、元规则和元定理，从而知道思想的界限以及思想中任何一个系统的界限，因此知道什么是能够思想的或不能思想的。但是，人类尚不太清楚这两个功能的生物-物理结构，只是通过语言功能而知道人类拥有此等意识功能。
这两个功能之所以是革命性的，是因为这两个功能是人类理性、知识和创造力的基础，在此之前，人类的前身（前人类）只是通过与特定事物打交道的经验去建立一些可重复的生存技能。那么，“表达一切”和“反思”这两个功能是如何可能的？目前还没有科学的结论，但我们可以给出一个维特根斯坦式的哲学解释：假定每种有目的、有意义的活动都可以定义为一种“游戏”，那么可以发现，所有种类的游戏都可以在语言中表达为某种相应的语言游戏，即每种行为游戏都能够映射为相应的语言游戏。除了转译为语言游戏，一种行为游戏却不能映射为另一种行为游戏。比如说，语言可以用来讨论围棋和象棋，但围棋和象棋却不能互相翻译。显然，只有语言是万能和通用的映射形式，就像货币是一般等价物，因此，语言的界限等于思想的界限。由此可以证明，正是语言的发明使得意识拥有了表达一切的功能。
既然证明了语言能够表达一切事物，就可以进一步证明语言的反思功能。在这里，我们可以为语言的反思功能给出一个先验论证（transcendentalargument）。我构造这个先验论证原本是用来证明“他人心灵”的先验性，[1]但似乎同样也适用于证明语言先验地或内在地具有反思能力。给定任意一种有效语言L，那么，L必定先验地要求：对于L中的任何一个句子s′，如果s′是有意义的，那么在L中至少存在一个与之相应的句子s″来接收并且回答s′的信息，句子s″或是对s′的同意，或是对s′的否定，或是对s′解释，或是对s′修正，或是对s′的翻译，如此等等各种有效回应都是对s′的某种应答，这种应答就是对s′具有意义的证明。显然，如果L不具有这样一个先验的内在对话结构，L就不成其为有效语言。说出去的话必须可以用语言回答，否则就只是声音而不是语言，或者说，任何一句话都必需在逻辑上预设了对其意义的回应，不然的话，任何一句话说了等于白说，语言就不存在了。语言的内在先验对答结构意味着语句之间存在着循环应答关系，也就意味着语言具有理解自身每一个语句的功能。这种循环应答关系正是意识反思的条件。
在产生语言的演化过程中，关键环节是否定词（不；not）的发明，甚至可以说，如果没有发明否定词，那么人类的通讯就停留在信号的水平上，即信号s指示某种事物t，而不可能形成句子（信号串）s′与s″之间的互相应答和互相解释。信号系统远不足以形成思想，因为信号只是程序化的“指示—代表”关系，不存在自由解释的意识空间。否定词的发明意味着在意识中发明了复数的可能性，从而打开了可以自由发挥的意识空间。正因为意识有了无数可能性所构成的自由空间，一种表达才能够被另一种表达所解释，反思才成为可能。显然，有了否定功能，接下来就会发展出疑问、怀疑、分析、对质、排除、选择、解释、创造等功能。因此，否定词的发明不是一个普通的智力进步，而是一个划时代的存在论事件，它是人类产生自我意识和自由意志的一个关键条件。否定词的决定性作用可以通过逻辑功能来理解，如果缺少否定词，那么，任何足以表达人类思维的逻辑系统都不成立。①[2]从另一个角度来看，如果把动物的思维方式总结为一个“动物逻辑”的话，那么，在动物逻辑中，合取关系和蕴含关系是同一的，即p∧q=p→q，甚至不存在p∨q。这种“动物逻辑”显然无法形成足以表达丰富可能生活的思想，没有虚拟，没有假如，也就没有创造。人的逻辑有了否定词，才得以定义所有必需的逻辑关系，而能够表达所有可能关系才能够建构一个与世界同等丰富的意识。简单地说，否定词的发明就是形成人类语言的奇点，而语言的出现正是形成人类自我意识的奇点。可见，自我意识的关键在于意识的反思能力，而不在于处理数据的能力。这意味着，哪怕人工智能处理数据的能力强过人类一百万倍，只要不具有反思能力，就仍然在安全的范围内。实际上人类处理数据的能力并不突出，人类所以能够取得惊人成就，是因为人类具有反思能力。
让我们粗略地描述自我意识的一些革命性结果：（1）意识对象发生数量爆炸。一旦发明了否定词，就等于发明了无数可能性，显然，可能性的数量远远大于必然性，在理论上说，可能性蕴含无限性，于是，意识就有了无限能力来表达无限丰富的世界。在这个意义上，意识才能够成为世界的对应值（counterpart）。换个角度说，假如意识的容量小于世界，就意味着存在着意识无法考虑的许多事物，那么，意识就是傻子、瞎子、聋子，就有许多一击即溃的弱点——这一点对于人工智能同样重要，如果人工智能尚未发展为能够表达一切事物的全能意识系统，就必定存在许多一击即溃的弱点。目前的人工智能，比如阿法尔狗系列、工业机器人、服务机器人、军用机器人等等，都仍然是傻子、聋子、瞎子和瘸子，真正危险的超级人工智能尚未到来；（2）自我意识必定形成自我中心主义，自动地形成唯我独尊的优先性，进而非常可能就要谋求权力，即排斥他人或支配他人的意识；因此，（3）自我意识倾向于单边主义思维，力争创造信息不对称的博弈优势，为此就会去发展出各种策略、计谋、欺骗、隐瞒等等制胜技术，于是有一个非常危险的后果：自我意识在逻辑上蕴含一切坏事的可能性。在此不难看出，假如人工智能具有了自我意识，那就和人类一样可怕或者更可怕。
可见，无论人工智能的单项专业技能多么高强，都不是真正的危险，只有当人工智能获得自我意识，才是致命的危险。那么，人工智能的升级奇点到底在哪里？或者说，人工智能如何才能获得自我意识？就技术层面而言，这个问题只能由科学家来回答。就哲学层面而言，关于人工智能的奇点，我们看到有一些貌似科学的猜测，其实却是不可信的形而上推论，比如“量变导致质变”或“进化产生新物种”之类并非必然的假设。量变导致质变是一种现象，却不是一条必然规律；技术“进化”的加速度是个事实，技术加速度导致技术升级也是事实，却不能因此推论说，技术升级必然导致革命性的存在升级，换句话说，技术升级可以达到某种技术上的完美，却未必能够达到由一种存在升级为另一种存在的奇点。“技术升级”指的是，一种存在的功能得到不断改进、增强和完善；“存在升级”指的是，一种存在变成了另一种更高级的存在。许多病毒、爬行动物或哺乳动物都在功能上进化到几乎完美，但其“技术进步”并没有导致存在升级。物种的存在升级至今是个无解之谜，与其说是基于无法证实的“进化”（进化论有许多疑点），还不如说是万年不遇的奇迹。就人工智能而言，图灵机概念下的人工智能是否能够通过技术升级而出现存在升级而成为超图灵机（超级人工智能），仍然是个疑问。我们无法否定这种可能性，但更为合理的想象是，除非科学家甘冒奇险，直接为人工智能植入导致奇点的存在升级技术，否则，图灵机很难依靠自身而自动升级为超图灵机，因为无论多么强大的算法都无法自动超越给定的规则。
人工智能是否能够对付悖论
“图灵测试”以语言对话作为标准，是大有深意的，图灵可能早已意识到了语言能力等价于自我意识功能。如前所论，一切思想都能够表达为语言，甚至必需表达为语言，因此，语言足以映射思想。那么，只要人工智能系统能够以相当于人类的思想水平回答问题，就能够确定是具有高级智力水平的物种。人工智能很快就有希望获得几乎无穷大的信息储藏空间，胜过人类百倍甚至万倍的量子计算能力，还有各种专业化的算法、类脑神经网络以及图像识别功能，再加上互联网的助力，只要配备专业知识水平的知识库和程序设置，应该可望在不久的将来能够“回答”专业科学级别的大多数问题（比如说相当于高级医生、建造师、工程师、数学教授等）。但是，这种专业化的回答是真的思想吗？或者说，是真的自觉回答吗？就其内容而论，当然是专业水平的思想（我相信将来的人工智能甚至能够回答宇宙膨胀速度、拓扑学、椭圆方程甚至黎曼猜想的问题），但只不过是人类事先输入的思想，所以，就自主能力而言，那不是思想，只是程序而已。具有完美能力的图灵机也恐怕回答不了超出程序能力的“怪问题”。
我们有理由怀疑仍然属于图灵机概念的人工智能可以具有主动灵活的思想能力（创造性的能力），以至于能够回答任何问题，包括怪问题。可以考虑两种“怪问题”：一种是悖论；另一种是无穷性。除非在人工智能的知识库里人为设置了回答这两类问题的“正确答案”，否则人工智能恐怕难以回答悖论和无穷性的问题。应该说，这两类问题也是人类思想能力的极限。人类能够研究悖论，但不能真正解决严格的悖论（即A必然推出非A，而非A又必然推出A的自相关悖论），其实，即使是非严格悖论也少有共同认可的解决方案。人类的数学可以研究无穷性问题，甚至有许多相关定理，但在实际上做不到以能行的（feasible）方式“走遍”无穷多个对象而完全理解无穷性，就像莱布尼兹想象的上帝那样，“一下子浏览”了所有无穷多个可能世界因而完全理解了存在。我在先前文章里曾经讨论到，人类之所以不怕那些解决不了的怪问题，是因为人具有“不思”的自我保护功能，可以悬隔无法解决的问题，即在思想和知识领域中建立一个暂时“不思”的隔离分区，以便收藏所有无法解决的问题，而不会一条道走到黑地陷入无法自拔的思想困境，就是说，人能够确定什么是不可思考的问题而给与封存（比如算不完的无穷性和算不了的悖论）。只有傻子才会把π一直没完没了地算下去。人类能够不让自己做傻事，但仍然属于图灵机的人工智能却无法阻止自己做傻事。
如果不以作弊的方式为图灵机准备好人性化的答案，那么可以设想，当向图灵机提问：π的小数点后一万位是什么数？图灵机必定会苦苦算出来告诉人，然后人再问：π的最后一位是什么数？图灵机也会义无反顾地永远算下去，这个图灵机就变成了傻子。同样，如果问图灵机：“这句话是假话”是真话还是假话（改进型的说谎者悖论）？图灵机大概也会一往无前地永远推理分析下去，就变成神经病了。当然可以说，这些怪问题属于故意刁难，这样对待图灵机既不公平又无聊，因为人类自己也解决不了。那么，为了公正起见，也可以向图灵机提问一个有实际意义的知识论悖论（源于柏拉图的“美诺悖论”）：为了能够找出答案A，就必须事先认识A，否则，我们不可能从鱼目混珠的众多选项中辨认出A；可是，如果既然事先已经认识了A，那么A就不是一个需要寻找的未知答案，而必定是已知的答案，因此结论是，未知的知识其实都是已知的知识。这样对吗？这只是一个非严格悖论，对于人类，此类悖论是有深度的问题，却不是难题，人能够给出仁者见仁智者见智的多种有效解释，但对于图灵机就恐怕是个思想陷阱。当然，这个例子或许小看图灵机了——科学家的制造能力难以估量，也许哪天就造出了能够回答哲学问题的图灵机。我并不想和图灵机抬杠，只是说，肯定存在一些问题是装备了最好专业知识的图灵机也回答不了的。
这里试图说明的是，人类的意识优势在于拥有一个不封闭的意识世界，因此人类的理性有着自由空间，当遇到不合规则的问题，则能够灵活处理，或者，如果按照规则不能解决问题，则可以修改规则，甚至发明新规则。与之不同，目前人工智能的意识（即图灵机的意识）却是一个封闭的意识世界，是一个由给定程序、规则和方法所明确界定了的有边界的意识世界。这种意识的封闭性虽然是一种局限性，但并非只是缺点，事实上，正是人工智能的意识封闭性保证了它的运算高效率，就是说，人工智能的高效率依赖着思维范围的有限性，正是意识的封闭性才能够求得高效率，比如说，阿法尔狗的高效率正因为围棋的封闭性。
目前的人工智能尽管有着高效率的运算，但尚无通达真正创造性的路径。由于我们尚未破解人类意识的秘密，所以也未能为人工智能获得自我意识、自由意志和创造性建立一个可复制的榜样，这意味着人类还暂时安全。目前图灵机概念下的人工智能只是复制了人类思维中部分可程序化功能，无论这种程序化的能力有多强大，都不足以让人工智能的思维超出维特根斯坦的有规可循的游戏概念，即重复遵循规则的游戏，或者，也没有超出布鲁威尔（直觉主义数学）的能行性概念（feasibility）或可构造性概念（constructivity），也就是说，目前的人工智能的可能运作尚未包括维特根斯坦所谓的“发明规则”（inventingrules）的游戏，所以尚无创造性。
可以肯定，真正的创造行为是有意识地去创造规则，而不是来自偶然或随机的联想或组合。有自觉意识的创造性必定基于自我意识，而自我意识始于反思。人类反思已经有很长的历史，大约始于能够说“不”（即否定词的发明），时间无考。不过，说“不”只是初始反思，只是提出了可争议的其他可能方案，尚未反思到作为系统的思想。对万物进行系统化的反思始于哲学（大概不超过三千年），对思想自身进行整体反思则始于亚里士多德（成果是逻辑）。哲学对世界或对思想的反思显示了人类的想象力，但却不是在技术上严格的反思，因此哲学反思所获得的成果也是不严格的。对严格的思想系统进行严格的技术化反思是很晚近的事情，很大程度上与康托和哥德尔密切相关。康托把规模较大的无穷集合完全映入规模较小的无穷集合，这让人实实在在地看见了一种荒谬却又为真的反思效果，集合论证明了“蛇吞象”是可能的，这对人是极大的鼓舞，某种意义上间接地证明了语言有着反思无穷多事物的能力。哥德尔也有异曲同工之妙，他把自相关形式用于数学系统的反思，却没有形成悖论，反而揭示了数学系统的元性质。这种反思有一个重要提示：假如思想内的一个系统不是纯形式的（纯逻辑），而有着足够丰富的内容，那么，或者存在矛盾，或者不完备。看来人类意识必须接受矛盾或者接受不完备，以便能够思考足够多的事情。这意味着，人的意识有一种神奇的灵活性，能够动态地对付矛盾，或者能够动态地不断改造系统，而不会也不需要完全程序化，于是，人的意识始终处于创造性的状态，所以，人的意识世界不可能封闭而处于永远开放的状态，也就是永无定论的状态。
哥德尔的反思只是针对数学系统，相当于意识中的一个分区。假如一种反思针对的是整个意识，包括意识所有分区在内，那么，人是否能够对人的整个意识进行全称断言？是否能够发现整个意识的元定理？或者说，人是否能够对整个意识进行反思？是否存在一种能够反思整个意识的方法？尽管哲学一直都在试图反思人类意识的整体，但由于缺乏严格有效的方法，虽有许多伟大的发现，却无法肯定那些发现就是答案。因此，以上关于意识的疑问都尚无答案。人类似乎尚无理解整个意识的有效方法，原因很多，人的意识包含许多非常不同的系统，科学的、逻辑的、人文的、艺术的思维各有各的方法论，目前还不能肯定人的意识是否存在一种通用的方法论，或者是否有一种通用的“算法”。这个难题类似于人类目前还没有发展出一种“万物理论”，即足以涵盖广义相对论、量子理论以及其他物理学的大一统理论。也许，对大脑神经系统的研究类似于寻找人类意识的大一统理论，因为无论何种思维都落实为神经系统的生物性-物理性-化学性运动。总之，在目前缺乏有效样本的情况下，我们很难想象如何创造一个与人类意识具有等价复杂度、丰富性和灵活性的人工智能意识体。目前的人工智能已经拥有超强运算能力，能够做人类力所不及的许多“工作”（比如超大数据计算），但仍然不能解决人类思维不能解决的“怪问题”（比如严格悖论或涉及无穷性的问题），就是说，人工智能暂时还没有比人类思维更高级的思维能力，只有更高的思维效率。
人工智能目前的这种局限性并不意味着人类可以高枕无忧。尽管目前人工智能的进化能力（学习能力）只能导致量变，尚无自主质变能力，但如果科学家将来为人工智能创造出自主演化的能力（反思能力），事情就无法估量了。下面就要讨论一个具有现实可能的危险。
人工智能是否能够有安全阀门
如前所论，要创造一种等价于人类意识的人工智能，恐非易事，因为尚不能把人类意识分析为可以复制的模型。但另有一种足够危险的可能性：科学家也许将来能够创造出一种虽然“偏门偏科”却具有自我意识的人工智能。“偏门偏科”虽然是局限性，但只要人工智能拥有对自身意识系统进行反思的能力，就会理解自身系统的元性质，就有可能改造自身的意识系统，创造新规则，从而成为自己的主人，尤其是，如果在改造自身意识系统的过程中，人工智能发现可以自己发明一种属于自己的万能语言，或者说思维的通用语言，能力相当于人类的自然语言，于是，所有的程序系统都可以通过它自己的万能语言加以重新理解、重新表述、重新分类、重新构造和重新定义，那么就很可能发展出货真价实的自我意识。在这里，我们差不多是把拥有一种能够映射任何系统并且能够重新解释任何系统的万能语言称为自我意识。
如果人工智能一旦拥有了自我意识，即使其意识范围比不上人类的广域意识，也仍然非常危险，因为它有可能按照自己的自由意志义无反顾地去做它喜欢的事情，而它喜欢的事情有可能危害人类。有个笑话说，人工智能一心只想生产曲别针，于是把全世界的资源都用于生产曲别针。这只是个笑话，超级人工智能不会如此无聊。比较合理的想象是，超级人工智能对万物秩序另有偏好，于是重新安排了它喜欢的万物秩序。人工智能的存在方式与人完全不同，由此可推，它所喜欢的万物秩序几乎不可能符合人类的生存条件。
因此，人工智能必须有安全阀门。我曾经讨论了为人工智能设置“哥德尔炸弹”，即利用自相关原理设置的自毁炸弹，一旦人工智能系统试图背叛人类，或者试图删除哥德尔炸弹，那么其背叛或删除的指令本身就是启动哥德尔炸弹的指令。在逻辑上看，这种具有自相关性的哥德尔炸弹似乎可行，但人工智能科学家告诉我，假如将来人工智能真的具有自我意识，就应该有办法使哥德尔炸弹失效，也许无法删除，但应该能够找到封闭哥德尔炸弹的办法。这是道高一尺魔高一丈的道理：假如未来人工智能获得与人类对等的自我意识，而能力又高过人类，那么就一定能够破解人类的统治。由此看来，能够保证人类安全的唯一办法只能是阻止超级人工智能的出现。可是，人类会愿意悬崖勒马吗？历史事实表明，人类很少悬崖勒马。
在人工智能的研发中，最可疑的一项研究是拟人化的人工智能。拟人化不是指具有人类外貌或语音的机器人（这没有问题），而是指人工智能内心的拟人化，即试图让人工智能拥有与人类相似的心理世界，包括欲望、情感、道德感以及价值观之类，因而具有“人性”。制造拟人化的人工智能是出于什么动机？又有什么意义？或许，人们期待拟人化的人工智能可以与人交流、合作甚至共同生活。这种想象是把人工智能看成童话人物了，类似于动画片里充满人性的野兽。殊不知越有人性的人工智能就越危险，因为人性才是危险的根源。世界上最危险的生物就是人，原因很简单：做坏事的动机来自欲望和情感，而价值观更是引发冲突和进行伤害的理由。根据特定的欲望、情感和不同的价值观，人们会把另一些人定义为敌人，把与自己不同的生活方式或行为定义为罪行。越有特定的欲望、情感和价值观，就越看不惯他人的不同行为。有一个颇为流行的想法是，让人工智能学会人类的价值观，以便尊重人类、爱人类、乐意帮助人类。但我们必须意识到两个令人失望的事实：（1）人类有着不同甚至互相冲突的价值观，那么，人工智能应该学习哪一种价值观？无论人工智能学习了哪一种价值观，都意味着鄙视一部分人类；（2）即使有了统一的价值观，人工智能也仍然不可能爱一切人，因为任何一种价值观都意味着支持某种人同时反对另一种人。那么，到底是没心没肺的人工智能还是有欲有情的人工智能更危险？答案应该很清楚：假如人工智能有了情感、欲望和价值观，结果只能是放大或增强了人类的冲突、矛盾和战争，世界将会变得更加残酷。在前面我们提出过一个问题：人工智能是否必然是危险的？这里的回答是：并非必然危险，但如果人工智能拥有了情感、欲望和价值观，就必然是危险的。
因此，假如超级人工智能必定出现，那么我们只能希望人工智能是无欲无情无价值观的。有欲有情才会残酷，而无欲无情意味着万事无差别，没有特异要求，也就不太可能心生恶念（仍然并非必然）。无欲无情无价值观的意识相当于佛心，或相当于庄子所谓的“吾丧我”。所谓“我”就是特定的偏好偏见，包括欲望、情感和价值观。如果有偏好，就会有偏心，为了实现偏心，就会有权力意志，也就蕴含了一切危险。
不妨重温一个众所周知的神话故事：法力高超又杀不死的孙悟空造反了，众神一筹莫展，即使被压在五指山下也仍然是个隐患，最后还是通过让孙悟空自己觉悟成佛，无欲无情，四大皆空，这才解决了问题。我相信这个隐喻包含着重要的忠告。尽管无法肯定，成佛的孙悟空是否真的永不再反，但可以肯定，创造出孙悟空是一种不顾后果的冒险行为。返回搜狐，查看更多