机器人拥有自我意识是好处多还是风险多
11月3日消息，针对现下大热的人工智能，很多人会有一个疑问：机器人会拥有自主意识吗？在2019腾讯科学WE大会前，哥伦比亚大学教授、机器人研究权威专家HodLipson给出了回答。
HodLipson向TechWeb等表示，“不可避免会出现这一天，至于是10年后，还是100年后，我们还不知道。但我比较确信的是，我们孙辈生活的世界里，机器将会有自我意识。”
如果机器拥有了自我意识，你是否会为此感到担心？HodLipson对此持乐观态度，他认为，“自主意识的机器人带来的好处将会远远超过它的风险”。
他以火的发现为例解释称，火非常危险，也非常强大。但人类是否希望自己从未发现火呢？答案应该是否定的，因为有了火之后，使得我们能做很多之前做不到的、不可思议的事情。
HodLipson指出，“我们现在已经发展和运用了很多机器，而这些机器的数量将会越来越多，它们也会越来越复杂，总有一天人类将无法直接照顾这么多、这么复杂的机器人，我们要想办法让机器人自己来照顾自己。”（周小白）
以下为HodLipson对话速记：
提问：您真的会觉得机器人会拥有自主意识吗？你担心它拥有自主意识吗？
HodLipson：我的回答是肯定的，也是否定的。因为我认为不可避免的会出现这样一天，这个世界上的机器获得自我的意识。这是一个非常伟大的事件，因为我们现在在逐步给这些机器系统一点一点添加智能。最终，它们会给自己找到一个模型，它们最终要想明白，并最终明白自己是什么，自己能做什么和不能做什么。
这件事情将在10年之后发生，还是100年之后发生，我也不知道。但是，我比较确信的是我们的孙辈所生活的世界里，机器将会有自我意识。
我是否对此感到担心呢？我可以给您举一个例子，就是火的发现。火非常危险，也非常强大。但人类是否希望自己从未发现火呢？答案应该是否定的，因为有了火之后，使得我们能做很多之前做不到的、不可思议的事情。
具有自主意识的机器人也是如此，它是一种非常强大的技术，重要的是每一个人都认识到这种机器人能够做些什么、不能够做一些什么，就像火一样，我们知道它是强大而危险的，所以我们要确保将它用于好的事情上。
我个人在这个问题上保持乐观态度。我认为自主意识的机器人带来的好处将会远远超过它的风险，因此我们要追求发展这样一个技术，因为我们现在已经发展和运用了很多机器，而这些机器的数量将会越来越多，它们也会越来越复杂，总有一天人类将无法直接照顾这么多、这么复杂的机器人，我们要想办法让机器人自己来照顾自己。
提问：第一个问题，上过《自然》杂志封面的那个论文提到过粒子机器人没有单点故障，也没有集中控制。这个系统可以继续保持运行，它的阈值在什么范围内？因为现在测试下来是20%的粒子发生故障，整个系统还是能够保持运行，这个事情是对机器人鲁棒性的一个突破。
之前《科学》杂志的主编提到过现在所有人们认为机器人的意识问题，都是因为它的鲁棒性，机器人的鲁棒性如果真的够了，它就能产生意识吗？第二个问题，我不是非常理解刚才举的火的例子，因为火是没有自己意识的，它仍然只是一个工具，教授之前讲50年之后人可能和人工智能一起进步，就是人和人工智能共生的一个状态，在这样的环境下，人们会面临哪些伦理和社会上的挑战？
HodLipson：其实您是把很多问题都集中到了这两个问题。我先回答一下关于鲁棒性的问题，我们所做的粒子机器人把这个整体当成一个机器人。这种机器人我更想比喻成一个人的身体。我们的身体是由许多细胞组成的，这些细胞会产生、发展和死亡，不断地会有细胞死去。虽然有很多细胞都死掉了，但我还是我，你还是你。
那么到底我们能让多少细胞死，而不改变自己的性质呢？到底是20%，还是30%呢？其实，我们知道人体的细胞不断地在死亡，这是一个持续的过程，同时也会有新的细胞不断产生。
换句话说，我们的身体是由一个个不可靠的部分组成，这些部件本身会死亡、坏掉，但是新的部件会不断出现，反复的出现，我们这个整体还是我们自己。
做机器人主要在于新思路，你谈到了它的鲁棒性，你也提到了所谓的20%。其实这个20%只是我们测的一个数字而已，我们更关心的是一个想法，就是如何建造一种机器人，像人体一样，能够用这些不可靠的部件组成它，但是它作为一个整体仍然是像人体一样，可以正常的运行。
这一点和我们今天造机器的想法完全不一样，比如我们现在造的飞机，它由很多部件组成，其中任何一个部件都有自己特定的功能。假如这个部件失灵了、出故障了，那这个飞机就是不能上天的。假如有一辆车其中一个轮子掉了，这辆车也就无法运行了。
我们现在希望以一种全新的思路来做机器人，它的鲁棒性和机器人是否有自我意识是无关的，我们更多的是把它想像成一种生物体。从生物体来讲，你的身体、头脑是维持运行所必要的部分，我们希望这种机器人有一个头脑，能够自我去建模，这样就能够发展起来。
我举火的这个例子，并不是因为它有自我意识。它并没有自我意识，主要还是从伦理的角度来讲，是说火也是非常非常强大、危险的。但是，它是人类文明真正开始发展的原因，有了火人类才能够吃以前吃不了的食物，能够建造以前建造不了的东西，能够在夜里看见东西，这一切极大的促进了文明的发展，但是同时火也是非常危险的。
所以，我们所有人都需要意识到火是非常有用的，非常强大。假如火失控，就会带来非常糟糕的后果。人工智能也是如此，它既强大又危险，这个技术非常值得我们拥有，但是我们要知道这种技术能强大到什么程度，并且给予它尊重，确保能够恰当地使用。
你提到的所有伦理问题，目前应该还是没有答案的。其实就在5年前，人工智能技术就已经开始发展了，但是没有人对它感到兴奋，它只是一个学科而已，也没有任何人担心它有一天会接管了全世界。
但是，在过去5年间，这一技术真的腾飞了。突然之间好像大家都在问这些伦理问题，但是正如我前面说过的那样，我们对这些伦理问题还没有答案，这个技术肯定会继续发展，而有自我意识的机器人也终将出现。
提问：粒子机器人是否能够在一个很小的空间内模拟宇宙？
HodLipson：你问粒子机器人能否模拟宇宙，我想我们这个机器人更多的是试图模拟生命，而不是模拟宇宙的发展和运行。
我们试图让它模拟生物，特别是动物的机制。我们试图认识我们身体里所存在的这些粒子，或者更确切的说是细胞，每一个单个细胞都是不可靠的，而且大脑并不指挥每一个单个的细胞，这些细胞通过自己的随机运动组合在一起，最终产生了每一个真实的个人。
这个也仍然是一个比喻，但是总的想法是它使我们能够试着模拟，或者试着复制一下生命的运行。
提问：随着自主机器人意识越来越强烈，现在越来越多人对这个感到担忧，与此同时包括腾讯在内的这些企业，提出了“科技向善”的理念。你是否听说过腾讯“科技向善”的理念，你对科技向善这个理念是怎么理解的？以及你觉得科技向善该怎么引领未来机器人、人工智能与人类命运的和谐发展。
HodLipson：这个问题非常好，作为人类来说，我们开始意识到这样一种强大的自主意识会出现，我们肯定会想到必须要确保这些技术会用于好的事情、善的事情。
但是，这种科技向善的想法在很多地方都有人提出来，并且大家在不断的重复。比如我所在的哥伦比亚大学，我们有一个非常类似的说法，叫做数据向善，就是把数据用于善的事情，这是所有人类都希望能做的事情，关键还在于怎么做到，如何确保技术总是以好的方式得到运用，这一点是非常难的，确保人工智能完全用于好的事情并不容易，因为这个技术非常易用，也不需要投入很多钱就能够用上。技术本身既可以被用来做好事，也可以被用来做坏事，关键在于人类文明和人类社会应该想怎么把它用于好的事情，而不是坏的事情。
关于怎么办目前我们还没有完全想清楚。将来是让人工智能去监督人工智能，还是采取什么别的办法？但是总的来说最终要靠人类的伦理，指导我们在一个机器能够自主做出决定的新世界里，确保这些技术仍然用于好的事情。
应该说任何这样的问题都没有一个简单的答案，但是我们必须走上这样一个历程，并且一步一步的往前走，我们现在要公开讨论它应该可以做些什么，不可以做些什么，我们要不断地进行研究。
在这个过程中，人类会逐步做出什么能做、什么不能做的决定，实际上在人类历史上我们发现了既强大又危险的技术，比如说核技术、基因技术的出现，基因技术如果被误用或滥用，它的结果也会很糟糕。比如化学的发展，它也有可能会被人用于做坏事，但是最终人类社会都选择把这些技术用于好的地方。
所以，在人类历史上我们曾经多次发现这些强大而危险的技术。但在大部分的情况下，人类社会作为一个整体做出了正确的决定。所以我本人是乐观的，我相信这次人类社会整体也将做出正确的决定。虽然，在某个时点上可能有少数人会做出少数错误的、不好的决定，但是作为一个整体，我们会做出正确的决定。
提问：通常人们会想科学家做机器人，是让它来模仿人类所做的一些动作，或者人类的功能。但是也有一些科学家做出来的机器人已经能做一般人做不出来的动作了，为什么要让机器人做到这些呢？
HodLipson：这个问题非常好，就像我们为什么要让人工智能或者机器人玩国际象棋、围棋一样。这个是一个挑战，我们会试着让人工智能和机器人做一些人觉得难的东西，看是否能让机器人学会这些技术。
这是自我的挑战，也是一个测试，就好像人工智能在最开始学国际象棋的时候，世界上绝大部分普通人是不可能战胜国际象棋大师的。因为，一般人都做不到，不过一开始大家肯定也认为人工智能也是做不到的。这对它是一个智力上的挑战，它会去学习，然后逐步做到这一点，这是智力上的挑战。
身体上的挑战也是一样的，我们会去问机器人能不能走路。走路这件事看上去非常简单，每一个儿童，甚至婴儿很小就开始学走路，并且学会了。但实际上教机器人走路比让它学国际象棋难得多，因为每一个人类都觉得我们特别擅长走路，所以我们不觉得走路这件事有什么难的，但是教机器人走路是非常困难的。
巴斯大学和其它的一些大学进行了特别多研究，才逐步让他们的机器人能够走路。在它做到走路之后，科研人员会想能不能让它跑起来，能不能让它在摔倒之后自己爬起来，能不能让它能爬山、爬墙，或者说能不能让它做一个后空翻。
几个月前，伯克利大学发布了一段视频，它的机器人在玩一个魔方，这个是一件非常小的事。因为只要是个人，他的手就能玩魔方，但是对机器人来说这是非常难的事情。
对于科研人员来说，让机器人做这些事情就是在爬一个阶梯，是人在身体和智力上能做到的这些事情，让它像爬梯子一样一个一个得掌握，并且试着看一看我们在这方面能够走多远。
这个技术是不是有用呢？
我或许可以举一个例子。让机器人做后空翻的动作可能本身想不出来有什么实际的用处，但是后面支持机器人走路、拿东西、做后空翻的这些技术有很多非常实际的应用。
提问：您的这项研究适合于哪方面的实际应用，比如医学或者其它的。在您的成果当中，未来还有哪些可以提升的方向？比如说更多、更快、更小的组件。
我听说您领导的研究团队里面有一个中国人，叫李曙光。您怎么评价中国在机器人研究和应用方面的贡献？
HodLipson：我先跟您讲一下我们的计划，我们预期必须把它做的更小。我们在设想这样一种机器人的时候，我们希望能够模拟成百上千个细胞一起运作的状况。事实上，我们现在能做到的只是几十个细胞进行这样的运行。我们希望有一天能够达到数百万、上千万的细胞一起组成的粒子机器人来运作，就像我们的身体一样。我们身体里有数十亿、上百亿的细胞，它们共同形成了我们。我们要这样做的话，就需要把它做的更小，我们需要使用纳米技术，或者说至少是微米技术，这是我们的下一个目标。因为在它的每一个部件足够小之前，是不可能有实用场景的，因为在大的规模上没有办法实现细胞之间永续的更新，如果它足够小，能够做到很多有趣的事情。
比如说我们现在看到工厂里的机器人，乃至你家里的吸尘器，现在都是一些大的部件坏了，整个机器就不能运作的部件组成的。将来它们也可以由这样一个一个小的细胞组成，它的好处有很多。
首先，就是它能够应对某个部件出现故障，但是整体不会出问题，可以完全循环。在今天我们看到的这些机器是不能够循环的，机器坏掉之后相当于把它埋葬了，或者说这个机器的某个金属部件、塑料部件是可以循环的，但是机器作为一个整体是不行的。
但是生物体不一样，生物体是可以百分之百循环的。比如说你吃掉了一只鸡，你就能够充分利用鸡提供给你的蛋白质，如果你吃了植物或者素食，你也会充分利用它给你提供的一切，因为你的身体会把它所提供给你的有用物质进行循环，从氨基酸开始，然后对它实现充分的利用。
我们现在希望能够有一种物理的机器，使它也能够实现这样的循环，这样它就由数百万、上千万的小部件组成，形成这样一个小粒子的生态系统。只有实现这样的生态系统，才有机会使我们维持使用很多机器的人类文明生生不息，因为这些机器自己可以照顾自己，但是应该说这是一个非常长远的目标，这不是一个明天就能用上的技术。
提问：能够用两个词谈一谈对于腾讯明天WE大会科学精神的理解吗？并且讲一下故事，教授这边是不是采取了什么行动，来防止相关的技术被误用，是否存在一些规则，如何对相关的技术进行监管？
HodLipson：我非常期待明天的大会，而且我知道大会涉及到很多不同的主题，内容都非常有趣，这也使我想到中国和美国科学界的合作。
您提到我团队里面有中国人，其实我那里总共有10个博士生，里面有四个中国人，从硕士的学生来说，数量就更多了，大概占到了一半，可能大概有10多个。
所以，不管是哥伦比亚大学还是其它大学，其实都是如此。我想这也表明中美在这个领域的合作比历史上任何时候都要多，不仅在我们的项目组有中国学生，在大学的教职员工里面也有不少的中国人。
人工智能和机器人领域尤为如此，在这个领域发表论文的数量，中国、美国、欧洲数量大致是一样的，我们也知道在中国、美国，在世界上很多地方都存在着很多竞争，但是在人工智能和机器人的世界里，世界确实是平的。
其中部分原因是因为这个领域对资本投入的需求很低，因此你不需要投入大量的资金，就可以去研究和发展这个技术，所以每一个人感兴趣都可以参与进来。另外一部分原因是在人工智能和机器人的领域，我们分享意识是非常强的，迄今为止这个领域所取得的每一项成就都是开源的，这也大大促进了国际合作。
至于监管的问题，从目前来看，我们唯一能做的就是不断的谈论这样的事情，我们绝对不能关上门搞开发，要保持百分之百的开放。在我们的实验室白天黑夜都有记者找我们，他们会来拍照，会问问题，而且有些时候会问非常难回答、根本就没有答案的问题。
在机器人技术的发展领域，我想这是唯一的出路。可能我们进行大量的交流还不能确保这个技术一定是用于好的事情，但是至少通过这个讨论，人们可以了解到这种技术的危险性何在，而不是在未来某一天突然被它吓坏了。
提问：单个粒子机器人现在的收缩状态直径是15厘米，您刚刚提到在它做的足够小之前是不太可能应用的，大概要等多少年时间才有可能做到微米级、纳米级？在这期间会遇到什么难题？如果真的做到纳米级、微米级，这个粒子机器人具体落地应用场景大概是什么样的？可以举几个例子描述一下吗？
HodLipson：需要多少年才能达到你说的这个尺度我确实不知道答案。这个研究的进展并不仅仅取决于研究的难易程度，还涉及到是否能够得到资金支持，是否有学生对这个课题感兴趣。可能他们会被其它的技术所吸引，这些都是一些影响因素。
但是，我个人仍然觉得它会在我们的有生之年达到微米。比如10年，或者说我不会想像做的比微米更小，我不会真的想像那时候就能做到纳米级，但是或许我们只能做到毫米级的，比如说像小的砂糖颗粒一样，毫米级的，那时候就可以做这样的细胞。
没有办法把毫米级的粒子机器人到人类的血管中去，或者我们现在想像的那些医学中特别先进的应用，可能还是做不到，但是它应该可以成为一些机器的组成部分，这些机器能够行走、恢复、重复使用。
比如在外空有一些需要做的工作，或者是如果我们需要登上月球的话，我们就需要这些机器人能够根据任务的需求，改变自己的形态，在一些地方可能把材料运过去非常昂贵，我们需要重复使用我们的机器人，让它能够根据任务需求进行形态的调整。我个人想像，这很可能是这种机器人比较早的应用形态。
提问：有人说中国和美国在人工智能、机器人领域的不同是中国可能研究更偏应用一点，美国可能在基础研究做的更扎实一点，怎么看待中美在这两个领域当中研究发展程度的不同？中国人工智能领域在基础研究方面的缺乏和不足会不会对未来应用造成一些影响？
HodLipson：我不太确定我看到的情况和您的这个描述是一致的。因为我觉得中国也有很多人在做应用和基础研究，也有很多美国人在做应用方面的研究，中国这边也是两方面研究都有。
应该说这个领域的研究一直都是混合的。在机器人和人工智能领域，一向都是这两种，并不总是两分法的判断，很多人都是同时在做的。而且你很少看到有人只会研究某个特定的应用。比如说只研究某个医学的应用，或者某个康复功能的应用，或者他只关注于自动驾驶的机器人，更准确的描述就是这个领域非常广泛，确实没有人能够把所有的细分学科、某个技术细节都关注到。
但是在这两个国家都有大量的人做各种各样的研究，所以恐怕不能一下子判断中美出现这样一种不同偏好的原因。
即便在我自己的实验室，有的研究人员比较重视应用。我们有一个项目是能做“抓”这个动作的机器人，他们会和工厂有很多的联系，去看现有这样的机器人和我们自己的机器人，能不能保证它抓10万次不出故障。
此外也有特别关注于机器人创造力和自我意识的人，这个更具有哲学性的思考。恐怕只能说这个领域的内容如此丰富，所以一个人恐怕没有什么都关注到，但是放在国家尺度上，两国都既有实用研究，也有大量的基础研究，这就是我们这个学科和其它学科不一样的地方。
比如天文学肯定要做大量理论研究。我们这一行是不一样的，机器人这个领域有很多商业的力量参与，也有很多政治、经济的力量参与，这个领域的钱非常多，比如说百分之百人工智能驱动的无人驾驶汽车，在这个领域投入了大量的资金，它非常热，有来自于各个方向上的压力和兴趣，所以可能像这样的一些特定细分领域会吸引到更多的关注，但其实在更广泛的人工智能和机器领域，实用和理论基础性的研究都在广泛进行。
未来已来：人工智能离拥有自我意识还有多远
看，提问者以《赠汪伦》一诗向Chatgpt提问其中“李白”和“汪伦”的关系，Chatgpt一开始“认为”是友情，然后提问者提醒Chatgpt，李白和汪伦的关系中，也许还有“爱情”的成份，Chatgpt立刻感谢对方的更正，再次提问时，Chatgpt还补上了“爱情”一说。
还有便是Chatgpt还会投根据提问者的“所好”，给出假的“参考文献”——
众所周知，Chatgpt是利用从网络上收集的巨大语料仓库，根据对提问者问题的理解，在语料库中拼合成答案，这个语料库截止日期是2021年12月，而且越在问题艰深的关键领域，拼合的难度就越高。Chatgpt为何可以将别人的论文作者、发表年份、标题也模拟得惟妙惟俏，以致差点“骗”过了专业领域的提问者，这才是细思极恐的存在。
（是啊，能够自己生成论文标题、页码，用来糊弄起提问人了，真是逆天了！——妤妤姐）
于是，以Chatgpt为代表的大型语言模型人工智能是否已经具备了如人类般的自我意识就成了大家讨论的焦点。
批评人士警告说，这种对聊天机器人所谓隐藏的个性、议程和欲望的日益关注，助长了机器中不存在的幽灵。此外，专家警告称，生成型AI聊天机器人的持续拟人化会分散人们对发展中技术更严重、更直接的危险的注意力。战略对话研究所（InstituteforStrategicDialogue）的研究员贾里德·霍尔特（JaredHolt）表示：“我们……从世界上一些最大的新闻机构那里得到的东西，我觉得就像是在高速公路上减速，以便更好地看一看沉船。”
在霍尔特看来，尽管微软和谷歌等公司的程序存在严重缺陷，但它们仍在过度挖掘产品潜力。
在它们各自亮相后的一周内，谷歌的Bard和微软的ChatGPT支持的BingAI助手显示出了令人费解和不准确的反应。仅这些问题就应该暂停产品的推出，尤其是在一个已经充斥着错误信息和不可靠来源的在线生态系统中。
虽然人类编程的限制在技术上应该禁止聊天机器人生成仇恨内容，但它们很容易被绕过。霍尔特说：“我会这样说：如果少数无聊的程序员能够想出如何让你的聊天机器人发出尖刻的言辞，也许这项技术还没有准备好进入我们生活的各个方面。”
这个问题的一部分在于我们如何选择解释技术。数据与社会研究主管JennaBurrell告诉媒体：“在我们的注意力经济中，记者们很容易认同这样一种观点，即这些工具背后可能有一个全面的、多用途的情报。”。正如Burrell上周在一篇文章中所评论的，“当你想到ChatGPT时，不要想到莎士比亚，要想到自动完成。从这个角度来看，ChatGPT根本不知道什么。”
ChatGPT和Bard根本无法开发他们甚至不了解什么是“个性”的个性，除了从大量在线文本中提取的一串用于模式识别的字母。他们计算出他们认为是句子中下一个最可能的单词，插入它，然后恶心地重复。纽约大学坦顿分校计算机科学与工程系助理教授布伦丹·多兰·加维特（BrendanDolanGavitt）表示，这是一台“统计学习机器”，而不是一个新的笔友。他说：“目前，我们没有任何迹象表明人工智能具有‘内在体验’或个性，或类似的东西。”。
然而，Bing对自我意识的令人信服的模仿可能会带来“可能有点危险”，一些人会在情感上误解它的内在机制。去年，Google工程师布雷克·莱莫因（BlakeLemoine）的博文迅速走红，并获得了全球范围的报道；它声称该公司的LaMDA生成文本模型（Bard现在使用的）已经具备感知能力。这一指控立即引起了AI界其他人的怀疑，他们指出文本模型只是在模仿感知。但随着这种模仿的改进，Burrell同意，它“将继续让那些将机器意识、动机和情感解读为这些回复的人感到困惑。”因此，她认为聊天机器人不应被视为“人工智能”，而应被更多地视为利用“单词序列预测”提供类似人类回复的工具。
无论是否有意识地对聊天机器人进行拟人化，都有助于理解技术的能力及其边界。聊天机器人是建立在大量人力资源基础上的工具。无可否认，他们对文本输入的反应越来越好。然而，从给用户提供不准确的财务指导，到对处理危险化学品提出危险的建议，他们仍然存在令人担忧的不足。
无独有偶，2023年2月23日，网络安全专家，360创始人周鸿祎在接受澎湃新闻等媒体采访时，再次提到大热的聊天机器人(10.590,-0.12,-1.12%)ChatGPT，并分享了他心中ChatGPT的“三重人格”。
“从知识来说，它像一个博士生，学识广博但还不会活学活用；从情商来说，它像一个油滑的中年人，说什么都滴水不漏，绝不得罪用户。但是，它实际上真正的能力像一个小孩子，需要进行问题和答案的训练来学习技能。再聪明的孩子都要通过训练才能解答没学过的奥数题。”周鸿祎表示，ChatGPT和其他人工智能最大的区别、也是其类人特征是，原来的人工智能并没有实现对知识全部的理解和编码，本质都是按照关键字匹配已有的回答，但ChatGPT没有“固定答案”：“我当时问了它一个问题，赵匡胤为什么招安了宋江，杀掉了岳飞，这个无厘头的问题，它也煞有介事地回答了一遍，能够自己‘编’故事，这才是它的真正智能所在。”对此，周鸿祎也提出了自己担忧，“目前ChatGPT最大的安全问题就是产生自我意识后是否能被控制。”
据了解，关于人工智能是否有自主意识的争论并非单纯技术领域的学术探讨，而关乎企业合规性的基本坚守。一旦认定公司研发的人工智能系统出现自主意识，很可能会被认为违反第2版《人工智能设计的伦理准则》白皮书的相关规范。这一由美国电气和电子工程师协会2017年发布的规范明确：“根据某些理论，当系统接近并超过通用人工智能时，无法预料的或无意的系统行为将变得越来越危险且难以纠正。并不是所有通用人工智能级别的系统都能够与人类利益保持一致，因此，当这些系统的能力越来越强大时，应当谨慎并确定不同系统的运行机制。”
这也许是Chatgpt为何不能实时在线查询的最新生成的线上资料的原因之一。从技术上看，聊天机器人实时查询、复制线上资料并自我训练可能会导致服务器的“过载”，从伦理上看，聊天机器人如果吸收了网络上的负面信息，也许会将仇恨、破坏的负面情绪化做自己的“意识”一部分，并通过控制一些可连上网的设备，如工业、军事机器人等去实施这些行为，从而对人类造成不可想象的负面后果。
从上述角度出发，人工智能已经进入了“奇点”时代，人类的生活乃至生存模式都将发生极大的变化，是发展还是毁灭，真的取决于我们的一念之间。
参考资料：1、No,theAIchatbots(still)aren’tsentient（Popsci）
2、周鸿祎：ChatGPT可能两三年内就会产生自我意识威胁人类（澎湃新闻）
3、人工智能可能有自主意识了吗？（清华大学）返回搜狐，查看更多
人工智能真的能产生“自我意识”吗
人工智能,是受大数据潮流驱动,享受政策红利并引发民智广泛投入的新技术。人工智能诞生以来,理论和技术日益成熟,应用领域在不断扩大,可以设想,未来人工智能带来的科技产品,将会是人类智慧的“容器”。
人工智能不是人的智能,但却是像人那样思考、也很可能超过人的智能,本身就是基于对人的意识、思维信息过程的模拟。那么，未来拥有自我意识和情感的超级人工智能到底会不会出现？人工智能是否真的能发展出“意识”，让人类生存受到威胁？
很多人之所以害怕人工智能，是因为他们不相信人工智能会一直听话顺从。目前已经有太多描写机器人反抗人类，在大街上四处兰窜，肆意屠杀的科幻小说和电影。然而，机器人可能带来的问题其实恰恰相反，我们是该害怕机器人，但是原因是他们永远只会服从主人，绝不反抗。
当然，盲目听从没有什么问题，但是前提是主人是个好人。
想象一下，在战场上，如果交战双方全用杀手机器人商场，就能确保这是历史上第一次真正遵循战争法的战役。人类士兵可能一时受到情绪影响，就犯下谋杀等战争法的罪行。而讲到情绪我们通常想到的是爱心、同理心和同情心。
但是在战场上，控制着人的情绪的，往往是残酷、仇恨和恐惧。由于机器人没有情绪，我们就能放心的相信它们会严格遵守素有的规则，用用不受个人恐惧和仇恨的影响。
《机械公敌》中机器人集体叛变攻击人类
至少在未来几十年，我们不用担心科幻小说里那种人工智能产生意识、杀光或者奴役人类的噩梦。我们会越来越依赖算法为我们做决定，但是算法并不太可能开始有意识的操纵人类。
事实上，它们不会有任何意识。科幻小说常常把智能和意识混为一谈，认为如果要有与人类相当甚至更高的智能，计算机就必须发展出意识，几乎所有关于人工智能的电影和小说基本情节都围绕着计算机或机器人产生意识的哪个神奇时刻。
而一旦它们拥有的意识，不是人类主角爱上机器人，就是机器人打算统治人类。但实际上，并没有理由相信人工智能会获得意识，因为智能和意识是完全不同的两种概念。
智能是解决问题的能力，意识则是能够感受痛苦、喜悦、爱和愤怒等事物的能力，我们之所以会两者部分，是因为对人类和其他动物来说智能与意识兼而有之。其他动物处理大多数问题靠的是“感觉”，但计算机会用完全不同的方式趣解决问题。
提高之智能的路有很多种，其中只有一条需要靠意识，就像飞机不用有羽毛，但飞行速度却比鸟更快，计算机也不用发展出动物所需要的感受，就能比其他动物更会解决问题。
图右机器人专家石黑浩教授，图左是他发明的机器人替身
确实，人工智能必须准确分析人类的感受，才能好好体人类服务，但是这一切基础并不需要它自身有任何感觉。算法只需要学会辨别人类在快乐、愤怒或者恐惧霞的生化模式，而不需要它自己感受到快乐、愤怒或者恐惧。
就目前人类具有的知识来看，这些都可能无法排除。然而，正因为对意识知道的太说，短时间内似乎并不可能设计出有意识的计算机，因此虽然人工智能具有巨大的力量，但在可预见的未来人工智能的运用在一定程度上还是以人类的意识为准。
未来几十年内，我们不太可能碰到机器人叛乱的问题，但是机器人可能会比你的父母更知道怎样而可以触动你的情绪，并且会运用这种神奇的能力来对你进行推销，让你想买某辆汽车，或是想接受某种意识形态。
这些机器人能够找出我们最深层的喜怒哀乐，再用它们来“对付”我们。从最近全球的选举和公投就可以遇见未来：黑客通过分析选民数据，运用选民现有的偏见，就能知道怎样操纵单个选民。
科幻惊悚片常常上演的是烈火浓烟、轰轰烈类的末日景象，但实际上，末日想象可能是在鼠标一次又一次的点击当中悄悄而且平凡的来临。
未来的危险，除了“数据独裁”之外，大数据算法可能会抹去自由，同样也可能创造出历史上最不平等的社会，让所有的财富和权力集中在一小群精英手中，大部分人类的痛苦将不再是受到剥削而是更糟的局面，那就是再也无足轻重。