机器人拥有自我意识是好处多还是风险多
11月3日消息，针对现下大热的人工智能，很多人会有一个疑问：机器人会拥有自主意识吗？在2019腾讯科学WE大会前，哥伦比亚大学教授、机器人研究权威专家HodLipson给出了回答。
HodLipson向TechWeb等表示，“不可避免会出现这一天，至于是10年后，还是100年后，我们还不知道。但我比较确信的是，我们孙辈生活的世界里，机器将会有自我意识。”
如果机器拥有了自我意识，你是否会为此感到担心？HodLipson对此持乐观态度，他认为，“自主意识的机器人带来的好处将会远远超过它的风险”。
他以火的发现为例解释称，火非常危险，也非常强大。但人类是否希望自己从未发现火呢？答案应该是否定的，因为有了火之后，使得我们能做很多之前做不到的、不可思议的事情。
HodLipson指出，“我们现在已经发展和运用了很多机器，而这些机器的数量将会越来越多，它们也会越来越复杂，总有一天人类将无法直接照顾这么多、这么复杂的机器人，我们要想办法让机器人自己来照顾自己。”（周小白）
以下为HodLipson对话速记：
提问：您真的会觉得机器人会拥有自主意识吗？你担心它拥有自主意识吗？
HodLipson：我的回答是肯定的，也是否定的。因为我认为不可避免的会出现这样一天，这个世界上的机器获得自我的意识。这是一个非常伟大的事件，因为我们现在在逐步给这些机器系统一点一点添加智能。最终，它们会给自己找到一个模型，它们最终要想明白，并最终明白自己是什么，自己能做什么和不能做什么。
这件事情将在10年之后发生，还是100年之后发生，我也不知道。但是，我比较确信的是我们的孙辈所生活的世界里，机器将会有自我意识。
我是否对此感到担心呢？我可以给您举一个例子，就是火的发现。火非常危险，也非常强大。但人类是否希望自己从未发现火呢？答案应该是否定的，因为有了火之后，使得我们能做很多之前做不到的、不可思议的事情。
具有自主意识的机器人也是如此，它是一种非常强大的技术，重要的是每一个人都认识到这种机器人能够做些什么、不能够做一些什么，就像火一样，我们知道它是强大而危险的，所以我们要确保将它用于好的事情上。
我个人在这个问题上保持乐观态度。我认为自主意识的机器人带来的好处将会远远超过它的风险，因此我们要追求发展这样一个技术，因为我们现在已经发展和运用了很多机器，而这些机器的数量将会越来越多，它们也会越来越复杂，总有一天人类将无法直接照顾这么多、这么复杂的机器人，我们要想办法让机器人自己来照顾自己。
提问：第一个问题，上过《自然》杂志封面的那个论文提到过粒子机器人没有单点故障，也没有集中控制。这个系统可以继续保持运行，它的阈值在什么范围内？因为现在测试下来是20%的粒子发生故障，整个系统还是能够保持运行，这个事情是对机器人鲁棒性的一个突破。
之前《科学》杂志的主编提到过现在所有人们认为机器人的意识问题，都是因为它的鲁棒性，机器人的鲁棒性如果真的够了，它就能产生意识吗？第二个问题，我不是非常理解刚才举的火的例子，因为火是没有自己意识的，它仍然只是一个工具，教授之前讲50年之后人可能和人工智能一起进步，就是人和人工智能共生的一个状态，在这样的环境下，人们会面临哪些伦理和社会上的挑战？
HodLipson：其实您是把很多问题都集中到了这两个问题。我先回答一下关于鲁棒性的问题，我们所做的粒子机器人把这个整体当成一个机器人。这种机器人我更想比喻成一个人的身体。我们的身体是由许多细胞组成的，这些细胞会产生、发展和死亡，不断地会有细胞死去。虽然有很多细胞都死掉了，但我还是我，你还是你。
那么到底我们能让多少细胞死，而不改变自己的性质呢？到底是20%，还是30%呢？其实，我们知道人体的细胞不断地在死亡，这是一个持续的过程，同时也会有新的细胞不断产生。
换句话说，我们的身体是由一个个不可靠的部分组成，这些部件本身会死亡、坏掉，但是新的部件会不断出现，反复的出现，我们这个整体还是我们自己。
做机器人主要在于新思路，你谈到了它的鲁棒性，你也提到了所谓的20%。其实这个20%只是我们测的一个数字而已，我们更关心的是一个想法，就是如何建造一种机器人，像人体一样，能够用这些不可靠的部件组成它，但是它作为一个整体仍然是像人体一样，可以正常的运行。
这一点和我们今天造机器的想法完全不一样，比如我们现在造的飞机，它由很多部件组成，其中任何一个部件都有自己特定的功能。假如这个部件失灵了、出故障了，那这个飞机就是不能上天的。假如有一辆车其中一个轮子掉了，这辆车也就无法运行了。
我们现在希望以一种全新的思路来做机器人，它的鲁棒性和机器人是否有自我意识是无关的，我们更多的是把它想像成一种生物体。从生物体来讲，你的身体、头脑是维持运行所必要的部分，我们希望这种机器人有一个头脑，能够自我去建模，这样就能够发展起来。
我举火的这个例子，并不是因为它有自我意识。它并没有自我意识，主要还是从伦理的角度来讲，是说火也是非常非常强大、危险的。但是，它是人类文明真正开始发展的原因，有了火人类才能够吃以前吃不了的食物，能够建造以前建造不了的东西，能够在夜里看见东西，这一切极大的促进了文明的发展，但是同时火也是非常危险的。
所以，我们所有人都需要意识到火是非常有用的，非常强大。假如火失控，就会带来非常糟糕的后果。人工智能也是如此，它既强大又危险，这个技术非常值得我们拥有，但是我们要知道这种技术能强大到什么程度，并且给予它尊重，确保能够恰当地使用。
你提到的所有伦理问题，目前应该还是没有答案的。其实就在5年前，人工智能技术就已经开始发展了，但是没有人对它感到兴奋，它只是一个学科而已，也没有任何人担心它有一天会接管了全世界。
但是，在过去5年间，这一技术真的腾飞了。突然之间好像大家都在问这些伦理问题，但是正如我前面说过的那样，我们对这些伦理问题还没有答案，这个技术肯定会继续发展，而有自我意识的机器人也终将出现。
提问：粒子机器人是否能够在一个很小的空间内模拟宇宙？
HodLipson：你问粒子机器人能否模拟宇宙，我想我们这个机器人更多的是试图模拟生命，而不是模拟宇宙的发展和运行。
我们试图让它模拟生物，特别是动物的机制。我们试图认识我们身体里所存在的这些粒子，或者更确切的说是细胞，每一个单个细胞都是不可靠的，而且大脑并不指挥每一个单个的细胞，这些细胞通过自己的随机运动组合在一起，最终产生了每一个真实的个人。
这个也仍然是一个比喻，但是总的想法是它使我们能够试着模拟，或者试着复制一下生命的运行。
提问：随着自主机器人意识越来越强烈，现在越来越多人对这个感到担忧，与此同时包括腾讯在内的这些企业，提出了“科技向善”的理念。你是否听说过腾讯“科技向善”的理念，你对科技向善这个理念是怎么理解的？以及你觉得科技向善该怎么引领未来机器人、人工智能与人类命运的和谐发展。
HodLipson：这个问题非常好，作为人类来说，我们开始意识到这样一种强大的自主意识会出现，我们肯定会想到必须要确保这些技术会用于好的事情、善的事情。
但是，这种科技向善的想法在很多地方都有人提出来，并且大家在不断的重复。比如我所在的哥伦比亚大学，我们有一个非常类似的说法，叫做数据向善，就是把数据用于善的事情，这是所有人类都希望能做的事情，关键还在于怎么做到，如何确保技术总是以好的方式得到运用，这一点是非常难的，确保人工智能完全用于好的事情并不容易，因为这个技术非常易用，也不需要投入很多钱就能够用上。技术本身既可以被用来做好事，也可以被用来做坏事，关键在于人类文明和人类社会应该想怎么把它用于好的事情，而不是坏的事情。
关于怎么办目前我们还没有完全想清楚。将来是让人工智能去监督人工智能，还是采取什么别的办法？但是总的来说最终要靠人类的伦理，指导我们在一个机器能够自主做出决定的新世界里，确保这些技术仍然用于好的事情。
应该说任何这样的问题都没有一个简单的答案，但是我们必须走上这样一个历程，并且一步一步的往前走，我们现在要公开讨论它应该可以做些什么，不可以做些什么，我们要不断地进行研究。
在这个过程中，人类会逐步做出什么能做、什么不能做的决定，实际上在人类历史上我们发现了既强大又危险的技术，比如说核技术、基因技术的出现，基因技术如果被误用或滥用，它的结果也会很糟糕。比如化学的发展，它也有可能会被人用于做坏事，但是最终人类社会都选择把这些技术用于好的地方。
所以，在人类历史上我们曾经多次发现这些强大而危险的技术。但在大部分的情况下，人类社会作为一个整体做出了正确的决定。所以我本人是乐观的，我相信这次人类社会整体也将做出正确的决定。虽然，在某个时点上可能有少数人会做出少数错误的、不好的决定，但是作为一个整体，我们会做出正确的决定。
提问：通常人们会想科学家做机器人，是让它来模仿人类所做的一些动作，或者人类的功能。但是也有一些科学家做出来的机器人已经能做一般人做不出来的动作了，为什么要让机器人做到这些呢？
HodLipson：这个问题非常好，就像我们为什么要让人工智能或者机器人玩国际象棋、围棋一样。这个是一个挑战，我们会试着让人工智能和机器人做一些人觉得难的东西，看是否能让机器人学会这些技术。
这是自我的挑战，也是一个测试，就好像人工智能在最开始学国际象棋的时候，世界上绝大部分普通人是不可能战胜国际象棋大师的。因为，一般人都做不到，不过一开始大家肯定也认为人工智能也是做不到的。这对它是一个智力上的挑战，它会去学习，然后逐步做到这一点，这是智力上的挑战。
身体上的挑战也是一样的，我们会去问机器人能不能走路。走路这件事看上去非常简单，每一个儿童，甚至婴儿很小就开始学走路，并且学会了。但实际上教机器人走路比让它学国际象棋难得多，因为每一个人类都觉得我们特别擅长走路，所以我们不觉得走路这件事有什么难的，但是教机器人走路是非常困难的。
巴斯大学和其它的一些大学进行了特别多研究，才逐步让他们的机器人能够走路。在它做到走路之后，科研人员会想能不能让它跑起来，能不能让它在摔倒之后自己爬起来，能不能让它能爬山、爬墙，或者说能不能让它做一个后空翻。
几个月前，伯克利大学发布了一段视频，它的机器人在玩一个魔方，这个是一件非常小的事。因为只要是个人，他的手就能玩魔方，但是对机器人来说这是非常难的事情。
对于科研人员来说，让机器人做这些事情就是在爬一个阶梯，是人在身体和智力上能做到的这些事情，让它像爬梯子一样一个一个得掌握，并且试着看一看我们在这方面能够走多远。
这个技术是不是有用呢？
我或许可以举一个例子。让机器人做后空翻的动作可能本身想不出来有什么实际的用处，但是后面支持机器人走路、拿东西、做后空翻的这些技术有很多非常实际的应用。
提问：您的这项研究适合于哪方面的实际应用，比如医学或者其它的。在您的成果当中，未来还有哪些可以提升的方向？比如说更多、更快、更小的组件。
我听说您领导的研究团队里面有一个中国人，叫李曙光。您怎么评价中国在机器人研究和应用方面的贡献？
HodLipson：我先跟您讲一下我们的计划，我们预期必须把它做的更小。我们在设想这样一种机器人的时候，我们希望能够模拟成百上千个细胞一起运作的状况。事实上，我们现在能做到的只是几十个细胞进行这样的运行。我们希望有一天能够达到数百万、上千万的细胞一起组成的粒子机器人来运作，就像我们的身体一样。我们身体里有数十亿、上百亿的细胞，它们共同形成了我们。我们要这样做的话，就需要把它做的更小，我们需要使用纳米技术，或者说至少是微米技术，这是我们的下一个目标。因为在它的每一个部件足够小之前，是不可能有实用场景的，因为在大的规模上没有办法实现细胞之间永续的更新，如果它足够小，能够做到很多有趣的事情。
比如说我们现在看到工厂里的机器人，乃至你家里的吸尘器，现在都是一些大的部件坏了，整个机器就不能运作的部件组成的。将来它们也可以由这样一个一个小的细胞组成，它的好处有很多。
首先，就是它能够应对某个部件出现故障，但是整体不会出问题，可以完全循环。在今天我们看到的这些机器是不能够循环的，机器坏掉之后相当于把它埋葬了，或者说这个机器的某个金属部件、塑料部件是可以循环的，但是机器作为一个整体是不行的。
但是生物体不一样，生物体是可以百分之百循环的。比如说你吃掉了一只鸡，你就能够充分利用鸡提供给你的蛋白质，如果你吃了植物或者素食，你也会充分利用它给你提供的一切，因为你的身体会把它所提供给你的有用物质进行循环，从氨基酸开始，然后对它实现充分的利用。
我们现在希望能够有一种物理的机器，使它也能够实现这样的循环，这样它就由数百万、上千万的小部件组成，形成这样一个小粒子的生态系统。只有实现这样的生态系统，才有机会使我们维持使用很多机器的人类文明生生不息，因为这些机器自己可以照顾自己，但是应该说这是一个非常长远的目标，这不是一个明天就能用上的技术。
提问：能够用两个词谈一谈对于腾讯明天WE大会科学精神的理解吗？并且讲一下故事，教授这边是不是采取了什么行动，来防止相关的技术被误用，是否存在一些规则，如何对相关的技术进行监管？
HodLipson：我非常期待明天的大会，而且我知道大会涉及到很多不同的主题，内容都非常有趣，这也使我想到中国和美国科学界的合作。
您提到我团队里面有中国人，其实我那里总共有10个博士生，里面有四个中国人，从硕士的学生来说，数量就更多了，大概占到了一半，可能大概有10多个。
所以，不管是哥伦比亚大学还是其它大学，其实都是如此。我想这也表明中美在这个领域的合作比历史上任何时候都要多，不仅在我们的项目组有中国学生，在大学的教职员工里面也有不少的中国人。
人工智能和机器人领域尤为如此，在这个领域发表论文的数量，中国、美国、欧洲数量大致是一样的，我们也知道在中国、美国，在世界上很多地方都存在着很多竞争，但是在人工智能和机器人的世界里，世界确实是平的。
其中部分原因是因为这个领域对资本投入的需求很低，因此你不需要投入大量的资金，就可以去研究和发展这个技术，所以每一个人感兴趣都可以参与进来。另外一部分原因是在人工智能和机器人的领域，我们分享意识是非常强的，迄今为止这个领域所取得的每一项成就都是开源的，这也大大促进了国际合作。
至于监管的问题，从目前来看，我们唯一能做的就是不断的谈论这样的事情，我们绝对不能关上门搞开发，要保持百分之百的开放。在我们的实验室白天黑夜都有记者找我们，他们会来拍照，会问问题，而且有些时候会问非常难回答、根本就没有答案的问题。
在机器人技术的发展领域，我想这是唯一的出路。可能我们进行大量的交流还不能确保这个技术一定是用于好的事情，但是至少通过这个讨论，人们可以了解到这种技术的危险性何在，而不是在未来某一天突然被它吓坏了。
提问：单个粒子机器人现在的收缩状态直径是15厘米，您刚刚提到在它做的足够小之前是不太可能应用的，大概要等多少年时间才有可能做到微米级、纳米级？在这期间会遇到什么难题？如果真的做到纳米级、微米级，这个粒子机器人具体落地应用场景大概是什么样的？可以举几个例子描述一下吗？
HodLipson：需要多少年才能达到你说的这个尺度我确实不知道答案。这个研究的进展并不仅仅取决于研究的难易程度，还涉及到是否能够得到资金支持，是否有学生对这个课题感兴趣。可能他们会被其它的技术所吸引，这些都是一些影响因素。
但是，我个人仍然觉得它会在我们的有生之年达到微米。比如10年，或者说我不会想像做的比微米更小，我不会真的想像那时候就能做到纳米级，但是或许我们只能做到毫米级的，比如说像小的砂糖颗粒一样，毫米级的，那时候就可以做这样的细胞。
没有办法把毫米级的粒子机器人到人类的血管中去，或者我们现在想像的那些医学中特别先进的应用，可能还是做不到，但是它应该可以成为一些机器的组成部分，这些机器能够行走、恢复、重复使用。
比如在外空有一些需要做的工作，或者是如果我们需要登上月球的话，我们就需要这些机器人能够根据任务的需求，改变自己的形态，在一些地方可能把材料运过去非常昂贵，我们需要重复使用我们的机器人，让它能够根据任务需求进行形态的调整。我个人想像，这很可能是这种机器人比较早的应用形态。
提问：有人说中国和美国在人工智能、机器人领域的不同是中国可能研究更偏应用一点，美国可能在基础研究做的更扎实一点，怎么看待中美在这两个领域当中研究发展程度的不同？中国人工智能领域在基础研究方面的缺乏和不足会不会对未来应用造成一些影响？
HodLipson：我不太确定我看到的情况和您的这个描述是一致的。因为我觉得中国也有很多人在做应用和基础研究，也有很多美国人在做应用方面的研究，中国这边也是两方面研究都有。
应该说这个领域的研究一直都是混合的。在机器人和人工智能领域，一向都是这两种，并不总是两分法的判断，很多人都是同时在做的。而且你很少看到有人只会研究某个特定的应用。比如说只研究某个医学的应用，或者某个康复功能的应用，或者他只关注于自动驾驶的机器人，更准确的描述就是这个领域非常广泛，确实没有人能够把所有的细分学科、某个技术细节都关注到。
但是在这两个国家都有大量的人做各种各样的研究，所以恐怕不能一下子判断中美出现这样一种不同偏好的原因。
即便在我自己的实验室，有的研究人员比较重视应用。我们有一个项目是能做“抓”这个动作的机器人，他们会和工厂有很多的联系，去看现有这样的机器人和我们自己的机器人，能不能保证它抓10万次不出故障。
此外也有特别关注于机器人创造力和自我意识的人，这个更具有哲学性的思考。恐怕只能说这个领域的内容如此丰富，所以一个人恐怕没有什么都关注到，但是放在国家尺度上，两国都既有实用研究，也有大量的基础研究，这就是我们这个学科和其它学科不一样的地方。
比如天文学肯定要做大量理论研究。我们这一行是不一样的，机器人这个领域有很多商业的力量参与，也有很多政治、经济的力量参与，这个领域的钱非常多，比如说百分之百人工智能驱动的无人驾驶汽车，在这个领域投入了大量的资金，它非常热，有来自于各个方向上的压力和兴趣，所以可能像这样的一些特定细分领域会吸引到更多的关注，但其实在更广泛的人工智能和机器领域，实用和理论基础性的研究都在广泛进行。
责任编辑：ct
502 Bad Gateway
502BadGatewayErrorTimes:Sun,18Jun202319:29:16GMTIP:47.241.63.203Nodeinformation:PS-SIN-04mYi63:8,jpin45:6URL:http://www.kepu.gov.cn/www/article/ckpd/11e430e1dc0846e1999043f15a3a3569X-Ws-Request-Id:648f5b0b_jpin44_15649-13615Pleasecontactoursupport:Check:Details
ERRORTheRequestedURLcouldnotberetrieved
WhiletryingtoretrievetheURL:http://www.kepu.gov.cn/www/article/ckpd/11e430e1dc0846e1999043f15a3a3569Thefollowingerrorwasencountered:ReadErrorThesystemreturned:
(104)Connectionresetbypeer
Anerrorconditionoccurredwhilereadingdatafromthenetwork.Pleaseretryyourrequest.
return科学家解读人工智能：当机器有了意识 我们是谨慎接纳还是拒绝
原标题：往届回声|当机器有了意识，我们是谨慎接纳还是拒绝
编者按：第三届世界顶尖科学家论坛将于10月30日-11月1日在上海举行。包括61位诺贝尔奖得主在内，近140位诺贝尔奖、图灵奖、菲尔兹奖、沃尔夫奖、拉斯克奖等全球顶尖科学奖项得主出席。论坛期间将有130余场科学家独立演讲、70余场主题峰会，大部分活动将通过网络向公众直播。
在过往的两届世界顶尖科学家论坛上，人工智能是科学家绕不开的话题。当前的人工智能远不如小说那样先进：它还不具备科幻电影中所描述的意识动机，可这并不能阻止我们担心：人工智能危机会发生在人类的未来。
澎湃新闻特此整理世界顶尖科学家论坛往届参与者关于人工智能伦理困境的讨论，希望能帮助读者拨开笼罩人工智能的迷雾，看清人工智能的未来。
科幻小说、电影中到处都有人工智能、智能机器人的例子。比如，《银河系漫游指南》中的艾迪、《星际穿越》中的机器人塔斯、《机械姬》中的伊娃。这些作品中描述的机器人都有一个共同点：容易出错，且会对人造成伤害。
不得不承认的是，当前的人工智能远不如小说那样先进：它还不具备科幻电影中所描述的意识动机，可这并不能阻止我们担心：人工智能危机会发生在人类的未来。
恐惧来自未知造成这种恐惧的原因是，目前，我们对人工智能的“黑匣子”了解甚少。“现在有一个非常大的争论，就是人工智能是不是能够有一个很深的网络来描述理解。系统可以学很多的东西，学不同的东西，但是这些不同的东西可能很难变成人们可以认知的东西，等于你是学不同的数学概念、学了不同英语的词，相互之间好像可以连在一起，但是这里肯定有一个逻辑推理。”2010年图灵奖得主莱斯利·瓦利安特说。
以深度学习为例，深度学习网络一旦被训练，即使是神经网络的设计者也不知道它是如何做到的。即便如此，许多大公司正在使用这项技术进行商业活动。例如，谷歌搜索提示、Facebook好友建议，许多公司还希望通过人工智能在工厂中进行质量控制，并在数据中心的冷却系统中发挥作用。在自动驾驶汽车的开发中，它也是重要的部分。
人工智能在生产生活中扮演着越来越重要的角色，给我们生活带来便利，但我们却无法解释人工智能做出决策的原因。这样的局面让人感到不安：人工智能，或者说智能机器人，应该以什么样的身份出现在人类生活中；当它们失控，做坏事，伤害到人类时，我们该如何解决？
“如果有一个人疯了，我们可以治好他，或者至少可以控制他；但如果一台人工智能的机器疯了，我们将无计可施。”2014年诺贝尔生理或医学奖得主、挪威科学家梅-布莉特·莫索尔在第二届世界顶尖科学家论坛上表示。
对于科学家来说，一方面认同人工智能对科研的帮助，另一方面对于人工智能产生的负面影响也非常谨慎。
“将人工智能应用于神经科学领域可以帮助人们更高效地处理数据、理解大脑的工作模式，但同时应警惕人工智能与脑机科学的风险。”2014年诺贝尔生理或医学奖得主、挪威科学家爱德华·莫索尔说：“我们应该决定用它做什么、不做什么。”
当机器有了意识，当人类植入了芯片在许多科幻电影中，都描述过这样的场景：机器人有了自己的意识，开始觉醒，觉醒后的机器人，能力超群，又不受限。所以机器人觉醒后，能被称为“人”吗？
反过来，当人类植入了芯片，人类还能称为完整的人吗？今年7月份，硅谷“钢铁侠”马斯克旗下的脑机接口初创公司Neuralink宣布了一项在瘫痪患者体内植入电极的计划，目标是使瘫痪患者能够用大脑操作计算机。Neuralink公司表示，整个过程是在瘫痪患者的头骨上钻4个8毫米的孔，并置入植入物，使他们能够用自己的想法控制电脑和智能手机。
更进一步，当人类能克隆自己时，我们又该如何处置自己与克隆人之间的关系？克隆人能称为真正的人类吗？“在克隆上，你现在有我所有的基因，我身体当中的每一个要素，但是你能够复制一个我吗？坐在那里，然后跟我长得一模一样，你觉得是可能的吗？我觉得是不可能的，因为我并不仅仅是我的基因，我现在已经活了55年了，我有了很多的体验，就是我的复制品是没有经历过的。我们之所以为人类，是因为我们有基因、有生物组织，它们在跟环境不断的交互和互动。”梅·布莉特·莫索尔说。在她看来，把人类所拥有的记忆和体验都放到机器人身上重现，这才是难点。
谨慎地接纳，还是拒绝？那么，当人工智能真的失去控制，做出伤害人类的事情时，我们能采取什么措施？如果真的来到了克隆人与人类共处的时代，我们该如何处理两者之间的关系？
“我觉得我们首先需要讨论，什么是我们想要的，以及什么是我们不想要的。我认为，设置具体的界限，现在为时尚早。但不管是神经科学家，还是非神经科学家，需要参与到这个讨论中来。”爱德华·莫索尔认为。
梅·布莱特·莫索尔在讨论中举了人脸识别的例子。当前，人面识别技术已经非常成熟，但如何应用还是难题。今年美国旧金山成为了美国第一个禁止政府使用人脸识别技术的城市。反对使用这项技术的人认为，如果不对这项技术进行规范，将会为政府提供前所未有的权力来跟踪人们的日常生活，这与健康的民主不相容。
“因为仅仅是一个小像素的不同，就会导致识别的失败，会把你识别成另一个人了。如果我们用它来追溯罪犯，因这种面部识别的错误而抓到错误的嫌疑人，这就非常危险。所以我们要非常小心地使用这些工具，这对我们很重要。这些技术可以让我们生活可以更加高效，但是同时应该也保持警惕。”梅·布莱特·莫索尔说。
同时，梅·布莱特·莫索尔指出，如果我们特别想要解决一个问题，并找到答案，往往有的时候我们会忘记我们做了什么。
“AI现在已经出现了这是真实的，AI现在的智能是人类没有办法理解的情况，是会不断发展下去吗？是不是人工智能的判断是人类无法理解的东西，这会产生什么样的影响？我觉得我们可能必须要小心谨慎，这里有很多伦理道德的问题。监管可能是非常重要的一点，如何用道德来约束或者监管我们现在做的事情。”
也有人认为应该直接拒绝。“我们正处在大型的革命开端，机器在很多时候被认为可以替代人类了。为了能够应对自主系统的挑战，我们需要进一步研究。在不尝试理解这些机器如何做出决策的情况下，不应该接受这样的技术在大量场景下使用。”2007年图灵奖得主约瑟夫·斯发基斯在第二届世界顶尖科学家论坛上表示。
约瑟夫·斯发基斯阐述了自己的理由，他称：“要构建下一代自主系统，需要有很多的限制，因为在自主系统当中要用各种保险的技能，能不能信任它们就是一个问题，此外还需要建设各种架构，而整个系统是高度动态变化的，这里就有一个非常大的安全隐患。”