人类是否真的能控制人工智能仍然是一个未知数
许多思想家声称人工智能永远也不能自主完成任务，因为它必须由人类编程。因此，人类将永远控制着人工智能。但事实真的如此吗？我们不妨简单地回想一下当前最常见的人工智能形式，即深度学习神经网络。这种人工智能已经被视为一个“黑盒子”，因为人类很难对其如何产出结果进行解释，即为什么它们能给出特定的解决方案。为此，计算机科学当前的一个重要研究领域就是，如何让深度学习对其客户（人类）而言，变得“可解释”。但一个显然的趋势是，随着人工智能变得越来越复杂，也越来越难被人类理解，导致人类感觉其逐渐失控。最终，这个问题将变得越来越严重，而不是随着发展逐渐淡化。当人工智能变得足够聪明时，它就有可能做到自我编程。毕竟，计算机的自我编程作用已经存在，并将随着时间的推移而变得越来越普遍。换句话说，人类对人工智能的控制力正在迅速减弱，而随着控制力的丧失，人类如何确保人工智能继续按照既定的要求，致力于实现人类设定的目标,而非它自己的目标，也将成为一个问题。牛津大学哲学家尼克·博斯特罗姆和麻省理工学院物理学家马克斯·泰格马克,都提醒人类应该注意这种人类失去对机器的控制的问题。他们都指出，人工智能可能会演变成一种智能或多种智能，无论哪种结果，都可能威胁到人类的控制力，甚至威胁到人类的生存能力。正如作家凯文·凯利（KevinKelly）所指出的那样，人工智能设备的联网可能造就异常强大的超级人工智能。人类享受悠闲生活的设想关于奇点，人们设想的最幸福场景是，人工智能负责完成社会的所有工作，而人类则可以自由地过着悠闲的生活，追求艺术、玩电子游戏、看3D电视，或沉浸在虚拟现实中。人类也会拥有几乎无限的社交时间（无论是面对面交流还是线上互动），或许未来全人类的生活都会变得类似现代的沙特阿拉伯王国公民的生活。在那里，几乎所有的工作，都由外国人完成,而沙特公民（至少是男性）则享有相当高程度的财富和自由。