机器会取代人类吗解局人工智能技术的伦理风险丨数据政治
经济观察网刘志毅/文 目前的人工智能技术发展，主要是以计算机为载体推动自动化技术的发展。基于数据的人工智能的技术可以帮助我们用各种自动化装置取代人们的各种生产活动，从而提升社会整体发展效率。人工智能带来巨大的效能提升的同时，也会带来巨大的风险。我们需要去仔细评估AI带给我们什么样的未来？以及人工智能的风险是如何产生的？如何对相关的风险进行研究和防范？
机器会取代人类吗？
我们先来回顾在人工智能发展过程中的一系列引人注意的重大事件以及当时引发公众讨论的话题：1997年5月，IBM公司研制的计算机“深蓝”首次展示了国际象棋大师卡斯帕罗夫，2016年3月，人工智能AlphsGo击败了韩国顶级围棋大师李世石；2016年，全球雇员数量最多的企业富士康在江苏昆山工厂用4万机器人替代了6万人类员工；2017年10月25日，世界首位机器人公民“索菲亚（Sophia）”成为拥有沙特国籍的女性机器人，成为被授予合法公民身份的公民…这一系列事件加深了人们对人工智能的担忧和思考，随着人工智能的技术不断发展下，以至于人们开始将其视为同类，电影《她》中所描绘的人工智能伴侣逐步成为了现实，让我们开始考虑AI发展的风险问题。我们从以下三个方面来讨论：人工智能的风险范畴，人工智能风险的形成机制，以及人工智能发展的边界问题。
首先我们讨论人工智能的风险范畴，这需要从乌尔里希.贝克在20世纪90年代提出“风险社会”概念谈起，他认为科技在促进社会发展的同时，也对整体的生态包括人类的生存造成了一定的威胁。“在风险社会，风险已经代替物质匮乏，成为社会和政治议题关注的中心”。换言之，社会的风险性成为了底层的运行逻辑之一，而技术风险则是其中影响最为深远和广泛的类型。与传统社会不同，现代社会的风险是一种人类制造出来的风险，这类风险起源于人类对科学、技术不加限制的积极推进，而这样做的后果就是目的和结果自己的不确定性。换言之，技术类风险既是技术自身的内在属性，也是人的行为选择的结果，这是我们理解技术风险的基础。
值得注意的是，人工智能所带来的风险虽然属于技术风险的范畴，不过也与传统的技术风险有着很大的不同。一般情况下技术风险都来自于外部因素，例如环境风险、生态风险、经济风险和社会风险等等，即由于技术与社会因素的相互作用所带来的风险。但是人工智能技术会带来很大程度的内在风险，即对于人的存在性地位的挑战以及人的边界和尺度的复杂性挑战。我们看到诸多电影文学作品或者科幻小说中的创作都展示了人类关于AI的最大担忧就来源于人机边界的模糊，以及人机精湛的加剧。换言之就是基于人的价值尺度的判断风险显著增加，而我们目前所有关于AI的研究都在强调人的价值尺度，即人的根本利益作为评判风险的目的和原则，而不能以牺牲人的方式谋求其发展。
我们看到泰格马克在《人类3.0》一书中提到了AI发展的三个阶段：第一个阶段AI对于人类进行模仿并完成人类交付的工作，这个阶段机器具备初步的智能，人对于AI有着完全的控制力；第二个阶段是合作阶段，就是人类协助人类完成大量的工作，AI是基于利于人类活动的基本目标被设计出来的；第三个阶段则是竞争甚至取代的阶段，AI在大规模应用下超越了人类的控制，出现了依赖、竞争或者被控制等情况。换言之，人工智能的风险包含两个部分的内容：一个是客观现实的物理层面，即人类的能力逐渐被替代，从而增大了外部的技术性风险，例如失业率的大幅度上升；一个是主观认知层面，即人类本身心理层面的风险，例如随着机器人逐渐具备人类的形态和认知，人类会逐渐认同机器人的同类关系，必然带来伦理的问题。
风险背后的逻辑
然后我们来看人工智能风险形成的基本机制的逻辑，正如马修.谢勒所说，“行为的自动化，是人工智能与人类其它早期科技最大的不同，人工智能系统已经可以在不需要人类控制或者监督的情况下运行”。可以看到，人工智能技术带给人类社会的收益和风险就是双刃剑的两面：一方面AI通过代替人类的劳动，使得生产力得到了解放，让人类活动拥有了更多的时间和空间；另一方面，AI通过实际上取代了人们的劳动，使得人类有失去控制性的风险，人类的主体地位在某种程度上被让渡。更深入的看，实际上人类是通过技术实现了身体能力的放大和提升的，现代技术的潜在动力就是人类对技术放大性的追求。人工智能技术就是一种整合了多种技术以后对人类技术放大意愿和动力的落实，与此同时人类也有可能逐渐在技术放大过程中失去了自我，技术朝向背离人类意愿的方向发展从而使得技术风险成为现实。
如果说康德“人为自然界立法”的论断成为了人脱离自然界控制，树立人的主体性地位的标志，那么AI的发展就正在对这样的主体性地位带来威胁，AI正在通过类人性特质的成长，逐步增加自己替代人类活动的能力。换言之，技术自身具备一种不确定性，人工智能技术本来是利于人类发展的，但是在发展过程中有可能产生增加人类生存风险的障碍，这是我们不得不警惕的地方。
除了技术自身的特质之外，我们很容易忽略的一点就是伴随着技术革命成长的另外一个重要的要素——资本的力量，工业革命以来的现代技术发展无法脱离资本的力量。众所周知资本是逐利的，而技术的目的是实现人的物质的追求，因此技术就能够最大化的实现资本的目标，技术与资本体现出来一定程度的同构性。换言之，资本的逻辑和技术的逻辑产生了共谋，资本在实现价值增长的过程中，能够扩散技术的优势。资本作为有效的资源配置方式，能够最大化的将资源放在最好的技术路径中进行配置；技术作为集置（海德格尔语），能够将外部事物纳入自身的规范体系中，用自己的力量促逼和摆置存在者，将事物以人类自身的方式解蔽。简单的说，技术能够产生一种力量是人类不能控制的，就好像乘坐上某种座驾一样，人在技术这个座驾的要求下不受限制的开发自然、掠夺资源，同时把人自身当作技术所需要的的资源投入进去，被技术所支配而无法脱离。这是海德格尔所讨论的现代技术的本质，也是理解人工智能带来风险的重要视角。于此同时，由于资本（金钱）具备一种不被局限在任何具体事务的超现实性，因此可以按照人们的需求去改变自然。更重要的是，由于AI技术的发展会扩大数字鸿沟的出现，因此关注这个过程中的数字化带来的社会公平问题也是非常重要的方面。
技术的边界
在理解了人工智能带来的风险之后，我们接下来讨论人工智能技术发展的边界，只有明确了边界才能理解风险。事实上我们可以看到人工智能的风险相对于通常的技术风险来说，主要是在于智能的理解边界有了分歧，由于人类是目前唯一具备智能的实体，因此出现了人工智能之后就产生了所谓智能边界的问题。我们可以从三个方面理解这个概念：
第一，人工智能的“智能”是通过计算机技术将信息转换为知识发展出来的，因此存在可计算下的边界。目前来说，计算机更多的是着重于逻辑相关的运算，而情感是无法被计算的。当然我们也看到了马斯克等企业家通过脑机接口等技术来实现人的思维的解读，赋予了AI新的智能模式。不过考虑到我们对人的大脑的认知（尤其是与意识情感相关的部分）是非常肤浅的，我们暂时还看不到AI产生自我意识和概念的可能性。当然如果技术的推进使得人工智能产生了意识，那么毫无疑问就会产生系统性的风险，人类将不得不与其共存，相关的生存空间的矛盾也就难以避免了；
第二，人工智能技术的边界是在挑战技术的社会属性的边界，通常来说某种技术是具备自然属性和社会属性的。所谓自然属性就是技术能够产生和存在的内在原因，即技术符合一定的物理规律；技术的社会属性指的是技术要符合社会的规律。我们看到人工智能技术的发展正在改变社会的伦理和制度，这也是人类区别于人工智能的最重要的原因之一。我们可以看到人工智能目前还是以功能性的个体或者群体存在的，并不具备所谓的社会性质，因此它无法作为物种或者群体被看待。正如马克思所说，“以一定的方式进行生产活动的一定的个人，发生一定的社会关系和政治关系”。这种社会关系反过来制约着劳动的方式，直接决定着人的本质。换言之，人的本质“在其现实性上”，是一切社会关系的总和。正如我们刚才所说，人工智能是基于计算的，而社会关系是无法通过计算获得的。反之，如果人工智能得以从人类群体中学习到社会关系的知识，并形成所谓的集群智慧成为“超级智能”，那么人类的危机和风险就会被放大，人类社会的危机就很难避免。
第三，我们需要看到人工智能技术可能推动的“后人类”时代出现的风险，即通过与人类只能嫁接后产生的有别于人类的物种，成为“赛博格”式的物种。后现代主义技术哲学家唐娜.哈拉维提出“情境知识”的主张，将自然与文化定位在动态和异质的范畴中。所谓赛博格（Cyborg）就是通过控制技术来控制有机体，实现人与技术的深度融合，即产生人与技术的共生体。通过这样的技术范式，有可能打破机械和有机体、物理和非物理之间的边界。“一个控制有机体，一个机器与生物的杂交提，一个射虎现实的创造物，同时也是一个虚拟的创造物”，这就是赛博格的内涵。在这个你那里，赛博格打破了主体和外部环境的边界，也打破了自然和社会的边界，具备一种“后人类时代”的理念。在这个理念下，人不断的客体化，而客体则不断的人化，人与物之间的边界不断模糊，从而形成了一种有机体与客体之间的深度结合，是的自然的身体具备了机器的属性。我们看到电影科幻作品中的大多数“电子人”或者“人工人”都属于赛博格的概念下产生的，这使得人类可能会超越自然所赋予的人的限度。在电影《阿丽塔》中，主角所拥有的人类部分只有大脑，而其他部分则是由性能和技能更为强大的机器所构成的。如果这样的现实发生就带来了两方面的结果：一方面来说，人类作为碳基生物的脆弱性被扭转，将具备更强的生存能力，在与机器的竞争中获得了新的优势；另一方面，人类的身体丧失了自然属性下的高贵性，变成了可取代的一种无机体的部分。这也是我们需要考虑人工智能技术边界的原因，作为一个人文主义者并不会只追求绝对的理性，我认为人类应该追求价值而非仅仅是只是，应该追求理想的品质而不只是现实的成就，要追求整体的幸福而不只是个人的胜利。这也是人性的内涵所在。
解局之路
最后，我们为人工智能风险的提供一种解决思路，这也是我个人在研究AI时的基本出发点，即人工智能一定要体现人类的需求和利益，这其中不仅仅包括生存的必需，也包括发展的需求、精神的需求以及社会的需求，这是我们发展人工智能的动力，即人的价值尺度与目的性。正如钱穆大师所说，“生命演进而有人类，人类生命与其他生物的生命大不相同，其不同之最大特质，人类在求生目的之外，更还有其他目的存在。”这些目的超越了求生的目的，即超越了生死的价值和理性的光辉。我们在人工智能发展过程中看到的是人类功利性目的的最大化，即通过拘束的发展替代生产劳动，这将带来整体人类社会的生存基础的夯实，但是这其中很少包含了对理性和审美等超功利性目标的实践，更没有涉及关于人类自由和价值观的内容。如果单纯考虑功利性，毫无疑问就会带来人的个体和群体组织的异化，这也就会带来对让人自身的否定，挑战人类的尊严和存在。我们需要意识到，技术的边界就是伦理问题，技术的可能性和伦理的约束性是有内在矛盾的，人们在技术的发展过程中很容易只看到机器的力量和作用，忽视了人类的价值。
在自动化的机器系统中，人处于被动的位置，技术体现了人类的本质的延伸却又在压抑人的本质，如果人的生命成为技术改造的对象，那么人类自身的技术化就不可避免。换言之，人类就可以被制造出来，技术将“不可能”变为“可能”的同时，也将“能够”变成“应该”。我们要看到人的生命价值与技术之间的内在矛盾性，即人的生命是自然的，而技术是人为的；生命是不可重复的，而技术是可以复制的。
正如康德所说，“人是目的，人的目的性与工具性要充满统一”，人的价值是人存在的准则，而人类需要基于自身追求完美的道德天性去发，情感与理性要完美统一，而这个统一带来的就是人的价值的最高取向，这是我们理解未来AI发展的核心。人工智能技术的发展一定要在内部视角以人为价值尺度，在外部视角以人的社会群体为价值尺度。以人为价值尺度，保障了人的主体地位和独立意识；以人的社会群体为价值，保障了整个人类社会的可持续发展性。换言之，人工智能要在人本主义框架下去发展，才不会轻易僭越伦理的门槛，从而造成不可挽回的风险和损失，这是我们理解人工智能未来发展的基本原则，也是我们理解人工智能风险问题的实质。
（作者系数字经济学家、商汤智能产业研究院主任）
机器人的使用给我们人类带来的影响、改变以及挑战
因为Robot这个词，本意是“劳工”（劳动工具）的意思。大家做这个“罗伯特”就是给我们干活的，现在翻译成了“机器人”，就好像它有了自我意识。机器人到底有没有自我意识？霍金认为人工智能是可以发展出自我意识的，还说不知道人工智能、机器人发展出自我意识之后是什么结果？我对这样一个想法是有一点疑惑的，大家可以讨论。
首先什么是自我意识？我们是搞哲学的，研究自我意识，就没有搞清楚有没有自我意识？现在一些人认为没有一个“自我意识”，这种观点大家听到的比较少。一般说我们有意识，或者说我们身体里有一个自我、有一个灵魂，就好像说有一个假的下棋机器人，其实是里边有个人在下棋。我身体内部还有一个“小人”，那个就是灵魂，它在驱动我的肉体在行动。这就有问题了，如果我身体内部有一个自我，有一个驱动我的“小人”，那个“小人”里边还有另一个“小人”去驱动它吗？“小人”有没有自我呢？这种观点并不是我原创的观点，在心理学上有一派叫做行为主义学派，不光是行为主义，还有其他的理论家，其实是否定存在所谓的自我意识的。行为主义认为人就是一个刺激-反应的“机器”：受到一个刺激之后，就有一个应对刺激反馈的行动，而自我意识是一种语言现象，语言现象是你在默念——行为主义是这么解释的。我怎么能意识到我的自我，我能够批判自我，行为主义认为这是一种语言现象。总之一句话，有相当一部分人认为，没有传统意义上所讲的“自我”和“灵魂”这些概念，这些概念都是杜撰出来的。
为什么杜撰这个呢？是因为目前科学不够发达，回答不出来什么是灵魂、什么是意识，所以我就告诉你有一个科学、有一个意识，科学研究到这儿就不研究的，因为这不属于科学研究的范围了。我讲的第一个观点是：如果连所谓的自我和灵魂都不能够去界定，很多人去反对的话，你谈什么机器人有自我意识？这是一个当先的问题，自我意识是什么东西就说不清楚。
我讲的第二个观点：人和机器它不是绝对对立的。刚才王老师讲得非常的棒，说2000年以前我们要把人当机器用，2000年以后我们要把机器当人用。我们说人不能当机器来对待，有很强的道德批判意思在里面：人和机器是对立的嘛。我们讲“不能把机器当人，不能把人当机器”，就是把人和机器对立起来。《阿丽塔：战斗天使》里面全是赛博格，《攻壳机动队》里边那个女主角，整个身体只有脑是人脑，其他全是机器设备。赛博格来了以后，你说什么是人？什么是机器？你分得清吗？你装个心脏起搏器肯定你还是人，但是除了脑子以外其他全都是机器，你还是不是人呢？你有脑机接口以后，你上了网还是不是人？甚至有人想，人死了以后可以把意识上传复制，复制之后你的身体还可以转移到别的身体中，刚才段老师说的“后肢体时代”，我身体可以“乾坤大挪移”，这个时候你还能够分清什么是机器、什么是人吗？人和机器是人在观念上的一个二元对立。
图：《攻壳机动队》剧照来源：豆瓣
我们讲机器是人的时候，好像我们知道人是什么。其实你知道人是什么吗？根本就说不清楚。你说人有一个不变的人性吗？人应该要怎么活动吗？我提了一个所谓“卢茜隐喻”。主流的观点认为，人类起源于非洲的一个始祖，有科学家把它命名为卢茜，她是第一个人。卢茜从树上下来以后说我不要做猴子了，我一定要做人。你想一想，卢茜怎么知道什么是“做人”呢？根本就不知道。做人是上厕所的时候不能让别人看到吗？卢茜不知道。我讲这个隐喻的意思是：人类的处境一直是如此的。从树上下来后，我们并不知道什么是人，人性是不断变化的。我们不能说原始人跟现在是同一种人，山顶洞人能够把同类吃掉，把他脑袋砸开。山顶洞里面很多头盖骨，没有看到它的躯体，被吃了。作为现代人类，你能够去理解吃人行为吗？我认为，根本就没有所谓的确定不移的人的概念。一个非常善良的人，没有办法想象连环杀人犯，用残忍的手段去虐杀同类。我不认为，我与连环杀人犯有一样的人性。我讲的意思是说，我不认为有一个统一的所谓的人性。既然没有一个统一的人性、没有一个统一的人，人和机器的二元对立就不是绝对的。
我讲的第三个观点是：现在有的机器人是相互界定的。什么叫相互界定？这样一种研究方法，通过人工智能的研究，反过来知道人是什么样子的，这也是对人的研究的一种思路。反过来，我们研究人是什么样子，再让机器人模仿人，比如说类脑的研究就是这个思路。所以，人和机器人是相互界定的。机器人更快发展，对我们人类理解自身是有很大帮助的，反过来我们人对自身的理解加深以后，我们也可以更好地发展机器人。
刚才金桥老师说得非常好，我们希望能够让机器人越来越像人，能够为人们来服务。你想过没有，这是一个矛盾的话？为什么矛盾？你希望机器人为人服务，在关键时刻甚至牺牲自己都要为人服务。谁会这样做呢？雷锋。你希望机器人像人，人可不都是雷锋，绝大多数人不是雷锋。人有骗子，很多机器人骗子可以骗到人，这是不是非常像人类？如果机器人越来越像人，真正变成人，它就会有自私自利的想法，它就会有自己的欲求、有自己的目标。
总结一下，机器和人的关系实际上是模糊的、发展的、相互界定的、动态的。研究和发展机器人，不是非要把机器变成像人一样。“机器人”这个词，更有意义的是人形的机器。除了人有智能以外，有些人如段老师认为，还有一种机器智能、无机智能，不一定像人一样的智能。
主持人：谢谢，刘老师对机器人与人的关系做了深入的阐发与探讨，很有启发。这个话题很开放，请段老师继续给我们做一些分享。
段伟文：谈到对机器和人的关系的更深入的认识，由于机器人它不管怎么样已经作为一种社会存在，机器人的发展无疑为机器和人的关系打开了一个开放的空间。我们看到，机器人这个概念是一个比较泛化的概念，但凡是运用了智能技术的机器，似乎都可以讲它是机器人。既然是这样的话，自动驾驶、无人机都可以算是机器人。人们一旦将它们当作机器人，在与机器人交互的过程中，这些智能机器或智能机器人的行为方式和思维模式反过来必然会影响到人。
因此，我要讲的第一点是，机器人对人的行为与思维模式是不是会产生重要的影响？例如，据说自动驾驶汽车左转弯是很困难的，如果是这样的话，在道路上既有人类驾驶的汽车、又有自动驾驶的车的时候，就会对人的驾驶行为有一定的影响。这里头有很多的复杂的技术、成本与制度安排，比如说自动驾驶的成本是不是要考虑？如果完全不考虑成本的话，自动驾驶可能是非常可靠的，如果考虑成本的时候，产生的风险是通过保险还是通过什么来消化？其中还可能包括对电车难题之类伦理抉择的备选方案。这些不同的考量和安排会影响到自动驾驶汽车的行为模式，并进而影响到必须与之协同的人的行为模式。在思维模式方面，智能机器对人也是有影响的。现在，包括社交机器人、广告机器人在内的社会机器人的认知都有一套通过数据驱动的认知模式，如各种内容推荐和智能决策算法等等。现在，对这种数据驱动的机器思维模式的认识有两派。有一派说这个东西很可怕，其中存在很多过度拟合、虚构甚至造假的情况。另外一派说这没什么大问题，他们多为数字乌托邦主义者，他们认为这些智能技术在发展过程中会自我修正，对整个社会最有利的政策是，你就让它自由发展就好了。特别是企业都是这么看的。但需要提醒的是，这些算法也好、自动驾驶也好，实际上并没有那么厉害，其中有很多属于浮夸的地方。浮夸就像我们说假话，说假话会害到自己的，把技术说得厉害了之后人家就不敢用了。可能相对实事求是一些，对企业的创新会更有利。总之，机器的行为和机器行为学，或者是机器的思维方式，应成为机器与人的关系研究的关键课题，机器的行为和思维跟人怎么样互动是值得深入思考的。像《玩具总动员》和《机器人管家》中机器人想成为人之类的问题应该是后话，目前机器人和机器对人的行为和思维的影响应该是更为迫切问题。
图：《玩具总动员》剧照来源：豆瓣
第二点是机器人对亲密关系的影响。毋庸置疑，机器人对人的亲密关系是有影响的。简单地讲，机器正在成为人与人之间的亲密关系的第三者。比如说儿童的智能玩伴，似乎在家长和小孩之间已经成为第三者了。再说现在有人倡导的性爱机器人。性爱机器人的主要倡导者大卫.列维（DavidLevy）组织召开过几届“与机器人的爱和性”国际会议。在第二届和第三届大会上，大卫.列维所做的大会主题报告（KeynoteSpeeches）分别题为“为什么不跟机器人结婚？”和“机器人和人能够一起生孩子吗？”这些想法太激进，但在他们看来，既然同性都可以生孩子，跟机器也是可以生孩子的。但这些想法也有人反对，其中的代表是英国女学者凯瑟琳.理查德森（KathleenRichardson），她甚至发起了一个专门反对性爱机器人的运动。在她看来，性爱机器人无异于色情服务者，甚至将其背后的观念的历史根源追溯到犹太教中的厌女症。最近，有一些花边新闻，大家都应该知道厌女症这个词。真正的问题是，不论你是赞成还是反对，随着性爱机器人的产品化，人们必须直面的现实是性爱机器人对人类亲密关系的影响和冲击。有一种说法是，性爱娃娃它是可以解决性犯罪的问题。比方说，西方有些地方以往对恋童癖采取化学去势的“疗法”，现在有人说，给他送一个娃娃好了。但反对者说那不行，你这样反而会刺激他，让他更趋向于犯罪。总之，机器人对人的亲密关系的影响和冲击将是一个问题，也许只是某种亚文化选择，但是它确实会存在。
第四点是机器人的人格问题。通过前面的讨论我们看到，尽管目前的人工智能或机器人并没有意识和自我意识，但机器人的人格问题是存在的。其实，现在动画片和动漫里面都是存在这个问题的。现在很多小孩子迷恋动漫和游戏，不仅举止像，甚至长得非常像动画片里的人物，这里面很可能是有一些微妙之处的。说到机器人的人格，一方面可以说机器人是没有自我的，但另一方面，人在与机器人交往的过程中又能够感受到某种人格化的存在。那么，机器究竟有一种什么样的自我呢？这种自我显然不仅仅是由机器人这个实体所具有的，而是在与人或其他智能机器人的关系与互动中呈现出来的。也就是刚才刘永谋教授讲的是一种行为的自我，外观的自我。对此，当代著名宗教哲学家马丁·布伯有关“我—你”（I-You）关系和“我—它”（I—It）关系的观点具有重要的启迪意义。在他看来，在“我—你”关系中,“我”和“你”作为两种平等的本真存在相遇彼此；在“我—它”关系中,“我”是中心和出发点，“它”只是为我提供经验或为我所用之物。将这两种关系社交延伸到人与机器人的关系，一般认为，人与人之间的关系应该是“我—你”关系，比如说我和我的爱人、我和我的孩子、我和我的老师、我和我的朋友们都是I-You关系，也就是说我们之间的关系是平等的和相互尊重的。而如果我们把人与机器人的关系看作I—It关系的话，当我觉得你这个机器人不听话，我就可以把你扔掉；如果一个小孩子不喜欢机器人娃娃了，就可以将它撕掉或扔掉。那么，这些做法是否应当呢？这当然是一个很深刻的伦理问题。目前看来，讨论人与机器人之间能不能形成一种I-You关系还太早。
主持人：谢谢段老师！关于机器人和人的关系以及机器人伦理问题，段老师讲得非常深刻，也很前沿。更重要的是，这些问题可能是我们未来需要面对的，所以值得我们更深入地研究与思考，希望今后我们有机会，可以继续探讨。这个话题，我们请王老师为我们分享。
王金桥：我简单补充三点：
第一，所谓的机器人意识的问题，其实在当前人工智能的条件下，机器人的大脑，其实是我们训练的一些模型和设计的一些规则，无论是AlphaGo，还是我们的绝艺都是这样。现在最大的问题还涉及到大量的数据，我们叫数据驱动的人工智能，它的能力差异还是取决于数据的分散性和数据的全面性，所以说在很多条件下，机器没有很强的自主学习能力。我们可以看到很多扫地机器人已经落地了，却很笨拙，经常在那儿磨来磨去的，不往前走，它会经常陷入某一个局部，因为它的数据是有限的，模型的泛化能力和健壮性影响了它的意识。我们现场经常提的一个词叫自主进化，怎么样让这个模型能够举一反三，例如看到一个地上爬着一只蜗牛，就知道所有像这个形象的都是蜗牛，它以前从来没有见过，给它一个ID，或者说给它一个类别的标签，这是一个从来没见过的类别，让机器举一反三。这对我们人类来说非常容易，因为我们人类的大脑经过几亿年的进化。刚生下来的时候，很多东西你告诉他，他下次见到相同或相似的东西就告诉你这叫什么。这个模型的学习能力、机器人的意识还是处在非常初级的阶段。刚才刘老师和段老师都讲到人机协同，很多时候我们要把我们人类的知识用来强化机器的意识，这是第一点。
主持人：王老师从技术发展的角度对机器人的意识、个性化发展以及机器人与人的关系给我们做了分析，让我们可以释怀，所谓机器人仍然处在一种初步的对人的模仿阶段，而且它是在一种封闭的环境和数据闭合里面才可以完成设定的功能。
我们请碧丹给我们做一些分享。
黄碧丹：我也想跟各位老师分享一下我的一些想法，因为这次机会实在是太难得了，我自己是一个一线的技术人员，在这些伦理方面了解和思考得都比较少，我有一个粗浅的观点想跟大家分享，也想请教各位老师的看法。
其实从机器人诞生开始，它自带了一个属性。前面提到，机器人这个词最早是来源于1921年捷克的一个作家写了一部剧本，里边讲人发明了机器人这样一个物种，叫做Robot，本来是想让它来充当人类的奴隶，帮人类去干一些体力活，最后这些Robot接管了地球，毁灭了人类。机器人诞生开始，它就自带了最终会毁灭人类的属性，一个永恒的大家会讨论的问题，那机器人发展到最后它会不会反过来奴役人类呢？
我自己私下里也思考过这个问题。我个人的看法是觉得不会的。我是这样想的，人之所以想要占领别人的领地，去奴役别人，获得更大的领导力，我认为是我们生存的本能来驱使的。因为我们本来是生物，我们需要活下去，所以我们需要去占取更多的资源，来延绵我们的子嗣。历来有很多人想要攻城掠地、占据别人的领地奴役别人，其实是为了让自己活得更好，让自己基因能够更好地传递下去。
可是反观机器人呢，它们从一开始就没有这个需求。它就是一个人造出来的一个程序，再加上一个实体化的机器。它既然没有这种延续下去的需求，即使它最后进化出了所谓的人性和人格类似的智能，它也没有这个必要去奴役人类。因为奴役人类其实是一个很累的活，它需要花大量的时间和精力去操控人，去跟人斗争，把权力从人类手中夺过来，还冒着被断电的危险。它做机器人做得好好的，为什么要去做这样一个事情呢？这个事情对它来说做起来是很不划算的。它既然可以安静地做一枚低功耗的机器人，那它为什么要消耗自己巨大的能量去做这个事情？目前开发的机器人我们肯定不会给他注入奴役人类的思想的，这些机器人、这些技术都是一些无欲无求的技术，即使开发到后边有了自己的性格，我认为它们也不会有这种想要奴役人类、占领地球的需求，所以我认为机器人不会尝试去控制人类。即使有这个事情的发生，也并不是机器人自己发展出了奴役人类的需求。即使发生了机器人颠覆人类的事情，也很可能有一群地球人想去奴役另外一群地球人，然后他们造了机器人来帮他完成这个事情。机器人颠覆人类的事情，很有可能是以这样的一种形式出现，而不是机器人自发地组织起来去做这个事，这个是我的一个观点。我不知道各位老师对这个问题和我的观点是怎么看的？
主持人：有哪位老师来回应吗？
刘永谋：对刚才黄博士的问题，我是比较赞同的，我们的理由可能不太一样。因为你现在认为机器人如果发展到超越人类的时候，你不知道它有什么理由去奴役人，你是按照我们人的理性去思考的。机器人如果真的能够像霍金说的超越人类的智能，到一个新的阶段的时候，我们并不知道它的逻辑会是什么？它的目标会是什么？我们对此完全是一种无知的状态，所以我把它称之为“新无知之幕”。但是，我之所以比较赞同机器人不会奴役人，是因为我认为人和机器是协同进化的，人和机器今后是没有办法绝对区分的，慢慢地人和机器会融合，可能是半机器、半人。机器假如有一天有了意识，那时候人和机器已经不是一个极端的二分状态了，人和机器之间存在有很多不同的连续形态。假设你是机器人，你想去奴役人，你首先要搞清楚哪些才是你奴役的对象，比如说只装了心脏起搏器的人肯定是人，你要奴役他，只有大脑、其他身体部分都是机器的赛博格，你要不要奴役呢？我讲的意思是人与机器最终可能融合，从这个角度上来讲，很难说会出现绝对的二元论奴役的状态。
主持人：机器人会不会奴役人，是机器人与人关系中大家会经常谈到的一个话题，比如说有人会谈到奇点，就是机器人通过模仿到一定程度会有一种“自主创造的能力”，但这是不是一个真的值得探讨的问题？同时，我们的论坛也进入尾声，请各位老师可以做一些总结的思考。
段伟文：我还是尽量避免特别专业的，我只是讲机器人现在正在进入到我们的社会之中，对我们的社会生活和人的关系，包括我们的行为和思维方式都正在产生一些影响。我倒是不太愿意去讨论奇点，因为那个奇点也是可以讨论的，而且我最近还正在受委托讲《生命3.0》那本书，我正在看那里面的一些东西，这个作为大众化议题，是大众都愿意讨论的问题，这个问题要非常严肃地讨论，包括里面有一些指数增长等等。
我最后只讲一点，我今天谈到了机器人对社会、人的行为、思维方式的影响，也对将来机器人作为一种人类的智能上的助手的可能性做了一点点展望，所以我的这样一些思考都是一种相对来说比较审慎乐观的。在所有的考虑里面，可能不同的群体有不同的思维模式，比如说企业有企业的思考方式，个人有个人的思考方式，学者有学者的思考方式，这个里面最重要的一点就是我们需要有一种认知上的策略。当我们听到企业去做广告的时候，我们就应该学会把那里面的真的和假的要分一下，我们听到学者在那儿忧心忡忡的时候，或者是像我这样夸夸其谈的时候，你也要知道他很可能只是一种职业上的习惯，他并没有讲到真谛。我觉得在我们现在这样一个时代，尤其像直播这样一个方式，它并不是简单的一种知识的售卖，而我愿意在这儿给大家讲的就是我们这儿不是得到APP，不是说你掏钱我就能够让你得到什么，我只是想告诉大家，对于所有的专家、对于所有的人谈的问题，你最后要通过你自己的思考。因为我们现在是在一个信息爆炸的时代，在这个信息爆炸的时代，在产生知识的同时也产生了更多的无知和误解，这才是我们今天来谈机器人这样一个时髦的话题，最后我能告诉大家的就是我们怎么样去通过我们自身的思考，来去减少无知，然后找到我们的思维和行动的策略，哪怕是在一个机器人的时代，哪怕是有可能面临着奇点这样的挑战。
主持人：谢谢段老师这个非常重要的提醒，我们面对这么复杂而丰富的话题，一定要有自己的基于理性跟专业的思考和判断。
王金桥：今天通过与各位老师的交流，收获了很多，我觉得不同的角度以及不同的学科，从哲学、机器、算法本身、应用场景上来讲人和机器其实是一个相爱相杀的过程，是一个永恒的话题。人创造了机器，也给了机器智能的能力，同时机器也不断地反教人类某些事情。机器有它冰冷的特色，同时也会有自己的一些情感。人机协同是21世纪非常重要的一部分，我们人和机器既相爱相杀，同时也密不可分，它会给我们的生活、工作带来很多便利，但也会给我们带来很多困惑和烦恼。
最后总结一句，我们要更多地去关注人类如何和机器共生机制，让人和机器能够和谐相处，机器既要自己选择未来的发展，同时也要更好地为人类服务。
主持人：谢谢王老师的叮嘱。王老师说大概3—5年当中机器人就会走进我们的家庭，等到大家家里都有机器人的时候，王老师的提醒可以作为我们跟机器人相处的一个指导。
黄碧丹：作为一名一线的科研技术人员，对于这几年在机器人和人工智能上的进展，我们都是感到非常地激动的。想起来我一开始读博士的时候，我朋友问我在读什么专业，我说我读人工智能机器人，他们那时候就觉得很奇怪，因为当时人工智能和机器人感觉听起来就是一个类似玄学一样的东西，就感觉没有任何的实用价值。可是到了今天，我跟大家说我是做人工智能和机器人的，所有人都会觉得我在做一个非常高大上、代表着人类未来的一个方向的工作。短短的几年，大家就对这个技术产生了如此大的改观，当然是因为它在短短几年内有很多突破性的进展，让大家看到了机器人、人工智能一些真正的可能性，所以我感觉未来几年，应该还会有非常多出乎我们意料之外的一些技术上的进展。我们腾讯RoboticsX也很期望能做出一些非常优秀的科研的成果和工作，能够真正地去回馈社会。这条路很漫长，可是我们已经走在了路上。
最后，我想借用我们RoboticsX部门主任张老师的一句话来总结，这是他在TH领导力大会上讲了一句话，他说没有灵魂的躯体是一具行尸走肉，没有躯体的灵魂是一缕虚无幽灵，我们不做行尸走肉，我们不要幽灵飘忽，我们要创造与人协作的机器人。这就是我们部门的一个展望和理想。
主持人：谢谢碧丹！我们非常期待RoboticsX给我们惊喜，给我们带来有灵魂、有躯体的跟我们相伴的伙伴，我们期待！最后，我们请刘永谋老师给本次论坛做一个总结。
刘永谋：总结不敢当。机器人话题非常火爆，最近几年迎来非常多的机会，不光是人工智能的研究方面有比较大的突破，也引发了大众的广泛关注：无论是在电影屏幕上，还是在课堂讨论上，人工智能都是非常火爆的话题。
哲学家某种意义上也要感谢人工智能。人工智能火爆以后，发现最近也有很多人找我讨论一些比较玄的相关问题：机器人能不能够超过人，机器人能不能毁灭世界，等等。
当然，对于大众来说，一种带有玄学色彩的、未来色彩的、过度关心的哲学讨论，既有正面意义，也有负面的效果。就像刚才伟文提到的，宣传得太厉害了，会导致一些人很害怕，产生一些技术发展的阻力。但是，好处很大，起码现在有人关心人工智能了——无论是骂你也好，还是赞扬你也好。我个人是一个温和的技术乐观主义者，希望人工智能和机器人的技术在这一拨热潮中，真正能够做出一点突破性的进展，不要像有人说的风口过了以后，才知道哪些人是在裸泳。
我想两个方面都还是要考虑：一方面，我们应该以一种勇敢和乐观的态度去探索、去拥抱技术，拥抱机器人和人工智能的发展和未来，大胆去尝试。另一个方面，不光是人工智能技术，所有的技术在急速发展的过程中，也要考虑它对社会的冲击和影响，尤其是一些可能导致的负面的问题，伦理的问题也好、社会学方面的问题也好、法律方面的问题也好，都要充分去考虑。只有两方面综合考虑中，人工智能才能得到健康的发展，健康发展生态的形成，不能光靠像我们这样一些高谈阔论的外行提意见，也不能仅仅依靠专业的技术人员关起门来做研究，不与社会沟通。我觉得大家要结合起来，各个学科的专家也好，普通大众也好，都要相互交流。机器人的问题与每个人都相关，我家里就有小米机器人和小米音箱，全社会都来关注人工智能的发展。
最后，我祝愿中国的机器人产业有一个非常美好的前途。就说这么多。谢谢！
主持人：好，谢谢刘老师！机器人可能会走入千家万户，所以千家万户都会关注机器人。感谢各位嘉宾的精彩分享，也感谢大家关注科学与人文论坛。谢谢大家！（全文完）
中国人民大学刘永谋教授中国人民大学哲学院教授、博士生导师，国家发展与战略研究院研究员；美国哈佛大学访问学者（2010-2011），荷兰乌德勒支大学访问学者（2015），西班牙巴斯克大学访问学者（2015-2016），美国科罗拉多大学高级访问学者（2019），法国索邦大学高级访问学者（2019）。主要研究方向：科学技术哲学，科学、技术与公共政策。按时间顺序主要研究过的问题包括：福柯哲学，创新型国家与创新方法，另类科学哲学，物联网与泛在社会，知识与权力理论，技术治理理论，AI与智能革命研究，新科学哲学。中国社会科学院段伟文研究员中国社科院哲学所科技哲学研究室主任、研究员，中国社科院科学技术和社会研究中心主任，中国社科院大学特聘教授、博导。主要研究方向为科技哲学、科技伦理、信息与智能的哲学、伦理与社会研究等。现任中国大数据专家委员会副主任委员，中国发展战略研究会常务理事，国际期刊“社会中的信息、传播与伦理杂志（JICES）”及“负责任的创新（RI）”编委，国家社科基金重大项目“智能革命与人类深度科技化前景的哲学研究”首席专家等。著有《可接受的科学：当代科学基础的反思》、《网络空间的伦理反思》、《被捆绑的时间：技术与人的生活世界》等。中国科学院王金桥研究员腾讯RoboticsX黄碧丹研究员黄碧丹博士，目前任职腾讯RoboticsX实验室高级研究员。曾在英国伦敦帝国理工手术机器人中心，瑞士洛桑理工，日本国家情报研究所等多所高校和研究院学习和进行科研工作。她的主要研究兴趣和方向是机器人学习，机器人抓取和物体操作，人机交互等。她在相关领域发表论文十数篇，在机器人与人工智能领域有10年一线工作经验。主持人张顺平腾讯研究院资深专家，北京市明德书院理事长、院长机器、机器人与人系列
从机器到机器人|科学与人文（在线）论坛第三期：机器、机器人与人（上）
机器人还有哪些可能？|科学与人文（在线）论坛第三期：机器、机器人与人（中）返回搜狐，查看更多