人工智能是否威胁人类
人类为何害怕李世石输给阿尔法围棋
人类对人工智能的担忧由来已久。霍金很早之前就表示，人工智能是人类历史上出现过的最可怕的事物；而工程师马斯克也在麻省理工学院的演讲中提到，人工智能将成为人类“最大的生存威胁”。
这似乎难以理解，因为无论是手机导航或是无人驾驶等，看上去似乎都是利好的一面，是科技进步的体现，为什么我们还是恐惧它们呢？
要回答这一问题，先要搞清楚人工智能的分类。研究者普遍认为，人工智能的发展顺序是：弱人工智能、与人类智能相当的“强人工智能”和全面超过人类智能的“超人工智能”。目前，弱人工智能已经渗入我们生活的方方面面，包括无人驾驶技术等，而真正令巨头们感到忧虑的，主要是后两者。但人工智能要从情感、行为和认知三个维度全面模拟人类，还有很长的路要走。而“超人工智能”还只是科幻小说和影视作品中的想象。
——金楠（专栏作者）
机器真能主宰世界吗
人类无法想象未来的人工智能会发展到什么地步。
“从技术手段上来说，人工智能有可能超越人类智能。”中央民族大学信息工程学院副院长吴立成举例道，虽然我们对外星人还一无所知，但人们也总是倾向于认为外星人能超越人类，理由是浩瀚的宇宙存在无限的可能。但吴立成同时认为，实际上人工智能不会超越人类，因为人工智能是由人类来研制的，当人们发现未来人工智能的某项技术有可能导致超越人类的智慧时，人类完全可以出于对自身安全的考虑，将其终止。“原因不在于技术上不可能，而在于人工智能是在人类的控制下发展的，人类掌握着控制权。”
中国科技馆原馆长王渝生对人工智能的发展保持乐观态度。他认为，人工智能是人赋予的，所以不必恐慌和害怕，同时人也会意识到安全性的问题，给它装上类似阀门的东西，控制它去造福于人类，而不是危害人类。“所以我们应该为人工智能的进步高兴，它不是洪水猛兽。‘人机大战’，获胜的实际上是人类的智慧。”
人类与机器携手并进，也许这就是未来。智能技术将进一步解放人类的智力，让我们走出单一的企业，进入多姿多彩的社会平台，使我们有更多的个人时间，享受学习、工作、生活。这是社会的进步，是螺旋式上升式的发展，不是机器主宰世界，而是走向人类主导但更加美好的世界。
——叶乐峰（媒体记者）、王飞跃（中国科学院自动化研究所研究员）
阿尔法围棋给人类的警醒
至少今天，我们不必担心人工智能奴役我们，它们仅仅是我们的工具。那我们该担心什么呢？一旦当机器供养着人类，人类达到了马斯洛需求的基本需求，人类真的还会有动力去追求更宏伟的目标，自我实现吗？还是会醉生梦死、无所事事地活着？
计算机科学家艾伦·凯曾经提出过警告，打造智能“助手”或许会重蹈古罗马人的覆辙，古罗马人让他们的希腊奴隶替自己思考，结果主人们失去了独立思考的能力。毫不夸张，类似的情景正在现实生活中悄然发生着，长期使用智能工具使人们患上了严重的“依存症”，过度沉湎于“屏幕”不能自拔，个人行动参考和价值取向都要去向“屏幕”寻求依据，这确实在很大程度上催生了人们的惰性，蚕食着人们主动思考的能力，甚至造成了孤独自闭的社会性格。
这不得不引起我们的重视，比日常智能工具高出N个等量级的人工智能，是否会让我们患上更严重的“依赖综合征”。
——李开复（创新工场董事长）、陆晨（媒体记者）
（新浪专栏 光明网 微信 思客 人民网 3.10、11、12、16）
人工智能会取代人类吗
会这样吗？蔡华伟绘
不久前，在中国乌镇围棋峰会上，人工智能程序“阿尔法狗”与排名世界第一的中国围棋职业九段棋手柯洁对战，以3∶0的总比分大获全胜。在此之前，它曾经以4∶1的总比分击败过同为围棋世界冠军的韩国职业九段棋手李世石，并在中国棋类网站上以“大师”为注册账号与中日韩数十位围棋高手进行快棋对决，连续60局无一败绩。两年来，“阿尔法狗”横扫中日韩围棋棋坛，并且每次表现都堪称完美。
一直以来，就有人工智能的发展会威胁到人类生存的观点，而“阿尔法狗”能在典型的反映人类智慧的围棋比赛中屡屡打败人类，更是加重了一些人的担忧。
那么，人工智能对人们工作、生活的直接影响到底有多大？它具备了人的部分能力，甚至比人类做得更好，未来会不会和人类抢“饭碗”，甚至对我们产生威胁？
具有不可
比拟的优势
未来人工智能可在金融投资、医疗诊断、企业经营、军事指挥等方面进行高水平的预测和决策
人工智能会取代人类吗？应当说，这种担忧也有一定道理。
近年来，人工智能各方面的发展都在逐渐完善，应用也越来越多，并且在很多方面的表现都超越了人类。
比如，2015年9月，腾讯财经推出了自动化新闻写作机器人。它能根据算法在第一时间自动生成稿件，瞬时输出分析和研判，一分钟内就能将重要资讯和解读送达用户。
还有，备受关注的微软小冰，作为一个虚拟伴侣型机器人，它能够模拟人的语气与人对话，聊天时让人感觉这就是一个活生生的人而并非机器。
此外，据外媒报道，摩根大通已经开发出一款金融合同解析软件，原来律师和信贷人员每年需要36万小时才能完成的工作，该软件只需几秒就能完成，且错误率大大降低。
青岛智能产业研究院智慧教育研究所副所长刘希未说：“在问题求解方面，人工智能程序已经能知道如何考虑它们要解决的问题，即搜索解答空间，寻找较优解答。在无人驾驶方面，人工智能已经可以实现长距离复杂路况下的自主驾驶。”
“未来在认知层次，人工智能还将会有广阔应用空间，例如人工智能可在金融投资、医疗诊断、企业经营、军事指挥等方面进行高水平的预测和决策。”中国科学院自动化研究所研究员孙哲南说。
而著名物理学家史蒂芬・霍金则认为人工智能给人类社会带来的冲击将更为巨大。2016年底，他在英国《卫报》发表文章预言说：“工厂的自动化已经让众多传统制造业工人失业，人工智能的兴起很有可能会让失业潮波及中产阶级，最后只给人类留下护理、创造和监管等工作。”
这样的判断还有待未来验证，不过，相比人类智慧，人工智能的确有着不可比拟的优势。
刘希未说：“和人脑相比，人工智能算法应对数值和符号计算更加精确快速，稳定可靠。特别是对于有确定规则的计算问题，人工智能可以远远超出人脑的计算速度，也更容易找到最优的解答。比如，在数值计算，图形、语音、生物特征、行为姿态等方面的识别，甚至更加复杂的预测推理任务方面，人工智能都有超越人脑的优秀表现。”
不会取代
甚至威胁人类
人工智能不具备感性思维，无法跨越到意识领域
那么，人工智能真的会因此而取代人类本身，甚至对我们产生威胁吗？记者采访的几位专家都给出了否定的答案。
首先，专家们认为，当前的计算机架构和编程模式具有本质上的劣势，使得人工智能无法实现与人脑情感、意志、心态、情绪、经验等方面的自然交互。本质上，人工智能仅仅是物质世界范畴的概念，无法跨越到意识领域。
1981年荣获诺贝尔生理学奖的罗杰・斯佩里博士曾发布著名的“左右脑分工理论”，认为人脑的左右半球有着不同分工：左半脑擅长分析、逻辑、演绎、推理等理性抽象思维；右半脑擅长直觉、情感、艺术、灵感等感性形象思维。迄今为止，人工智能的所有智能化表现仅仅在模仿人类左半脑的理性思维模式，而完全不具备右半脑的感性思维。
“也就是说，目前的人工智能技术还很难应对具有显著人类主观意识影响的社会文化和意识领域的各类问题，而人脑却可以通过长期在复杂社会环境下的学习成长轻松应对这类问题。”刘希未说。
他进一步举例说，比如人工智能至今也还没有创作出真正具有人性境界的作品。“电脑与人脑，毕竟有着机械性与生命灵性的本质区别，因此，电脑创作与人脑创作之间尚存在着难以逾越的鸿沟。个性化是人类文学艺术创作的生命，而已有电脑创作系统尚无个性可言，只不过是对已有的艺术作品的模仿、复制与重组。”
那么，随着人工智能的不断发展完善，将来是否有可能实现这种自发的情感智能呢？
“情感智能化分成两个层面，一个是让机器本身具有情感，另外一个是让机器理解人的情感，两者是不一样的”，中国科学院自动化研究所研究员易建强说，“让机器去理解人的情感，这件事是有可能做到的。目前有一部分机器人系统能够做到部分理解场景、环境及对话内容，并根据其结果做出相应的反应或者表情。但要机器人或人工智能系统完全达到人类的水平，有自发的情感和创造性，那是很难实现的，或者说不可能实现。”
中国自动化协会副理事长、秘书长王飞跃对此表示认同，“我个人认为100年内无法实现，或许永远不可能实现，除非重新定义什么是人的情感、理解、推理等等。原因很简单，人们现在都还不清楚这些情感的内涵、产生的过程及其方式。”
将成为人类
发展的加速器
人工智能的确会对人类就业造成一定冲击，但人类的工作不会消失，而是转变为新的形式
科学家们还认为，人工智能技术只是人类智慧创造的一种新型工具，它有助于人类更快做出突破，提高我们应对那些亟待解决的全球性难题的能力。
“我们需要人工智能这个强大的工具来帮助处理复杂问题，预测未知，支持我们实现以往不可能的目标。”王飞跃说。
专家们表示，很多划时代的科技成果必然引发人们生活方式的改变，短期内很可能难以被接受，但若放眼历史长河，就会发现，所有重大的科技革命无一例外地都最终成为人类发展的加速器，同时也是人类生活品质提高的根本保障。
“人工智能技术的出现也同样如此，它的确会对人类的就业造成一定冲击。比如，人工智能更适合处理简单重复、规则确定或者通过案例学习可以找到有效处理规则的问题。像安检、看病理切片和监控视频审核等交给人工智能更为高效可靠，这些工种也因此比较容易受到冲击和替代。”不过，易建强表示，不必因此就担心它会彻底取代人类。“以第一次工业革命为例，它不仅仅是让人类的既有工作被取代，同时会制造出足够多的新的就业机会。大多数情况下，工作不是消失了，而是转变为新的形式。”
易建强说，马车被汽车取代就是一个非常典型的例子。当年，汽车开始进入大城市并逐渐普及的过程中，曾经在数百年的时间里充当出行工具的马车，面临着“下岗”威胁。但后来的事实证明，新兴起的汽车行业拥有比传统马车行业多出数千倍甚至数万倍的产值和工作机会。
“现阶段，在一个真正实现人工智能的工作场景中，传统劳动者也并未被‘下岗’，只是改变了角色而已。仍然需要人类对人工智能的表现进行监控，进行情报采集与分析，以及开展预测性的实验与评估，引导性的过程管理与控制。”王飞跃说，“我相信将来人类90%以上的工作是由人工智能提供的，就像今天我们大多数的工作是由计算机和各种其它机器提供的一样。”
《人民日报》（2017年07月07日20版）
(责编：易潇、沈光倩)分享让更多人看到
人工智能发展是否会对人类社会造成危害
原标题：人工智能发展是否会对人类社会造成危害近来，人工智能已成为热词，这次不是因为某部科幻电影，而是因为理论物理学家斯蒂芬·霍金、特斯拉公司首席执行官埃伦·马斯克等一些科学家、企业家及与人工智能领域有关的投资者联名发出的一封公开信。他们在信中警告人们必须更多地注意人工智能的安全性及其社会效益。要警惕其过度发展，并提醒科学家和研发人员关注强人工智能的潜在威胁，因为得到充分发展的人工智能或许预示着人类最终被超越。
斯蒂芬·霍金曾警告“人工智能的全面发展可能意味着人类的终结”；伊隆·马斯克担心人工智能的发展可能是人类生存面临的最大威胁；比尔·盖茨则提醒人们要小心人工智能。由于他们的影响力，人工智能威胁论因此得到广泛传播。而有一个有趣的现象是，提倡人工智能毁灭人类的基本是物理学家，企业家，但最了解人工智能原理的科学家，却几乎没有一位认为人工智能对人类有威胁。
在人工智能的问题上霍金认为，“如果人类继续这样无止境地开发人工智能，那么总有一天，人工智能将拥有自己的发展方式。”而对于这个问题有人有着不同的看法。库兹韦尔表示，他更愿意相信，如果人工智能真正地融入了社会，它将帮助人类解决一些社会问题。但是他也承认，没有人能够保证人工智能一定会有利于人类发展。“我认为，面对潜在的风险，最好的方式就是继续保持民主、包容和自由的价值观。”
展开全文人类对未知事物产生恐惧并不是什么新鲜事，但是，著名的理论物理学家及硅谷企业家和微软创始人对人工智能的担心，则为这种恐惧增添了新的注解。像科幻电影一样，担心机器人会奋起革命似乎有点自欺欺人，重要的是如何合理的进行分析。
如果人工智能只是一种可以代替人类工作的机器，它的出现并不足以让人们恐惧。当机器帮助我们创造世界上大部分财富的时候，困扰人类的充其量不过是一个从未得到解决的财富分配问题，还不足以带来毁灭性的灾难。也就是说，人工智能存在比替代人类工作更深层的威胁。
从历史来看，每一次新生事物的诞生，某些人都会感觉有威胁。现在机器人来了，很多工厂流水线上的工人就感觉要下岗了。历史上从来没有一样新生事物会受到全部人的欢迎，总有一部分人会感受到威胁。问题是怎样面对威胁?人类不能因为有一部分人受到威胁，或者有反对的声音，就不前进了。
任何事物都有两面性，科学也是一把双刃剑。科学新发现、新发明在推动社会向前发展，在对一部分人造成威胁的同时，也创造出很多发展机遇，只要我们掌握新知识、新技术，就会找到广阔的发展空间。如果我们能直面威胁，积极应对，顺势而为，勇于创新，更有可能屹立潮头，成为新时代的骄子。返回搜狐，查看更多
责任编辑：人工智能可能有自主意识了吗
➤大模型、大数据的驱动让人工智能在对话的自然度、趣味性上有了很大突破，但距离具备自主意识还很远。换言之，即便人工智能可以对人类的语言、表情所传递的情绪作出判断，但这主要应用的是自然语言处理、计算机视觉等技术
➤不同于当前依赖数据学习的技术路线，新一代人工智能强调在没有经过数据学习的情况下，可以通过推理作出合理反应，从而与没有见过、没有学过的事物展开交互
➤当前人工智能治理面临的最大挑战，是我们没有一套比较成熟的体系来规制其潜在的风险。在发展科技的同时，必须同步发展我们的规制体系
➤“技术归根结底是由人类来发展和把控的。人类和人工智能的未来，是由人类选择的。”
今年6月，美国谷歌公司软件工程师布莱克·勒莫因称语言模型LaMDA出现自我意识。他认为，LaMDA拥有七八岁孩童的智力，并相信LaMDA正在争取自己作为一个人的权利。
LaMDA是谷歌去年发布的一款专门用于对话的语言模型，主要功能是可以与人类交谈。
为佐证观点，勒莫因把自己和LaMDA的聊天记录上传至互联网。随后，谷歌以违反保密协议为由对其停职。谷歌表示，没有任何证据支持勒莫因的观点。
事实上，“AI（人工智能）是否拥有自主意识”一直争议不休。此次谷歌工程师和LaMDA的故事，再次引发讨论。人们想知道：人工智能技术究竟发展到了怎样的阶段？是否真的具备自主意识？其判定依据是什么？未来我们又该以怎样的能力和心态与人工智能和谐共处？
人工智能自主意识之辨勒莫因认为LaMDA具有意识的原因有三：一是LaMDA以前所未有的方式高效、创造性地使用语言；二是它以与人类相似的方式分享感觉；三是它会表达内省和想象，既会担忧未来，也会追忆过去。
受访专家告诉《瞭望》新闻周刊记者，上述现象仅仅是因为LaMDA所基于的Transformer架构能够联系上下文，进行高精度的人类对话模拟，故能应对人类开放、发散的交谈。
至于人工智能是否已经具备自主意识，判定标准如何，受访专家表示，对人类意识的探索目前仍属于科技前沿，尚未形成统一定义。
清华大学北京信息科学与技术国家研究中心助理研究员郭雨晨说：“我们说人有自主意识，是因为人知道自己在干什么。机器则不一样，你对它输入内容，它只是依照程序设定进行反馈。”
中国社会科学院科学技术哲学研究室主任段伟文认为，一般意义上，人的自我意识是指对自我具备觉知，但如何认识和理解人类意识更多还是一个哲学问题而不是科学问题，这也是很难明确定义人工智能是否具备意识的原因。
被誉为“计算机科学与人工智能之父”的艾伦·图灵，早在1950年就曾提出图灵测试——如果一台机器能够与人类展开对话而不能被辨别出其机器身份，那么可以称这台机器具有智能。
这一设想随后被具化为，如果有超过30%参与测试的人以为自己在和人说话而非计算机，就可以认为“机器会思考”。
当前随着技术的发展，已经有越来越多的机器能够通过图灵测试。
但清华大学人工智能国际治理研究院副院长梁正告诉《瞭望》新闻周刊记者，图灵测试只能证明机器在表象上可以做到让人无法分辨它与人类的不同，却不能证明机器能够思考，更不能证明机器具备自主意识。
段伟文表示，目前大体有两种方式判定人工智能是否具有自主意识，一种以人类意识为参照，另一种则试图对机器意识进行全新定义。
若以人类意识为参照，要观察机器能否像人一样整合信息。“比如你在阳光下，坐在河边的椅子上看书，有树影落在脸上，有风吹来，它们会带给你一种整体的愉悦感。而对机器来说，阳光、河流、椅子等，是分散的单一元素。”段伟文说。
不仅如此，段伟文说，还要观察机器能否像人一样将单一事件放在全局中思考，作出符合全局利益的决策。
若跳出人类构建自主意识的范式，对机器意识进行重新定义，则需要明白意识的本质是什么。
段伟文告诉记者，有理论认为如果机器与机器之间形成了灵活、独立的交互，则可以称机器具备意识。也有理论认为，可以不追究机器的内心，仅仅把机器当作行为体，从机器的行为表现判断它是否理解所做事情的意义。“比如机器人看到人类喝咖啡后很精神，下次当它观察到人类的疲惫，能不能想到要为人类煮一杯咖啡？”段伟文说。
但在段伟文看来，这些对机器意识进行重新定义的理论，其问题出在，即便能够证明机器可以交互对话、深度理解，但是否等同于具备自主意识尚未有定论。“以LaMDA为例，虽然能够生成在人类看来更具意义的对话，甚至人可以与机器在对话中产生共情，但其本质仍然是在数据采集、配对、筛选机制下形成的反馈，并不代表模型能够理解对话的意义。”
换言之，即便人工智能可以对人类的语言、表情所传递的情绪作出判断，但这主要应用的是自然语言处理、计算机视觉等技术。
郭雨晨直言，尽管在情感计算方面，通过深度学习的推动已经发展得比较好，但如果就此说人工智能具备意识还有些一厢情愿。“把‘意识’这个词换成‘功能’，我会觉得更加准确。”
技术换道有专家提出，若要机器能思考，先要解决人工智能发展的换道问题。
据了解，目前基于深度学习、由数据驱动的人工智能在技术上已经触及天花板。一个突出例证是，阿尔法围棋（AlphaGo）在击败人类围棋世界冠军后，虽然财力和算力不断投入，但深度学习的回报率却没有相应增长。
一般认为，人工智能可被分为弱人工智能、通用人工智能和超级人工智能。弱人工智能也被称为狭义人工智能，专攻某一领域；通用人工智能也叫强人工智能，主要目标是制造出一台像人类一样拥有全面智能的计算机；超级人工智能类似于科幻作品中拥有超能力的智能机器人。
从产业发展角度看，人工智能在弱人工智能阶段停留了相当长时间，正在向通用人工智能阶段迈进。受访专家表示，目前尚未有成功创建通用人工智能的成熟案例，而具备自主意识，至少需要发展到通用人工智能阶段。
梁正说，大模型、大数据的驱动让人工智能在对话的自然度、趣味性上有了很大突破，但距离具备自主意识还很远。“如果你给这类语言模型喂养大量关于内省、想象等与意识有关的数据，它便更容易反馈与意识有关的回应。”
不仅如此，现阶段的人工智能在一个复杂、专门的领域可以做到极致，却很难完成一件在人类看来非常简单的事情。“比如人工智能可以成为围棋高手，却不具备三岁小孩对陌生环境的感知能力。”段伟文说。
谈及背后原因，受访专家表示，第一是当前人工智能主要与符号世界进行交互，在对物理世界的感知与反应上发展缓慢。第二是数据学习让机器只能对见过的内容有合理反馈，无法处理陌生内容。第三是在数据驱动技术路线下，人们通过不断调整、优化参数来强化机器反馈的精准度，但这种调适终究有限。
郭雨晨说，人类在特定任务的学习过程中接触的数据量并不大，却可以很快学习新技能、完成新任务，这是目前基于数据驱动的人工智能所不具备的能力。
梁正强调，不同于当前主要依赖大规模数据训练的技术路线，新一代人工智能强调在没有经过数据训练的情况下，可以通过推理作出合理反应，从而与没有见过、没有学过的事物展开交互。
相比人类意识的自由开放，以往人工智能更多处在封闭空间。尽管这个空间可能足够大，但若超出设定范畴便无法处理。而人类如果按照规则不能解决问题，就会修改规则，甚至发明新规则。
这意味着，如果人工智能能够超越现有学习模式，拥有对自身意识系统进行反思的能力，就会理解自身系统的基本性质，就有可能改造自身的意识系统，创造新规则，从而成为自己的主人。
“人工智能觉醒”背后有关“人工智能觉醒”的讨论已不鲜见，但谷歌迅速否认的态度耐人寻味。
梁正表示：“如果不迅速驳斥指认，会给谷歌带来合规性方面的麻烦。”
据了解，关于人工智能是否有自主意识的争论并非单纯技术领域的学术探讨，而关乎企业合规性的基本坚守。一旦认定公司研发的人工智能系统出现自主意识，很可能会被认为违反第2版《人工智能设计的伦理准则》白皮书的相关规范。
这一由美国电气和电子工程师协会2017年发布的规范明确：“根据某些理论，当系统接近并超过通用人工智能时，无法预料的或无意的系统行为将变得越来越危险且难以纠正。并不是所有通用人工智能级别的系统都能够与人类利益保持一致，因此，当这些系统的能力越来越强大时，应当谨慎并确定不同系统的运行机制。”
梁正认为，为避免社会舆论可能的过度负面解读，担心大家认为它培育出了英国作家玛丽·雪莱笔下的弗兰肯斯坦式的科技怪物，以“不作恶”为企业口号的谷歌自然会予以否认。“不仅如此，尽管这一原则对企业没有强制约束力，但若被认为突破了底线，并对个体和社会造成实质性伤害，很有可能面临高额的惩罚性赔偿，因此企业在合规性方面会更为谨慎。”
我国也有类似管理规范。2019年，国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则——发展负责任的人工智能》，提出人工智能治理的框架和行动指南。其中，“敏捷治理”原则主要针对技术可能带来的新社会风险展开治理，强调治理的适应性与灵活性。
中国信息化百人会成员、清华大学教授薛澜在接受媒体采访时表示，当前人工智能治理面临的最大挑战，是我们没有一套比较成熟的体系来规制其潜在的风险。特别是在第四次工业革命背景下，我国的人工智能技术和其他国家一样都处于发展期，没有现成的规制体系，这样就使得我们在发展科技的同时，必须同步发展我们的规制体系。“这可能是人工智能发展面临最大的挑战。”
在梁正看来，目前很难断言新兴人工智能技术具有绝对风险，但必须构造合理的熔断、叫停机制。在治理中既要具有一定的预见性，又不能扼杀创新的土壤，要在企业诉求和公共安全之间找到合适的平衡点。
毕竟，对人类来说，发展人工智能的目的不是把机器变成人，更不是把人变成机器，而是解决人类社会发展面临的问题。
从这个角度来说，我们需要的或许只是帮助人类而不是代替人类的人工智能。
为了人机友好的未来确保通用人工智能技术有益于人类福祉，一直是人工智能伦理构建的前沿。
薛澜认为，在科技领域，很多技术都像硬币的两面，在带来正面效应的同时也会存在风险，人工智能就是其中一个比较突出的领域。如何在促进技术创新和规制潜在风险之间寻求平衡，是科技伦理必须关注的问题。
梁正提出，有时技术的发展会超越人们预想的框架，在不自觉的情况下出现与人类利益不一致甚至相悖的情况。著名的“曲别针制造机”假说，即描述了通用人工智能在目标和技术都无害的情况下，对人类造成威胁的情景。
“曲别针制造机”假说给定一种技术模型，假设某个人工智能机器的终极目标是制造曲别针，尽管看上去这一目的对人类无害，但最终它却使用人类无法比拟的能力，把世界上所有资源都做成了曲别针，进而对人类社会产生不可逆的伤害。
因此有观点认为，创造出法力高超又杀不死的孙悟空本身就是一种不顾后果的冒险行为。
与其对立的观点则认为，目前这一担忧为时尚早。
“我们对到底什么样的技术路线能够发展出具备自主意识的人工智能尚无共识，现在谈论‘禁止发展’，有种空中楼阁的意味。”梁正说。
商汤科技智能产业研究院院长田丰告诉《瞭望》新闻周刊，现实中人工智能技术伦理风险治理的关键，是产业能够在“预判防范-应用场景-用户反馈-产品改进”中形成市场反馈机制，促成伦理风险识别与敏捷治理。同时，企业内部也需建立完整的科技伦理自律机制，通过伦理委员会、伦理风控流程平台将伦理风险把控落实到产品全生命周期中。
郭雨晨说，人工智能技术发展到目前，仍始终处于人类可控状态，而科技发展的过程本来就伴随对衍生问题的预判、发现和解决。“在想象中的人工智能自主意识出现以前，人工智能技术脚踏实地的发展，已经造福人类社会很多年了。”
在梁正看来，人与人工智能在未来会是一种合作关系，各自具备对方无法达成的能力。“技术归根结底是由人类来发展和把控的。人类和人工智能的未来，是由人类选择的。”
编辑：李华山
2022年08月16日07:42:05