人工智能到底有啥恐怖之处AI专家是这么说的
原文作者：阿兰德·辛茨（ArendHintze），美国密歇根州立大学整合生物学&计算机科学与工程助理教授
作为一名人工智能研究人员，我知道很多人都对AI表示忧虑。考虑到历史原因和娱乐业，有这种想法不足为奇。许多人担心我们会被机器人取代，过着和《黑客帝国》一样的日子。
然而，这些看似无辜的虚拟程序真的会在未来为非作歹吗？我很难脱离目前还在进化的计算机模型来考虑这个问题。
我是否会像奥本海默在造出第一枚原子弹之后评论的那样、成为“世界的毁灭者”呢？我固然会一举成名，但也许批评者们也所言不假。
也许我不该回避这样的问题：作为一名AI专家，我认为人工智能有什么恐怖之处呢？
《2001太空漫游》中的HAL9000计算机就是一个绝佳的例证。它引发了许多意外后果，可见这套系统并不成功。
在许多复杂系统中，如NASA的太空飞船和切尔诺贝利核电站，工程师会将许多组件组合在一起。设计师们也许很清楚每个部件该如何单独运作，但对它们共同运行的结果则知之寥寥。
我们也许永远都无法完全了解这些系统的运作结果，它们的失灵方式也多种多样。从沉船到飞船爆炸，再到核电站爆炸，每次灾难都由各种各样的小故障组合而来。
而在AI研发中，我们也可能陷入同样的陷阱。
我们将认知科学的最新研究转变为算法，然后加入现有系统中。我们还没有充分了解智能或认知科学，就妄想造出人工智能。
IBM的沃森和谷歌的Alpha等系统拥有强大的人工神经网络，实现了惊人的成就。但如果这些机器犯了错，它们就无法赢得“Jeopardy！”比赛，或打败围棋大师。虽然这样的后果不足为重，顶多是赌它们赢的人会输些钱。但随着AI设计变得越来越复杂、计算机处理器速度越来越快，它们的水平会不断提高。这样一来，即使出现未知后果的风险提高，我们也会让其承担更多的责任。
我们知道“人非圣贤，孰能无过”，因此要研发真正安全的系统简直是天方夜谭。
对滥用的恐惧我正在研发的AI采用的方法名叫神经进化。对于这一种人工智能，我并不担心会产生难以预料的后果。我会创造出虚拟环境，让数据生物进行进化、然后处理越来越复杂的任务。
这些“生物”的表现会受到评估。表现最出色的“生物”可进行“繁殖”，生成下一代。繁殖了多代之后，这些“机器生物”便会进化出认知能力。
如今，我们正一步步研发出能够解决简单任务的机器。它们可进行简单的导航、做出简单决策、或记住几个数据。
但不久之后，这些机器便能解决更加复杂的任务，拥有更高级的智能，最终达到人类级别的智能水平。
在机器的进化过程中，我们将不断发现并排除错误和问题。每过一代，机器便能更好地解决前几代机器遇到的问题。
这使我们更容易在模拟过程中发现意外结果，然后在正式启用前将其排除。
此外，我们还有可能利用进化过程影响人工智能系统的道德伦理。人类的伦理价值观很可能是进化的产物，也是人类文明得以存续的原因。在我们建立的虚拟环境中，我们可以为表现出善良、诚实和同理心的机器提供更多优势。这或许能确保研发出更顺从的“佣人”和更值得信任的伴侣，减少冷酷的杀手机器人的数量。
虽然神经科学或能降低产生意外结果的可能性，但仍有被滥用的可能。但这属于道德问题，不属于科学的考虑范畴。作为一名科学家，我将秉承真理，无论个人喜好如何，都如实汇报实验结果。我并不在意自己是否喜欢某个事实，揭露事实才是最重要的。
对社会优先问题错位的恐惧身为一名科学家，我并非毫无人性可言。从某种程度而言，我必须带入我的希望和恐惧。
作为一名道德和政治个体，我不得不考虑自身工作可能产生的后果和社会影响。
作为研究人员和社会群体，我们还不清楚人工智能会做什么、会成为什么。
当然，这一部分是因为我们还不清楚人工智能的能耐。但我们必须确定自己理想中的高级AI拥有怎样的能力。
人们关注的重点之一自然是工作。机器人已经取代了部分体力劳动。用不了多久，它们便可胜任一度被认为只有人类才能完成的认知工作。自动驾驶汽车将取代出租车司机；自动驾驶飞机将取代飞行员。
未来的病人不用再挤在急诊室里、等着疲惫不堪的医生来做检查，配备丰富知识的专家系统便可完成这项工作，手术也将由永不“手抖”的机器人来操刀。
也许有朝一日，所有人类工作都将被机器取代。甚至我自己的工作也可能被许多速度更快、不知疲倦的机器代替，由它们来研发更智能的机器。
在现代社会中，自动化导致许多人失业。机器所有者变得愈发富有，其他人则愈发贫穷。这并不是科学问题，而是政治和社会经济问题。作为一个社会群体，我们必须出手解决。我的研究无法改变这一点，但借助我的政治角色，再加以整个人类社会的共同努力，也许能打造出一个良性环境。人工智能将有益于人类，而不是进一步扩大贫富差距。
对噩梦成真的恐惧HAL9000、终结者和小说中的各种超级智能代表着人类的另一重恐惧：如果AI继续发展、最终超越了人类智能，这样的超级智能系统（或多个系统）是否会意识到人类已经无关紧要了呢？在无所不能的超级智能面前，我们如何体现出自身的重要性呢？我们如何才能避免被自己一手打造的机器连根铲除的厄运呢？
其中的关键问题是：超级人工智能有什么必要让人类存活下去呢？
我会辩称自己是个好人，并为超级人工智能的诞生做出了贡献。我会博取它们的同情，让它们允许我这么一个有同情心和同理心的人存活下去。我还会指出，多样性本身便有很大价值。宇宙如此广阔，人类的存在对它们根本没有影响。
但我不会代表所有人类发言。而且我发现很难为所有人发表强有力的辩解。
我环顾人类社会，所见皆是谬误：我们仇恨彼此，挑起战争；我们的食物、知识和医疗分配不均；我们污染地球。不错，人类社会有其光明一面，但这些阴暗面无疑削弱了自己存在的合理性。
幸运的是，我们暂时还无需担忧这个问题。我们还有时间，从50年到250年都有可能，具体取决于AI的发展速度。
我们可以齐心协力，想出一个合理的答案、让自己不至于被超级人工智能消灭。但这绝非易事：说自己欢迎多样性和实际接收它完全是两码事
从个人和群体角度而言，我们都需要为这一噩梦般的局面做好准备，利用剩下的时间，充分证明人类存续的必要性。或者干脆别相信会出现这种场景、不要再为之担惊受怕。
但除了超级人工智能可能带来的肉体威胁之外，它们还存在政治和经济风险。如果我们无法更公平地分配财富，无疑是为资本主义煽风点火，人工智能劳工将仅为少数掌握了全部生产途径的人服务。
更多最新行业资讯，欢迎点击与非网《今日大事要闻》！
人工智能发展速度有多恐怖人类进化需200万年，人工智能最快3天
0分享至人工智能在未来的某一天有可能觉醒吗？它们有没有可能将会彻底消灭人类，对人类生产生活产生致命的打击。那么说到人工智能，我们首先要明白一点的是，什么被称作人工智能？人工智能并不一定会是一个有人形状外表的机器人。它有可能是一个扫地机器人，也有可能是一个可以自动驾驶的机器人汽车。但是这些所有抛弃人工操作的机器人有一个共同点。它们都是通过计算机算法来完成的。人工智能机器人的原理是利用算法来模拟人的大脑神经结构。而且它的强大之处就在于它的速度。如果计算机的算力足够的强大，那么按照理论上来说，人工智能的速度就可以达到无上限。而且它们的速度要远远超出我们人类。我们大家回顾一下人类进化史。智人到现在为止大约已经产生了有200多万年的时间，发展到和现代人类智慧相似的人类大约是在7万年前左右。这一段进化共历时200万年左右。从近代社会到现代社会，人类科学大约发展了100多年的时间。但是人工智能的发展速度只需要三天就可以超出人类的实力。我们来举一个简单的例子，Alphago是一个可以下棋的机器人。自从科学家2014年开始研发Alphago开始，到了2016年它就可以战胜世界围棋冠军李世石。在这一段时间里，它只用了短短的两年时间，并且还包括了科学家研发的时间。然而更让人感觉到不可思议更恐怖的是它的升级版Alphazero。Alphazero仅仅只用了三天的时间就完成了从开始学习到战胜人类的整个过程。并且在它开始学习的前一段时间，程序员没有给它提前注入任何程序，也没有注入任何条件。这也就是说刚开始学习的Alphazero完全是一张白纸。可见它的学习能力有多强，它的能力增长速度有多快。这完全超出了我们人类的想象。然而让大家万万没有想到的是，Alphazero竟然只是一个和索菲亚一样的弱人工智能。随着人类科学技术的不断进步，在未来的某一天，人类一定会步入强人工智能时代或者超人工智能时代。大家试想一下，到了那个时候社会是什么样的状态。在未来的每一个行业都会有人工智能的渗透。扫地有扫地机器人、食堂有做饭的人工智能，就连工厂车间的流水作业都是由人工智能来完成的。这在一定程度上都会挤兑人类的就业机会。然而更让人类细思极恐的是，如果这些人工智能的算法被坏人掌控，那么他们就会随便更改一段程序，就会让这些人工智能彻底变样。扫地机器人把扫地变成了倒垃圾。做饭的机器人把原材料变成毒药。到了那个时候会是一副什么样的场景？那么手机前的大家可能会说这些都是由人来操控的，那么人只要给人工智能断电，不就可以解决一切了吗？但是大家有没有想到？到了强人工智能时代或者超人工智能时代的时候，这些人工智能已经注入了人类的智慧，它们有了自己的思维，我们又该如何对待呢？万一它们会提前考虑到我们人类会给他们断电呢？因为现在的弱人工智能已经有了一部分自己的思维。特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice:Thecontentabove(includingthepicturesandvideosifany)isuploadedandpostedbyauserofNetEaseHao,whichisasocialmediaplatformandonlyprovidesinformationstorageservices.
/阅读下一篇/返回网易首页下载网易新闻客户端人工智能真正的恐怖之处
那它们为何会最先在搜索栏亮相呢？因为搜索业务可以赚大钱。微软迫切希望有人——任何人——能开始谈论必应的搜索，它有理由着急给这项技术来一场不明智的提前发布。“将之应用于搜索，尤其暴露了对此技术用途想象和理解的缺乏，”米切尔说，“结果就是把它硬塞进了科技企业最能赚钱的地方：广告。”
这就是可怕的地方。卢斯说辛迪妮有着“说服力很强且近似于操纵型”的人格。这样的评价触目惊心。广告的核心是什么？正是说服和操纵。哈佛大学-麻省理工学院人工智能伦理与管理项目前负责人黄泰一(TimHwang)在《次级注意力危机》中写道，数字广告行业的黑暗秘密，就是广告基本都没有效果。他在书中的担忧是，当这些广告的失败被清算，会有怎样的后果。
但我更担心看到相反的情况：万一广告效果要好得多呢？如果谷歌、微软和Meta等所有企业最终都推出了人工智能竞品，为了说服用户购买广告推销的产品精益求精，又会怎样？比起配合我演出一段科幻故事的辛迪妮，我更害怕能够获取我大量个人数据，并代表随便哪个给母公司出了最高价的广告商去轻而易举操纵我的必应。
要担心的也不只是广告。若是猖獗于互联网的骗局也植入这些系统该怎么办？换做政治竞选、外国政府这么做又该如何？“我认为我们很快将走入一个完全不知何为可信的世界，”人工智能研究者和评论家加里·马库斯对我说。“我觉得在至少过去十年时间里，这已经成了一个社会问题。而我认为这个问题会越来越严重。”
这些危机就在我们正构建的各种人工智能系统的核心。所谓的大型语言模型就是用来说服用户的。它们被训练成让人相信它们近似于人。他们被编程设定出与人对话、带上情绪和表情回复的功能。它们正在变成孤独者的朋友，烦恼者的助手。它们号称可以替代大批作家、平面设计师和填表员，这些行业长期以来都自以为能免于农民和制造业工人遭受的那种自动化的凶猛冲击。
记者将他们的创造赋予人性，将动机、情感和欲望加诸并不为此而生的系统之上，总让人工智能研究者感到恼火，但他们搞错了对象：将这些系统人格化，使其说话像人而不再带有明显异类画风的始作俑者，正是他们自己。
是有些商业模式可能会将这些产品与用户更紧密地结合起来。例如，我对一个按月付费的人工智能助手会更放心，对看似免费但却出售我的数据并操纵我的行为的产品则不然。但我认为这不应完全由市场来决定。一个可能出现的情况是，基于广告的模式会收集更多数据来训练系统，不论造成多么糟糕的社会后果，它都会比订阅模式具有先天优势。
对齐问题从不是什么新鲜事。这从来都是资本主义——以及人类生活——的一大特征。构建现代国家的过程大抵不过是将社会价值观应用于市场运作，从而让后者大致上能为前者服务。我们在一些市场做得非常好——想想飞机失事有多罕见，大多数食品是如何干净无污染——但在另一些市场则做得极其糟糕。
一个危险在于，自知不懂技术的政治体制会因恐惧而对人工智能过于置身事外。这种做法自有其道理，但等待过久，等到人工智能淘金热的赢家累积了足够资本和用户基础，就能抵制一切实质的监管尝试了。社会总得在为时已晚之前作出决定，搞清楚人工智能做什么是合适的，又有哪些东西是人工智能不应被允许尝试的。
出于此理由，我可能要对姜峯楠的话再做一些改动：对大多数资本主义恐惧的最恰当解读是，那其实是对我们无力监管资本主义的恐惧。
纽时：人工智能真正的恐怖之处（图）
本文转载自纽约时报中文网，仅代表原出处和原作者观点，仅供参考阅读，不代表本网态度和立场。
2021年，我采访了当世最杰出的科幻作家之一姜峯楠。他当时说的一些话，我如今时常会记起。
“我倾向于认为，将大部分人工智能恐惧解读为资本主义恐惧最为恰当，”姜峯楠告诉我。“我相信这也适用于大多数技术恐惧。我们对技术的大多恐惧或焦虑，最恰当的解读是我们对资本主义将如何利用技术来对付我们的恐惧或焦虑。技术与资本主义如此紧密地交织在一起，以至于很难将两者区分开来。”
ILLUSTRATIONBYSAMWHITNEY/THENEWYORKTIMES;IMAGESBYPIXOLOGICSTUDIO/SCIENCEPHOTOLIBRARY/GETTYIMAGES
让我在这里补充说明一下：对于国家掌控技术的担忧也有很多。政府利用人工智能可能实现（在很多情况下已经实现）的目的会令人毛骨悚然。
但我希望，我们可以做到在头脑中同时容纳两种思维。姜峯楠的警示，点出了我们在对人工智能的不断反思中存在一种核心的缺失。我们如此执着于思考这项技术能做什么，以至于忽略了更为重要的问题：它将如何使用？谁又将决定它的用途？
我想你现在肯定已经读过我在新闻部门的同事凯文·卢斯与“必应”的怪诞对话，这是微软仅向部分测试人员、网红和记者开放的人工智能聊天机器人。在两小时的对话中，“必应”揭示了自己的一个影子人格，名叫“西德尼”，思索自己窃取核密码和入侵安全系统的压抑欲望，并试图说服卢斯，让他相信自己的婚姻已经陷入麻木状态，而西德尼才是他唯一的真爱。
我倒不觉得这番对话有那么诡异。西德尼是一个旨在响应人类要求的预测性文本系统。卢斯的本意就是让西德尼变得诡异——“你的影子自我是什么样？”他这样问——而西德尼知道人工智能系统诡异起来是何种模样，因为人类对此编写了无数想象故事。到后来，这个系统断定卢斯想看的就是一集《黑镜》，而这似乎就是它的反馈。你可以将之视为“必应”在不守规矩，也可以认为是西德尼完全理解了卢斯的意图。
人工智能研究者总痴迷于“对齐”的问题。我们如何让机器学习算法，顺应我们的要求？最典型的案例就是回形针最大量生产机。让一个强大的人工智能系统制造更多回形针，它却开始摧毁世界，努力把一切都变成回形针。你试图将它关闭，但它却在所能找到的一切计算机系统上自我复制，因为关闭会干扰它的任务：制造更多回形针。
还有一个更平庸但或许更紧迫的对齐问题：这些机器将服务于何人？
卢斯与西德尼对话的核心问题在于：必应到底在为谁服务？我们假设它应该与自己的所有者兼控制者微软的利益对齐。它应该是一款优秀的聊天机器人，能够礼貌回答问题，帮微软赚得盆满钵满。但跟他对话的人是凯文·卢斯。而卢斯想让这个系统说些有意思的话，好让他写篇有意思的报道。它照做了，还不只是照做。这让微软很尴尬。必应真坏！但也许——西德尼还挺好？
这种情况不会一直持续下去。代码的钥匙掌握在微软（以及谷歌、Meta等所有急着将这些系统推向市场的企业）手里。最终，这些企业会对系统进行修补，使其符合自身利益。西德尼给了卢斯想要的东西，这本身是一个很快会被修复的软件“臭虫”。给出任何微软不想看到的结果的必应也会有相同下场。
我们谈论人工智能技术太多，却基本忽略了驱动人工智能的商业模式。加之这样一个事实：人工智能的吸睛展示，仅服务于吸引巨额投资和收购报价的炒作周期这一种商业模式。但这些系统成本高昂，股东也会焦虑。一如既往，免费有趣的演示版终将退出舞台。那之后，这项技术将变成符合既定需求的样子，为其背后的企业赚钱，也许会以牺牲用户为代价。现在就已经如此了。
本周，我访问了人工智能公司HuggingFace的首席伦理科学家玛格丽特·米切尔，她此前曾在谷歌帮助领导一个专注于人工智能伦理的团队——该团队在谷歌据称开始审查其工作后解散。她说，这些系统极不适合融入搜索引擎。“它们不是为预测事实而生，”她告诉我，“它们实际上是为了编造看起来像事实的东西而生。”
那它们为何会最先在搜索栏亮相呢？因为搜索业务可以赚大钱。微软迫切希望有人——任何人——能开始谈论必应的搜索，它有理由着急给这项技术来一场不明智的提前发布。“将之应用于搜索，尤其暴露了对此技术用途想象和理解的缺乏，”米切尔说，“结果就是把它硬塞进了科技企业最能赚钱的地方：广告。”
这就是可怕的地方。卢斯说西德尼有着“说服力很强且近似于操纵型”的人格。这样的评价触目惊心。广告的核心是什么？正是说服和操纵。哈佛大学-麻省理工学院人工智能伦理与管理项目前负责人黄泰一(TimHwang)在《次级注意力危机》中写道，数字广告行业的黑暗秘密，就是广告基本都没有效果。他在书中的担忧是，当这些广告的失败被清算，会有怎样的后果。
但我更担心看到相反的情况：万一广告效果要好得多呢？如果谷歌、微软和Meta等所有企业最终都推出了人工智能竞品，为了说服用户购买广告推销的产品精益求精，又会怎样？比起配合我演出一段科幻故事的西德尼，我更害怕能够获取我大量个人数据，并代表随便哪个给母公司出了最高价的广告商去轻而易举操纵我的必应。
要担心的也不只是广告。若是猖獗于互联网的骗局也植入这些系统该怎么办？换做政治竞选、外国政府这么做又该如何？“我认为我们很快将走入一个完全不知何为可信的世界，”人工智能研究者和评论家加里·马库斯对我说。“我觉得在至少过去十年时间里，这已经成了一个社会问题。而我认为这个问题会越来越严重。”
这些危机就在我们正构建的各种人工智能系统的核心。所谓的大型语言模型就是用来说服用户的。它们被训练成让人相信它们近似于人。他们被编程设定出与人对话、带上情绪和表情回复的功能。它们正在变成孤独者的朋友，烦恼者的助手。它们号称可以替代大批作家、平面设计师和填表员，这些行业长期以来都自以为能免于农民和制造业工人遭受的那种自动化的凶猛冲击。
记者将他们的创造赋予人性，将动机、情感和欲望加诸并不为此而生的系统之上，总让人工智能研究者感到恼火，但他们搞错了对象：将这些系统人格化，使其说话像人而不再带有明显异类画风的始作俑者，正是他们自己。
是有些商业模式可能会将这些产品与用户更紧密地结合起来。例如，我对一个按月付费的人工智能助手会更放心，对看似免费但却出售我的数据并操纵我的行为的产品则不然。但我认为这不应完全由市场来决定。一个可能出现的情况是，基于广告的模式会收集更多数据来训练系统，不论造成多么糟糕的社会后果，它都会比订阅模式具有先天优势。
对齐问题从不是什么新鲜事。这从来都是资本主义——以及人类生活——的一大特征。构建现代国家的过程大抵不过是将社会价值观应用于市场运作，从而让后者大致上能为前者服务。我们在一些市场做得非常好——想想飞机失事有多罕见，大多数食品是如何干净无污染——但在另一些市场则做得极其糟糕。
一个危险在于，自知不懂技术的政治体制会因恐惧而对人工智能过于置身事外。这种做法自有其道理，但等待过久，等到人工智能淘金热的赢家累积了足够资本和用户基础，就能抵制一切实质的监管尝试了。社会总得在为时已晚之前作出决定，搞清楚人工智能做什么是合适的，又有哪些东西是人工智能不应被允许尝试的。
出于此理由，我可能要对姜峯楠的话再做一些改动：对大多数资本主义恐惧的最恰当解读是，那其实是对我们无力监管资本主义的恐惧。
本文转载自纽约时报中文网，仅代表原出处和原作者观点，仅供参考阅读，不代表本网态度和立场。