人工智能导致人类灭亡关于AI，你知道的还太少
第一，人类美好的科学探索，有没有可能研制出给人类带来毁灭性打击的发明？
其实我们已经发明了能给摧毁地球好多次的核武器，只是人们认为拥核国家间能够互相制约，足够理性，并且永远不会使用核武器，核武器也不会落入极端分子，但这个毁灭人类的风险一直会存在。
从人类发展的轨迹来看，未来人会终极物种周期，不断研究探索出更多不可预知，造福人类的同时也足以毁灭人类的不明科技发明（USI=Unidentifiedscientificinvention)。
第二，人能否创造出比人类自身更胜一筹的机器人？
如果我们把体力，智力，和情商作为人和机器人的三个竞争维度，那人已经在体力这个维度上，不管是力量、速度、还是精度，机器人已经全面超越人类。
我们看智力这个维度，前不久的阿法狗与人类的围棋大战已漏端倪，尽管不能说人类在智力上已经落败，但我们也看到了智力不过是一个迭代的算法和大量的经验数据的叠加，让我们相信机器人全面超过人类的智力，不再有任何障碍。而且未来不是机器人有没有人聪明，而是人比机器人到底愚蠢多少数量级的问题。现在很多科学家唯一觉得机器人不能和人类相提并论的是它们没有情感，不会形成自我意识。其实人是如何学习形成自我意识，人类自己也没有搞清楚，这就不能确定机器人会不会形成自我意识，智能到什么程度会形成自我意识？但至少我们看到在力量和智力的两个维度来看，人类必输无疑。
第三，人能否一直控制机器人的行为？
就像人类控制核武器一样，只要人类不去触发核发射按钮，世界就是安全的，那高度智能的机器人是否也一样按照人类的算法来决策，并且始终有一个可以受到控制的按钮？
我们现在还认为阿法狗机器人还是按照人类提供的优化算法来做决策，还是可控的，它还不会脱离算法产生想法，或者情感。我们理所当然的认为，当机器人没有情感的时候是可控的。但当未来机器人控制着社会生产的各个领域，我认为它们也不一定要非要形成自我意识才能产生自主行为，才会导致失控。当他们依照智能算法去做最优路径决策的时候，算法本身就可能会带来不可预见性的风险，比如我们希望机器人通过大数据决策，去实现全球最节能的生产方式时，也许到时候超级人工智能计算出来的结果是——人类是导致能源损耗最大的根源，保不住按他们会做出毁灭人类的决策。
我不是悲观论者，但是我相信人并非智慧的极限，我相信不管是生物基因改造还是人工智能迭代，人类终将被彻底超越。目前人类科技正在以不可控的速度发展，我也相信有一天人工智能会被植入一段基因算法，让人工智能机器人自身会不断迭代优化，并且这种不断迭代优化会成为它的本能，就像人类物种的本能是繁衍一样。
（更多交流，可添加我个人微信：gebyxiong）返回搜狐，查看更多
相比人工智能导致人类灭亡，专家称更担心虚假信息和操纵用户
相比人工智能导致人类灭亡，专家称更担心虚假信息和操纵用户来源:网易科技2023-06-0410:34:186月4日消息，随着人工智能技术的快速发展和普及，很多行内人士担心不加限制的人工智能可能会导致人类灭亡。但专家们表示，人工智能带来的最大负面影响不太可能是科幻电影中的核战场面，反而更有可能是虚假信息、操纵用户等造成的社会环境不断恶化。
以下是翻译内容：
近几个月来，业内愈发担心人工智能。就在本周，300多名行业领袖发表了一封联名公开信，警告人工智能可能导致人类灭绝，对待人工智能应该像“疫情和核战”那样加以严肃对待。
像“人工智能末日”这种术语总会让人联想到科幻电影中机器人统治世界的画面，但实际上任由发展的人工智能会带来哪些后果？专家们说，现实可能不像电影情节那样跌宕起伏，不会是人工智能启动核弹，而是社会基础环境逐渐恶化。
加州大学伯克利分校人工智能安全计划主任杰西卡·纽曼（JessicaNewman）说：“我不认为人们该担心人工智能会变坏，或者人工智能会有某种恶意欲望。”“危险来自一些更简单的东西，那就是人们可能会给人工智能编程，让它做有害的事情，或者我们最终会把天生不准确的人工智能系统整合到越来越多的社会领域，从而造成伤害。”
这并不是说我们不应该担心人工智能。即便末日场景不太可能发生，强大的人工智能也有能力用错误信息问题不断加剧、操纵人类用户以及给劳动力市场带来巨大变化等形式破坏社会稳定。
虽然人工智能技术已经存在了几十年时间，但像ChatGPT这种语言学习模型的普及加剧了人们长期以来的担忧。纽曼说，与此同时，科技公司争先恐后将人工智能应用到他们的产品中，相互开展激烈竞争，带来了一堆麻烦事。
她说：“我非常担心我们眼下走的道路。”“对于整个人工智能领域来说，我们正处于一个特别危险的时期，因为这些系统虽然看起来很特别，但仍然非常不准确，并且存在固有漏洞。”
接受采访的专家们表示，他们最担心的有不少方面。
错误和虚假信息
许多领域早已经启动了所谓的人工智能变革。机器学习技术支撑着社交媒体新闻推送算法，长期以来，人们一直指责这种技术加剧了固有偏见和错误信息等问题。
专家们警告说，随着人工智能模型的发展，这些尚未解决的问题只会进一步加剧。最糟糕的情况可能影响到人们理解事实真相和有效信息，从而导致更多基于谎言的事件发生。专家们表示，错误和虚假信息的增加可能引发进一步的社会动荡。
“可以说，社交媒体的崩溃是我们第一次遇到真正愚蠢的人工智能。因为推荐系统实际上只是简单的机器学习模型，”数据科学平台Anaconda首席执行官兼联合创始人PeterWang说。“我们真的彻底失败了。”
PeterWang补充说，这些错误可能导致系统陷入永无止境的恶性循环，因为语言学习模型也是在错误信息的基础上进行训练，为未来模型创造的又是有缺陷的数据集。这可能会导致“模型自相残杀”效应，未来模型会因为过去模型的输出放大偏差，并永远受到影响。
专家们称，不准确的错误信息和容易误导人们的虚假信息都被人工智能放大了。像ChatGPT这种大语言模型很容易出现所谓的“幻觉”现象，反复捏造杜撰虚假信息。新闻行业监督机构NewsGuard的一项研究发现，几十个完全由人工智能撰写材料的在线“新闻”网站中有许多内容都存在不准确之处。
NewsGuard联合首席执行官戈登·克罗维茨(GordonCrovitz)和史蒂文·布里尔(StevenBrill)表示，这种系统可能会被坏人利用，故意大规模传播错误信息。
克罗维茨说：“一些恶意的行为者可以制造虚假陈述，然后利用这个系统的倍增效应来大规模传播虚假信息。”“有人说人工智能的危险被夸大了，但在新闻信息领域，它正在产生惊人影响。”
全球非营利性机构PartnershiponAI的丽贝卡·芬利(RebeccaFinlay)表示：“就更大规模的潜在危害而言，错误信息是人工智能最有可能对个人造成伤害的方面、风险也最高。”“问题是我们如何创造一个生态系统，让我们能够理解什么是真实的？”“我们又该如何验证我们在网上看到的东西?”
恶意操纵用户
虽然大多数专家都表示，错误信息是最直接和最普遍的担忧，但关于这项技术可能会在多大程度上对用户的思想或行为产生负面影响，还存在不少争议。
事实上，这些担忧已经带来了不少悲剧。据报道，比利时一名男子在得到聊天机器人的鼓动后自杀身亡。还有聊天机器人告诉用户和他的伴侣分手，或者让有饮食失调问题的用户减肥。
纽曼说，从设计上讲，因为聊天机器人是以对话的形式与用户交流，可能会产生更多的信任感。
“大语言模型特别有能力说服或操纵人们在潜移默化中改变他们的信念或行为，”她说。“孤独和心理健康已经是全世界的大问题，我们需要观察聊天机器人会对世界产生何种认知影响。”
因此，专家们更担心的不是人工智能聊天机器人会获得感知能力并超越人类用户，而是它们背后的大语言模型可能会操纵人们给自己造成原本没有的伤害。纽曼说，那些以广告盈利模式运作的语言模型尤为如此，它们试图操纵用户行为，从而尽可能长时间地使用平台。
纽曼表示：“在很多情况下，给用户造成伤害也不是因为他们想要这样做，而是系统未能遵循安全协议造成的后果。”
纽曼补充说，聊天机器人的类人特性使用户特别容易受到操纵。
她说：“如果你和一个使用第一人称代词的东西交谈，谈论它自己的感受和所处情境，即使明知道它不是真实的，仍然更有可能引发一种它像人类的反应，让人们更容易想要相信它。”“语言模型让人们愿意信任它，把它当成朋友，而不是工具。”
劳动力问题
长期存在的另一个担忧是，数字自动化将取代大量人类工作。一些研究得出结论，到2025年，人工智能将在全球范围内取代8500万个工作岗位，未来将取代超过3亿个工作岗位。
受人工智能影响的行业以及岗位非常多，有编剧也有数据科学家。现如今，人工智能可以像真正的律师那样通过律师考试，还能比真正的医生更好回答健康方面的问题。
专家们发出警告，人工智能的崛起可能会导致出现大规模失业，从而造成社会不稳定。
PeterWang警告说，大规模裁员在不久将来就会发生，“许多工作岗位都面临风险”，而且几乎没有任何计划应对后果。
他说：“在美国，没有关于人们失业时如何生存的框架。”“这将导致很多混乱和动荡。对我来说，这是由此产生的最具体、最现实的意外后果。”
未来怎么办
尽管人们越来越担心科技行业和社交媒体带来的负面影响，但在美国，监管科技行业和社交媒体平台的措施却很少。专家们担心人工智能也是如此。
PeterWang说：“我们许多人担心人工智能发展的原因之一是，在过去的40年时间里，作为一个社会，美国基本上放弃了对科技的监管。”
尽管如此，近几个月来美国国会已经有了一番积极动作，举行听证会，让OpenAI首席执行官萨姆·奥尔特曼(SamAltman)就应该实施的监管措施作证。芬利表示，她对这些举措感到“鼓舞”，但在制定人工智能技术规范以及如何发布方面，还需要做更多工作。
她说：“很难预测立法和监管部门的反应能力。”“我们需要对这种水平的技术进行严格审查。”
尽管人工智能的危害是行业内大多数人最关心的问题，但并非所有专家都是“末日论者”。许多人也对这项技术的潜在应用感到兴奋。
PeterWang说：“实际上，我认为新一代人工智能技术真的可以为人类释放出巨大的潜力，让人类社会以更大规模繁荣起来，要超出过去100年甚至200年的水平。”“实际上，我对它的积极影响非常非常乐观。”
责任编辑：徐宇泽标签:人工智能AI
末世猜想：可能导致人类灭亡的几大威胁
末世猜想：可能导致人类灭亡的几大威胁安德斯·桑德伯格AndersSandberg2019年9月2日图像来源,GettyImages遥远的未来会是什么样子，我们真能说得准吗？连下个月什么时候下雨都不知道，预想几十亿年以后的事情似乎只能是天方夜谭。不过，并非所有事情都像天气那样混沌难测，预测遥远的未来也是有可能的，特别是在天体物理学和宇宙学方面。我们能够肯定，2090年9月23日这一天英国一定会出现日全食，因为月亮、太阳以及地球都是沿着可预知的轨道在稳定运行，受到的干扰微乎其微，而且万有引力定律也已经得到全面证实。同样地，我们也可以利用已知的天体物理学知识预测出在宇宙膨胀的过程中可能会发生哪些事情。这种预测方法被称之为“物理末世论”，由天文学家马丁‧里斯（MartinRees）提出，利用天体物理学建构的模型，预测宇宙的发展。末世论在基督教神学领域研究的是世界末日等终极问题，里斯正是借鉴于此。相关的经典之作是戴森（FreemanDyson）在1979年发表的一篇文章，讨论开放宇宙中的生命前景。论文认为太阳死亡，以及恒星逃离银河系等可能存在的灾难都会对遥远未来的地球生命造成威胁。那么，如果人类能够延续到如此遥远的未来，会面临什么样的最严峻的挑战？我们并不知道该如何克服这些挑战，或能否克服这些挑战，此处我只能做一些猜测。但可以肯定的是，这些事关人类文明存亡的威胁正在向我们迎面而来。改变20世纪人类历史的西班牙大流感文明末日：我们正在走向文明瓦解吗？人类想要活到下个世纪必须解决的7个问题文明末日：人类史上古文明的生命周期问题1：人类能否超越哺乳动物宿命一个典型哺乳动物物种的存在时间大约为100万年。对人类而言，除了从核战争到生物工程可能引发的传染病，还有其他可能毁灭人类的危险迫切需要面对和解决。今天，人类自作孽造成的灭绝风险已远远高于发生自然灭绝事件的概率。要想解决现有的人类生存风险以及可持续问题，我们还得应对许多其他挑战。图像来源,GettyImages图像加注文字,人类的存在时间能否长于哺乳类动物这个物种的通常寿命？
人类在未来几万年内，首先面临的是本次间冰期（两个冰河期之间的时期）的结束。目前人类正处于一个漫长冰川时代中的一个短暂温暖的间冰期之中，间冰期结束，地球将会变得非常寒冷。不过我们的祖先活过了冰川时代，再过寒冷生活可能问题不大，只不过我们的祖先是游牧人，靠狩猎采集维生，还没有一个全球性的文明。人类还可能经历不同地质时期之间的气候大变迁。在远古时代，地球曾经非常寒冷，但也曾经非常暖和。在5600万年前到3400万年前的始新世地质年代，地球的气温要比现在高10摄氏度，北极也有棕榈树和鳄鱼，而赤道地区则太过炎热，人类如生活在这样的赤道，不采取保护措施根本无法生存。再往前还有过“冰雪地球”时期，当时整个地球基本都被冰雪所覆盖。此外人类还可能遭遇超级大火山喷发、小行星撞地球、来自宇宙的伽马射线暴，或紧急生态大灾难等能毁灭人类文明的种种危险。我们人类已知，上述大灾难曾导致地球约每1亿年就会出现一次物种大灭绝事件。最终可能不再有智人这个物种存在，人类可能会进化成一个新的物种。人类一直在演化变异中，并受到物竞天择的自然筛选，即或如今医疗条件良好，但交通事故也会让人英年而逝，犹如是一种自然淘汰。现代生物科技也让我们能够改良自身基因，甚至还有能将人与人工合为一体的科技。相信再过几百万年，未来的人类将会与我们是面目全非，除非我们有意决定维护我们的现存基因，不让其发生任何的改变，并在未来漫长的地质年代中一直坚守到底。如果“人类”（姑且仍称之为人类）10亿年后还存在，将一定会拥有可传之久远的文明，能够应对行星级别的大灾难，能够规划以地质年代为单位的人类前景，那时的人类跟现在的人类相比，差异之大就跟我们当今人类和二亿五千万前已灭绝的三叶虫的区别差不多。人类要想比其他哺乳类动物活得更长久，就得大变身成为其他物种，说来也是讽刺。问题2：能否存活到地球生物圈终结之后再过10亿年（或者前后差个几亿年），太阳光亮度的增强会给地球上的生命带来灭顶之灾。太阳热量的增加会加剧岩石的风化，从而引发一系列化学反应，消除空气在碳循环过程中的大量二氧化碳，最终摧毁以二氧化碳进行光合作用的植物。此外，地球会热得像一个失控的温室，从海洋中蒸发出越来越多的水蒸汽，从而使得地球更加炎热。图像来源,GettyImages图像加注文字,太阳散发的光热越来越强，会给我们的后代造成严重的生存问题。
其中一个办法是建造超大规模的工程，尽可能长时期保护地球生物圈。那时的人类还可以实施地球工程，在平流层添加能够反射太阳光的悬浮颗粒，或是在地球与太阳之间建造一个太阳遮板，甚至可以把地球往远离太阳的方向移一移。另一个解决之道是将地球生命转移到太空，当然要是那时人类还没开始太空移民的话。宇宙看来存在适宜生命居住的行星，而且太空中的物质要比地球表面积大好几十亿倍。就算人类移民太空的工程是非常的艰巨，但请别忘了，我们人类还有10亿年的时间来提高技术，增加财富，进行建造。到了这个关头，人类文明要想延续下去，就必须到太阳系中去建立新的家园。问题3：人类能活到太阳功能减弱之后吗再过大约50亿年，太阳核心的氢聚变反应加快，氦元素逐渐增大，太阳的明亮程度会快速增长。这时的太阳结束其主序星阶段，膨胀成一颗硕大的红巨星。虽然这时太阳的表面温度会降低，但由于表面积巨大，所辐射的光将远远超过现在的太阳。这时地球的末日也就到，很可能会被不断变大的太阳所吞噬。就算没有被太阳吃掉，也会被空前强烈的太阳光煎烤成一块连一丝风一滴水都没有的大石头。之后太阳“很快”（这是以宇宙的时间而言，但大约也要10亿年）将其绝大部分物质向外抛出，形成星云，这时的太阳会变成一颗小型的白矮星。太阳系的智慧生命要想躲过此劫，就必须移民到其他星系。那时已达超级智慧的人类当然也可以尝试去适应此时的环境，但变成白矮星的太阳已没有多少的光和能量可以发出，人类不得不离开太阳系。要到达其他星系建立新家园，需要速度极大的航天器，否则就要花上非常漫长的时间。对于已经生活在自给自足的太阳系太空生命基地上的未来人类，当太阳死亡，移民外星系，寻找或建立新的生命家园也是很自然的事情。但这需要源源不断维持很长时间的能量供给，而且前往太阳系外的星系，飞行速度也不能太慢。此外还要有足够的物质来维持这场跨越千年的迁徙。飞往太阳之外的星系最有可能的方式，是使用小型的纳米机器人太空器。大型星际飞船需要巨大能量才能达到一定速度，使用小型太空器可以利用反光帆板和强劲射线推动快速行进，效果会更好。纳米机器人太空器不仅体积小，而且可大量使用。如果发射一个失败，那就发射一千个。纳米太空器还可以搭载着遗传基因以创造生命，甚至搭载人类。到达其他星系后，这些小型太空器可以在适合的小行星上降落，打开太阳能收集器，开采物质，并制造更多的机器人、太阳能收集器以及工厂。最终，建成一个个太空栖息地，让人类能够在这些机器人建造的生命基地上繁衍人类文明。图像来源,GettyImages图像加注文字,人类文明要想永垂不朽，可能需要移民到太空。
称之为人类的这一地球物种可能永远也无法离开太阳系。此刻，我们可以提出这样的问题，向太阳系外的星系发展的智慧生命到底是我们人类自己，还是一个新的生命物种。但无论如何，人类的后代如果真的能熬过太阳变成红巨星这个灾难，活了下来，那一定应该已生活在银河系的其他的恒星之中。问题4：能存活到恒星消亡之后吗宇宙的恒星形成的巅峰时期已经来临，在未来的几百亿年里，我们将迎来最高“恒星巅峰”期。那时明亮且寿命较短的恒星将会燃烧殆尽，剩下的都是稳定且寿命较长的红矮星，发光时间可达数万亿年。但是恒星形成的数量将会下降，再过几千几万亿年，红矮星也将坍塌消散。生命要想存续，不能依靠恒星的光热，而是需要其他能量来源。可能性其实很多，可以使用褐矮星以及气态行星上的氢制造核聚变产生能量，或是将物质投入黑洞的吸积盘中，收集释放出的能量。甚至利用一种被称为超辐射的东西（也就是所谓"黑洞炸弹"）按一定角度抛入黑洞强大的旋转盘，然后带着新获取的能量逃逸出来。不论哪种方法，都是巨大无比的工程。那么使用普通的核能可以吗？如果没有超新星爆炸合并旁边的中子星而产生可裂变同位素，也就不会再有核裂变的能量。现在超新星爆炸已是非常久远的事了。当行星内部的同位素逐渐衰变冷却后，行星的地热能也会消耗一空。“生命”或许也可以适应低温和极特异的环境。人工智能及硅基生命或许也能在近乎绝对零度的环境中生存。在恒星陆续死亡后，也有可能是，碳基生命及其智慧体会退居到舒适的虚拟世界中，而这个虚拟世界比外部实体的宇宙还要广阔和复杂。如果人类能够活到恒星消亡之后，人类就会成为宇宙中最大的能量源。问题5：能活到银河系消亡之后吗？没有规律的恒星运动最终会导致银河系的解体。恒星彼此间不时擦肩而过，速度会随机发生改变。有时，恒星因此获得的速度能令它逃离银河系，消失在无尽的虚无之中，而余下的银河系则聚合得更加紧密。最终，在大约一万亿亿年之后，整个银河系的星体或者会四散于宇宙，或者全部掉入银河系核心的黑洞之中。围绕恒星运转的行星也会在这一巨变中被抛离运行轨道。智慧生命要想逃过此大灾难，就要将恒星引到长期稳定的轨道上来。从物理学的角度来说这是有可能的！就目前而言，至少可以用电磁波发射器微调恒星的运行。发射器发出的辐射就像小马力的火箭引擎一样能产生动力，以控制恒星相遇时的速度。这就好比人类利用其他天体的引力为两枚外太阳系太空探测器旅行者号调整运行方向以及提升速度一样，只不过要干扰恒星运行的电磁波发射器要巨大得多。这就像是一局最大型的台球游戏，恒星在改变轨道时也可以进一步相互推动。图像来源,GettyImages图像加注文字,再过几百亿年，宇宙将到达"恒星巅峰"时期，然后逐渐暗淡下来。
这需要在每一个恒星周围建造巨型工程，事前要进行巨大的规划，而工程所需要的物质总量也很大，相当于每个恒星系大约就要一颗大型的小行星。而建造的物理原理则相对清晰明了。关键是要在十亿年的时间跨度规划协调这些工程项目。不过到那个时候，人类已经克服过种种难关，这样的太空工程对他们来说可能不过是稀松平常事。问题6：存活到宇宙物质消散之后我们所谓的物质全部是由质子、中子和电子这些粒子所组成的原子构成的。质子和电子一般来说非常稳定。中子靠质子来稳定，其自身的半衰期只有几分钟。但许多物理学理论都认为，质子并非真的稳定，放到漫长的时间维度上看最终也将发生衰变。虽然科学界有过一些艰苦卓绝的研究，但目前还没有观察到质子的衰变。不过这只能说明如果质子真的会衰变，可能需要几万亿年的时间。质子的衰变将会终结我们所认知的物质世界。宇宙中的恒星与行星物质都会慢慢解体变成电磁波及自由电子和正电子，不能再形成能供生命栖息的天体。宇宙中最后一批寒冷的黑矮星（恒星残骸）会逐渐成为静止不动的氦晶体及氢晶体，直至灰飞烟灭。这时空旷的宇宙中只有一些基本粒子和黑洞。人类能够幸免于难吗？答案可以参考阿西莫夫（IsaacAsimov）优秀的短篇小说《最后的问题》（TheLastQuestion）。小说中一台大型计算机的回答是：“数据不足，无法作答。”本文作者为牛津大学人类未来研究所的研究员，推特账号@anderssandberg。请访问BBCFuture阅读英文原文。