未来可期｜通用人工智能的双刃剑：驾驭发展，规避危机
《未来简史》作者尤瓦尔·赫拉利警示：核武器和人工智能最大的区别是，核武器不能制造更强大的核武器。但人工智能可以产生更强大的人工智能，所以我们需要在人工智能失去控制之前迅速采取行动。
最近，微软雷蒙德研究院机器学习理论组负责人塞巴斯蒂安·布贝克（SébastienBubeck）联合2023斯隆研究奖得主李远志等人，发表了一篇关注度极高的论文。这篇论文名为《通用人工智能的火花：GPT-4早期实验》，长达154页。一些好事者从LaTex源码中发现，原定的标题实际上是《与AGI的第一次接触》。
这篇论文的发表，标志着人工智能研究领域的一次重要里程碑。它为我们深入了解通用人工智能（AGI）的发展和应用提供了有价值的见解。同时，论文的原定标题《与AGI的第一次接触》，也凸显了对迈向通用人工智能的探索的重要性和前瞻性。
我耐着性子，看完了这篇论文的翻译版。说句大实话，半懂半不懂，不明觉厉。先给大家介绍一下这篇论文的核心主张：GPT-4呈现出一种通用智能的形式，绽放了通用人工智能的火花。这表现在它的核心心智能力（如推理、创造力和推理），它获得专业知识的主题范围（如文学、医学和编码），以及它能够完成的各种任务（如玩游戏、使用工具、解释自己等)。
读完这篇，我又重温了拙文《未来可期｜人工智能绘画：让每个人都成为艺术家》。我问了自己一个问题：此前把ChatGPT这类大模型归类在人工智能生成内容（AIGC），是否有些狭隘？正如微软研究院论文所说，GPT-4实际上不仅仅是AIGC，它更像是通用人工智能的雏形。
在解释AGI意味着什么之前，我先给澎湃科技“未来可期”专栏的读者朋友说一下ANI、AGI、ASI这三个单词。
人工智能（ArtificialIntelligence,AI）通常分为三个层次：
①弱人工智能（ArtificialNarrowIntelligence,ANI）；
②通用人工智能（ArtificialGeneralIntelligence,AGI）；
③超人工智能（ArtificialSuperintelligence,ASI）。
接下来，再稍微给大家介绍一下这三个层次的区别和发展。
①弱人工智能（ANI）：
弱人工智能是目前最常见的人工智能形式。它专注于执行单一任务或解决特定领域的问题。例如，图像识别、语音识别、机器翻译等。这类智能系统在特定任务上可能比人类表现得更好，但它们只能在有限的范围内工作，无法处理它们未被设计解决的问题。当前市场上有许多智能产品和服务，如虚拟助手（Siri、微软小冰等）、智能音箱（天猫精灵、小爱音箱等）和阿尔法围棋（AlphaGo）等，都属于弱人工智能的范畴。弱人工智能的局限性在于，缺乏综合性的理解和判断能力，只能在特定任务上表现出色。
随着大数据、算法和计算能力的不断发展，弱人工智能正在逐步渗透到我们日常生活的各个领域。在金融、医疗、教育、娱乐等领域，我们已经见证了许多成功的应用案例。
②通用人工智能（AGI）：
通用人工智能，也称为强人工智能，是指具备与人类同等的智能，能表现正常人类所具有的所有智能行为的人工智能。这意味着，AGI能够像人类一样，在各种领域中学习、理解、适应和解决问题。和ANI不同，AGI能够独立完成多种任务，而不仅仅局限于某个特定领域。目前，普遍认为人工通用智能尚未实现，但许多科技公司和科学家正在努力靠近这一目标。
③超人工智能（ASI）：
超人工智能指的是一种人工智能系统，在各个领域远远超越人类智慧。它不仅能够完成人类可以完成的各种任务，还在创造力、决策能力、学习速度等方面远远超过人类。ASI的出现，可能引发许多前所未有的科技突破和社会变革，解决人类无法解决的难题。
然而，ASI也带来了一系列潜在的风险。例如，它可能导致人类价值和尊严的丧失，引发人工智能的滥用和误用，甚至可能引发人工智能的反叛等问题。
原来，我们一直认为，人工智能技术，从弱人工智能到通用人工智能再到超人工智能，将经历一个漫长而复杂的发展过程。在这个过程中，我们有足够的时间来做好各种准备，大到法律法规、小到每个个体的心理准备。可是，最近我有一个强烈的感觉：我们离拥有通用人工智能可能只有几步之遥，而这可能只需要20年甚至更短的时间。如果有些人说这个过程只需要5-10年，我也不会完全排除这种可能性。
OpenAI公司在其发布的《通向AGI的规划和展望》中提到：“AGI有可能为每个人带来令人难以置信的新能力。我们可以想象一个世界，我们所有人都可以获得几乎任何认知任务的帮助，为人类的智慧和创造力提供一个巨大的力量倍增器。”
然而，这份规划强调了一个“逐渐过渡”的过程，而不是过分强调AGI的强大能力。“让人们、政策制定者和机构有时间了解正在发生的事情，亲自体验这些系统的好处和坏处，调整我们的经济，并将监管落实到位。”
在我看来，这段话传达的潜在信息是：通往AGI的技术其实已经具备。然而，为了让人类社会有一个适应的过程，OpenAI正在有意放缓技术的进展步伐。他们意图平衡技术进步和人类社会的准备程度，给予更多时间来进行法律、伦理和社会适应的讨论，并采取必要的措施来应对可能带来的挑战。
《论语·季氏将伐颛臾》里面有这么一句话：“虎兕出于柙”，现在，各种GPT们，如猛虎一般，已经从笼子里跑出来了。就像《未来简史》作者尤瓦尔·赫拉利所言：人工智能正在以超过人类平均水平的能力掌握语言。通过掌握语言，人工智能已经具备与数亿人大规模产生亲密关系的能力，并正在掌握入侵人类文明系统的钥匙。他更进一步地警示：核武器和人工智能最大的区别是，核武器不能制造更强大的核武器。但人工智能可以产生更强大的人工智能，所以我们需要在人工智能失去控制之前迅速采取行动。
3月22日，生命未来研究所（FutureofLife）向全社会发布了一封公开信，题为《暂停巨型人工智能研究：一封公开信》，呼吁所有人工智能实验室，立即暂停比GPT-4更强大的人工智能系统的训练，暂停时间至少为6个月。生命未来研究所美国政策主任克雷恩（LandonKlein）表示：“我们认为当前时刻类似于核时代的开始……”这份公开信，已获得超过超千名人士支持，其中包括埃隆·马斯克（特斯拉创始人）、山姆·奥特曼（OpenAI首席执行官）、约书亚·本吉奥（2018年图灵奖得主）等知名人士。
如果许多人都意识到，我们即将进入一个“人工智能核武器扩散”的时代，那么我们确实需要探讨一种可能性。这个可能性是建立一个类似于国际原子能机构的国际组织，其目标是监督所有人工智能公司，根据其使用的GPU数量、能源消耗等指标进行监管。那些超过能力阈值的系统，都需要接受审核。通过这样的国际组织，我们可以共同努力，确保人工智能技术为人类带来福祉，而不是潜在的危害。
一些科学家主张，在推进人工智能研究和应用时，一定要避免人工智能系统具有超出人类控制的能力。他们做了很多比喻来描述正在发生的灾难，包括“一个10岁的孩子试图和Stockfish15下棋”，“11世纪试图和21世纪作战”，以及“南方古猿试图和智人作战”。这些科学家希望我们，不要把通用人工智能想象成“居住在互联网中，没有生命的思考者”。而是要把它们想象成一个完整的外星文明，正在以比人类快百万倍的速度思考。只不过，它们最初被限制在计算机中。
然而，也有一些科学家持乐观态度。在他们看来，人工智能的发展和研究应当持续推进，以促进科学进步和技术创新。他们比喻说，如果在汽车诞生的那个年代，如果有马车夫提议，让司机暂停开车6个月。现在回过头来看，这是否是螳臂当车的行为呢？他们认为，通过透明和负责任的研究方法，可以解决潜在问题，并确保人工智能技术的可控性。而且，正是要通过不断的实验和实践，我们才能更好地理解和应对人工智能可能带来的挑战。
最近，世界卫生组织（WHO）对于人工智能与公共医疗的结合发出了警告。他们指出，依赖人工智能生成的数据进行决策，可能存在偏见或被错误使用的风险。世卫在声明中表示，评估使用ChatGPT等生成式大型语言模型（LLM）的风险至关重要，以保护及促进人类福祉。他们强调，需要采取措施来确保使用这些技术时的准确性、可靠性和公正性，以保护公众的利益并推动医疗领域的进步。
许多国家已经开始采取措施，迈出了规范人工智能领域的第一步。3月31日，意大利个人数据保护局宣布，即日起暂时禁止使用ChatGPT。同时，欧盟官员也正在制定一项名为《人工智能法（AIAct）》的新法律草案，其中包括：禁止特定人工智能服务的使用以及制定相关的法律规范。
美国商务部则发布通知，征求公众意见，其中包括：存有危害风险的人工智能新模型是否需要先进行审查才能发布。同时，商务部还承诺，打击那些违反公民权利和消费者保护法的有害人工智能产品。
5月16日，OpenAI首席执行官兼联合创始人山姆·奥特曼首次参加美国国会的听证会，就人工智能技术的潜在危险发表了讲话。他坦承，随着人工智能的进步，人们对于它将如何改变我们的生活方式感到担忧和焦虑。为此，他认为政府的干预，可以阻止人工智能“狂放的自我复制和自我渗透”。他提议建立一个全新的监管机构，实施必要的保障措施，并颁发人工智能系统许可证，同时具备撤销许可的权力。
在听证会上，奥特曼被问及他对人工智能可能出现的最大担忧是什么，他没有详细说明，只是表示“如果这项科技出了问题，可能会大错特错”，并可能会“对世界造成重大伤害”。
在这个听证会之前，中国在人工智能领域的监管和控制措施也引起了广泛关注。4月11日，为促进生成式人工智能技术健康发展和规范应用，根据《中华人民共和国网络安全法》等法律法规，国家网信办起草了《生成式人工智能服务管理办法（征求意见稿）》。这份办法明确了对生成式人工智能产业的支持和鼓励态度，比如，“国家支持人工智能算法、框架等基础技术的自主创新、推广应用、国际合作，鼓励优先采用安全可信的软件、工具、计算和数据资源。”
该意见稿要求，利用生成式人工智能生成的内容应当体现社会主义核心价值观，不得含有颠覆国家政权、推翻社会主义制度，煽动分裂国家、破坏国家统一，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情信息，虚假信息，以及可能扰乱经济秩序和社会秩序的内容。意见稿同时要求，供货商须申报安全评估，采取措施防止歧视，尊重隐私权等。
上述这些国家共同采取的措施提醒我们，当前人工智能的发展带来了巨大的机遇和挑战。我们迫切需要制定明确的伦理准则和法规，以确保人工智能技术的正确使用和透明度。我们将面临着一系列重要问题：如何保障数据隐私和安全？如何应对算法的偏见和不公正？如何确保人工智能的决策透明和可解释性？这些问题需要通过明确的法规和制度来回应。
写到这里，我的思绪莫名地跳转到了最近大火的国产剧《漫长的季节》中，那首题为《漫长的》的诗歌第一段：
打个响指吧，他说
我们打个共鸣的响指
遥远的事物将被震碎
面前的人们此时尚不知情
在这里，我想做一个大胆的预测：当2024年到来，我们来评选2023年度词汇时，ChatGPT会是十大热词之一，甚至可能成为年度词汇或年度人物。
让我们来拆解一下“AI”这个单词吧。如果A代表天使（Angel），那么I可以代表恶魔（Iblis）。如今，人工智能技术正在迅速发展，展现出令人惊叹的“天使和恶魔”的共生关系。面对这一现实，我们需要采取行动，为了一个目标——“让我们享受一个金色的漫长的人工智能的收获之秋，而不是毫无准备地陷入寒冬。”
（作者胡逸，一个喜欢畅想未来的大数据工作者。“未来可期”是胡逸在澎湃科技开设的独家专栏。）
人工智能：新技术的“双刃剑”
李克强在2017年《政府工作报告》中明确指出：“全面实施战略性新兴产业发展规划，加快新材料、人工智能、集成电路、生物制药、第五代移动通信等技术研发和转化,做大做强产业集群。” 这是“人工智能”这一表述第一次进入政府工作报告。
什么是人工智能
人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。当然，最吸引眼球的是几次著名的人机对弈。比如，1997年5月11日，俄罗斯国际象棋大师加里·卡斯帕罗夫以2.5∶3.5输于改进后的“深蓝”计算机，这是在人与计算机之间挑战赛的历史上标志性的一天，计算机在正常时限的比赛中首次击败了等级分排名世界第一的棋手，标志着国际象棋历史的新时代。再比如，在围棋的人机对弈中，2016年谷歌设计开发的阿法狗4∶1胜韩国的李世石。之后，阿法狗的升级版Master更强大，横扫棋坛取得60连胜。
人工智能是对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考，进行深度学习，甚至极有可能超过人的智能。谷歌著名人工智能专家雷·库兹韦尔在《精神机器时代》一书中，就曾提出一个大胆的论断：科技正在以史无前例的速度发展，计算机将能够赶超人类智能的各个方面。而在《奇点临近》一书中，库兹韦尔进一步阐述了这一发展的下一阶段，即人类与机器的联合，即嵌入我们大脑的知识和技巧将与我们创造的容量更大、速度更快、知识分享能力更强。比如，尽管美国主流媒体没有想到特朗普会在美国大选中胜出，但是，孟买人工智能创业公司通过2000万个社交媒体数据点分析了社交媒体上的情绪，准确地预测了美国大选的结果。
它如何影响我们的工作与社会
从诞生以来，人工智能的理论和技术日益成熟，应用领域也不断扩大。著名的信息技术咨询公司加特纳预计，到2018年，全球最大的200家企业大多数都会利用智能应用，并使用大数据的完整工具包和分析工具，来优化自身的产品和改善客户体验。而另外一家著名的咨询公司弗罗斯特预测：各种认知技术将在2025年之前16％的美国工人将被人工智能系统取代，同时，人工智能可以创造相当于劳动力9％的新工作。2002年，美国著名杂志《连线》的创始主编凯文·凯利问：“为什么谷歌要做免费搜索？”尚未成为谷歌CEO的拉里·佩奇回答道，“不，我们在做人工智能。”实际上，谷歌搜索正是一种完善人工智能的尝试：用户在谷歌上的每一次搜索，都是在辅导人工智能进行深度学习。
有鉴于此，我国政府与实业界、研究界一直在推动人工智能的相关工作。2017年的全国科技工作会议中，科技部部长万钢透露目前正在编制人工智能的专项规划，同时还在研究论证人工智能重大项目的立项工作。百度、阿里、腾讯等公司在语音识别、神经网络、图像识别、自然语言处理等方面都有重要的突破，小米也设立了探索实验室，试图尽快推出人工智能重量级产品。而众多传统家电企业在乐视电视的冲击下，也开始在智能电视领域进行布局。艾瑞咨询预测，我国国内人工智能市场将从2015年的12亿元增至2020年的91亿元。
著名学者J. C. R.利克莱德在1960年发表的论文《人机共生》中写道：“在不远的将来，人类的大脑将和计算机紧密融合在一起，由此产生的伙伴关系将会促使人类大脑以前所未有的方式进行思考，并以超越现在我们所知的处理信息数据的方式来处理数据。如今企业中充斥着数据，迫切需要工具来分析和处理信息。全球公司收集的数据量每12个月翻一番，到2020年将达到约44ZT。如果仍然靠人去处理这些数据，显然是不可能的。因为计算机能以“每秒万亿比特”的速度进行通信，而人类与计算机的通信方式主要是用手指在他们的移动设备上打字，速度大约是：每秒10比特。由此，德勤公司提出了机器智能（MI）这个新概念，它包含机器学习、深度学习、认知分析。德勤预测到2019年全球在机器智能上的支出将达313亿美元。
人工智能是一把“双刃剑”
人工智能是一把“双刃剑”，其有可能出现的场景是“机器排斥人工”。比如，全球最大的12家投行里（当然包括高盛），最普通的交易和研究人员的平均年薪都有50万美元，如此这般令人羡慕的岗位也存在被替代的可能。高盛在纽约总部的美国现金股票交易柜台曾经雇用了600名交易员，替投行金主的大额订单进行股票买卖操作。现在只剩下两名股票交易员“留守空房”！目前，高盛三分之一的员工是计算机工程师，而1名计算机工程师可以取代4名交易员。高盛下一步将使首次公开发行过程中约146个步骤进行自动化，可以说“机器排挤和替代人”的领域会进一步扩大。
在人工智能影响就业的问题上，目前存在着较大的分歧。一派是悲观看法，代表人包括：世界著名物理学家斯蒂芬·霍金、特斯拉汽车的创始人伊隆·马斯克等。霍金曾在英国《卫报》的一个专栏中写道：“工厂自动化已经让众多传统制造业工人失业，人工智能的兴起很有可能会让失业潮波及到中产阶级，最后只给人类留下护理、创造和监督工作。”马斯克甚至提出：人类要与机器融合成为“半机械人”，否则将被人工智能淘汰。李开复在《麻省理工技术评论》上指出：人工智能10~15年内就有能力取代我们一半的工作的任务，这将是人类经历的最快的科技革命，我们还没准备好。世界著名的咨询公司麦肯锡研究报告更是悲观地预测：到了2030年，人工智能的影响层面，将冲击到所有体力劳动和服务类的后端操作人员，将近8亿人将失业。据一份花旗银行与牛津大学合作在2016年的报告预测，美国47％的就业岗位可能被机器人代替。在英国，这个比例是35％。而在经合组织国家，平均57％的工作岗位将实现自动化。
然而，另外一派则持有相对乐观的观点如盖洛普的一项调查显示，大多数人认为，AI和机器人肯定可以代替很多人类初级简单的、服务类的工作，但是，人类由此被吸纳到更多新的领域，人类不必担心大量失业！总的来看，大学以上水平受影响最小。此外，人工智能的成本也是需要考虑的因素。李世石对弈一局，所消耗的机器运行成本达到了3000美元。而在此期间，人类对手可能只消耗了一碗石锅拌饭。
人工智能对工作岗位需求的分析
笔者认为，人工智能对工作岗位的需求会进一步增加。具体而言：
第一，最迫切的岗位是与人工智能直接相关的。随着人工智能日益融入人们的生活，对于人工智能人才争夺战也日益白热化。目前，我国人工智能领域合格的研究人员数量仅为30万，其中包括相关研究领域的学生。人工智能的人才缺口却为100万甚至更多。人工智能的研究人才的争夺也推高了他们的年薪，一般而言，我国高级机器学习研究员年薪在60万美元左右，机器学习专家的年薪在30万到40万美元左右。这些薪酬水平堪比华尔街的金融家的薪酬水平啦！
第二，传统产业升级后延伸出新的岗位需求。人工智能可能替代了某些简单的、重复性的岗位，但是，随着产业升级，人工智能又刺激了新的岗位出现。现实的案例也佐证了人们的判断，比如亚马逊已在全球各地的仓库中“雇用”了超过10万台Kiva机器人，大部分执行工作均由其完成。与此同时，又衍生出数千个新型高技术含量的工作机会，亚马逊的人员则更加集中到新的工作岗位上，比如订单配对、货品挑选、消费者行为研究及新品研发。可见，人类与机器人的关系更多的是互补与共赢，而不仅是单纯的替代与排挤。
第三，人工智能的发展，将开创出若干个新的行业。随着人们从日常的繁杂的事务性工作中解脱出来，人们将更多地投入到与美好生活相关的新岗位上去。比如，与人们身体健康相关的产业，人类的休闲产业、养老产业、终身教育产业等，这里潜在的需求非常巨大。10年前，我们对形象设计师、比价员、健康顾问等感觉十分新鲜；今天，我们已经逐步接受了网络主播、红人掌柜、网约车司机；10年后，我们将迎来更多的陌生的职业名称。也许，我们今天的想象力有些黔驴技穷，正如上个世纪的那些巨人预言：当IBM开发出第一台电脑，当时公司的董事长认为全球只需要5台电脑足矣，未来很精彩，远远超过现在我们的想象。
综上所述，人类必须端正态度，我们坚信，人工智能必然会推动新一轮的技术创新浪潮，增加新技术的投入，促进传统产业升级换代，提高投入产出效率，促使全球经济逐步回暖。同时，我们也清醒地意识到，人工智能对劳动就业带来的总量与结构的影响，但是，我们并不因此而悲观，人类应当更加积极面对，提升自己的技能，适应新的技术变革。200年前，自动织布机的出现带来了一些失业问题，失业的织布工人联合起来，以捣毁机器、破坏工厂等极端对立的方式进行抗争，以“卢德运动”而留名于世，这种消极的做法是与历史发展进程相违背的。今天，我们也需要警惕“新卢德分子”，抱残守缺，消极对待新生事物。
谭铁牛：人工智能是一把取决于人类自身的双刃剑—新闻—科学网
谭铁牛：人工智能是一把取决于人类自身的双刃剑
中新社香港11月2日电(龙曼)中央政府驻港联络办公室副主任、中国科学院院士谭铁牛2日在港出席讲座时表示，人工智能作为一项高科技是一把双刃剑，而这把双刃剑是天使还是恶魔，取决于人类自身。
当天，谭铁牛发表名为“人工智能：天使还是魔鬼”的主题演讲，主要从人工智能的基本概念、发展现状及影响、发展趋势及展望三大方面，阐述自己的看法。
他指出，人工智能已成为新一轮科技革命与产业变革的核心驱动力，必将对国际格局产生深刻影响，各国都在加速推进人类社会迈入智能化新时代。当前人工智能已被应用于远距离虹膜识别、步态识别、语音合成、图像篡改检测等多个领域。
他又指，随着人工智能技术的社会影响日益凸显，安全失控、法律失准、伦理失常等社会问题浮出水面，甚至有人利用人工智能进行投机炒作而产生泡沫风险。
对此，他表示，人工智能经过60多年发展已取得一系列重要突破，但整体上仍处于起步阶段，还有很多“不能”，亦具有巨大的创新空间。人类应未雨绸缪，趋利避害，确保发挥人工智能的正面效应，使其造福于人类。
他亦对人工智能未来发展趋势及前景作出展望。他表示，未来人工智能将从专用发展为通用技术；将从“人工+智能”变为自动智能；将逐渐发展为人机混合智能；将推动人类社会进入普惠型的智能时代；其带来的社会问题将得到高度重视，必要时应立法。
谭铁牛当日出席“2018当代杰出华人科学家”系列讲座。该讲座由特区政府康乐及文化事务署、香港科学馆等机构联合举办，至今已邀请超过60位著名科学家发表专题演讲，旨在分享最新科技发展信息，鼓励青年人投身科研工作。
更多阅读 内地与香港科学家勉励年轻人敢于创新 特别声明：本文转载仅仅是出于传播信息的需要，并不意味着代表本网站观点或证实其内容的真实性；如其他媒体、网站或个人从本网站转载使用，须保留本网站注明的“来源”，并自负版权等法律责任；作者如果不希望被转载或者联系转载稿费等事宜，请与我们接洽。霍金北京演讲：人工智能是把双刃剑
著名物理学家史蒂芬·霍金在北京举办的全球移动互联网大会上通过视频进行了演讲。在演讲中，霍金提到人工智能崛起是一把双刃剑，可能是人类文明进步史的一大步，但是也有可能是件很恐怖的事。他认为，人类在不断发展人工智能时，也要警惕。因为一旦人工智能脱离了人类的控制，而不断加速的重新设计自身，而人类因为生物进化的限制，是无法跟上人工智能的进化速度，从而被取代。
以下为霍金演讲内容：
在我的一生中，我见证了社会深刻的变化。其中最深刻的，同时也是对人类影响与日俱增的变化，是人工智能的崛起。简单来说，我认为强大的人工智能的崛起，要么是人类历史上最好的事，要么是最糟的。我不得不说，是好是坏我们仍不确定。但我们应该竭尽所能，确保其未来发展对我们和我们的环境有利。我们别无选择。我认为人工智能的发展，本身是一种存在着问题的趋势，而这些问题必须在现在和将来得到解决。
人工智能的研究与开发正在迅速推进。也许我们所有人都应该暂停片刻，把我们的研究重复从提升人工智能能力转移到最大化人工智能的社会效益上面。基于这样的考虑，美国人工智能协会（AAAI）于2008至2009年，成立了人工智能长期未来总筹论坛，他们近期在目的导向的中性技术上投入了大量的关注。但我们的人工智能系统须要按照我们的意志工作。跨学科研究是一种可能的前进道路：从经济、法律、哲学延伸至计算机安全、形式化方法，当然还有人工智能本身的各个分支。
文明所提产生的一切都是人类智能的产物，我相信生物大脑可以达到的和计算机可以达到的，没有本质区别。因此，它遵循了“计算机在理论上可以模仿人类智能，然后超越”这一原则。但我们并不确定，所以我们无法知道我们将无限地得到人工智能的帮助，还是被藐视并被边缘化，或者很可能被它毁灭。的确，我们担心聪明的机器将能够代替人类正在从事的工作，并迅速地消灭数以百万计的工作岗位。
在人工智能从原始形态不断发展，并被证明非常有用的同时，我也在担忧创造一个可以等同或超越人类的事物所导致的结果：人工智能一旦脱离束缚，以不断加速的状态重新设计自身。人类由于受到漫长的生物进化的限制，无法与之竞争，将被取代。这将给我们的经济带来极大的破坏。未来，人工智能可以发展出自我意志，一个与我们冲突的意志。尽管我对人类一贯持有乐观的态度，但其他人认为，人类可以在相当长的时间里控制技术的发展，这样我们就能看到人工智能可以解决世界上大部分问题的潜力。但我并不确定。
在人工智能从原始形态不断发展，并被证明非常有用的同时，我也在担忧创造一个可以等同或超越人类的事物所导致的结果：人工智能一旦脱离束缚，以不断加速的状态重新设计自身。人类由于受到漫长的生物进化的限制，无法与之竞争，将被取代。这将给我们的经济带来极大的破坏。未来，人工智能可以发展出自我意志，一个与我们冲突的意志。尽管我对人类一贯持有乐观的态度，但其他人认为，人类可以在相当长的时间里控制技术的发展，这样我们就能看到人工智能可以解决世界上大部分问题的潜力。但我并不确定。
2015年1月份，我和科技企业家埃隆·马斯克，以及许多其他的人工智能专家签署了一份关于人工智能的公开信，目的是提倡就人工智能对社会所造成的影响做认真的调研。在这之前，埃隆·马斯克就警告过人们：超人类人工智能可能带来不可估量的利益，但是如果部署不当，则可能给人类带来相反的效果。我和他同在“生命未来研究所”的科学顾问委员会，这是一个为了缓解人类所面临的存在风险的组织，而且之前提到的公开信也是由这个组织起草的。这个公开信号召展开可以阻止潜在问题的直接研究，同时也收获人工智能带给我们的潜在利益，同时致力于让人工智能的研发人员更关注人工智能安全。此外，对于决策者和普通大众来说，这封公开信内容翔实，并非危言耸听。人人都知道人工智能研究人员们在认真思索这些担心和伦理问题，我们认为这一点非常重要。比如，人工智能是有根除疾患和贫困的潜力的，但是研究人员必须能够创造出可控的人工智能。那封只有四段文字，题目为《应优先研究强大而有益的人工智能》的公开信，在其附带的十二页文件中对研究的优先次序作了详细的安排。
在过去的20年里，人工智能一直专注于围绕建设智能代理所产生的问题，也就是在特定环境下可以感知并行动的各种系统。在这种情况下，智能是一个与统计学和经济学相关的理性概念。通俗地讲，这是一种做出好的决定、计划和推论的能力。基于这些工作，大量的整合和交叉孕育被应用在人工智能、机器学习、统计学、控制论、神经科学、以及其它领域。共享理论框架的建立，结合数据的供应和处理能力，在各种细分的领域取得了显著的成功。例如语音识别、图像分类、自动驾驶、机器翻译、步态运动和问答系统。
随着这些领域的发展，从实验室研究到有经济价值的技术形成良性循环。哪怕很小的性能改进，都会带来巨大的经济效益，进而鼓励更长期、更伟大的投入和研究。目前人们广泛认同，人工智能的研究正在稳步发展，而它对社会的影响很可能扩大，潜在的好处是巨大的，既然文明所产生的一切，都是人类智能的产物；我们无法预测我们可能取得什么成果，当这种智能是被人工智能工具放大过的。但是，正如我说过的，根除疾病和贫穷并不是完全不可能，由于人工智能的巨大潜力，研究如何（从人工智能）获益并规避风险是非常重要的。
现在，关于人工智能的研究正在迅速发展。这一研究可以从短期和长期来讨论。一些短期的担忧在无人驾驶方面，从民用无人机到自主驾驶汽车。比如说，在紧急情况下，一辆无人驾驶汽车不得不在小风险的大事故和大概率的小事故之间进行选择。另一个担忧在致命性智能自主武器。他们是否该被禁止？如果是，那么“自主”该如何精确定义。如果不是，任何使用不当和故障的过失应该如何问责。还有另外一些担忧，由人工智能逐渐可以解读大量监控数据引起的隐私和担忧，以及如何管理因人工智能取代工作岗位带来的经济影响。
长期担忧主要是人工智能系统失控的潜在风险，随着不遵循人类意愿行事的超级智能的崛起，那个强大的系统威胁到人类。这样错位的结果是否有可能？如果是，这些情况是如何出现的？我们应该投入什么样的研究，以便更好的理解和解决危险的超级智能崛起的可能性，或智能爆发的出现？
当前控制人工智能技术的工具，例如强化学习，简单实用的功能，还不足以解决这个问题。因此，我们需要进一步研究来找到和确认一个可靠的解决办法来掌控这一问题。
近来的里程碑，比如说之前提到的自主驾驶汽车，以及人工智能赢得围棋比赛，都是未来趋势的迹象。巨大的投入倾注到这项科技。我们目前所取得的成就，和未来几十年后可能取得的成就相比，必然相形见绌。而且我们远不能预测我们能取得什么成就，当我们的头脑被人工智能放大以后。也许在这种新技术革命的辅助下，我们可以解决一些工业化对自然界造成的损害。关乎到我们生活的各个方面都即将被改变。简而言之，人工智能的成功有可能是人类文明史上最大的事件。
但是人工智能也有可能是人类文明史的终结，除非我们学会如何避免危险。我曾经说过，人工智能的全方位发展可能招致人类的灭亡，比如最大化使用智能性自主武器。今年早些时候，我和一些来自世界各国的科学家共同在联合国会议上支持其对于核武器的禁令。我们正在焦急的等待协商结果。目前，九个核大国可以控制大约一万四千个核武器，它们中的任何一个都可以将城市夷为平地，放射性废物会大面积污染农田，最可怕的危害是诱发核冬天，火和烟雾会导致全球的小冰河期。这一结果使全球粮食体系崩塌，末日般动荡，很可能导致大部分人死亡。我们作为科学家，对核武器承担着特殊的责任，因为正是科学家发明了它们，并发现它们的影响比最初预想的更加可怕。
现阶段，我对灾难的探讨可能惊吓到了在座的各位。很抱歉。但是作为今天的与会者，重要的是，你们要认清自己在影响当前技术的未来研发中的位置。我相信我们团结在一起，来呼吁国际条约的支持或者签署呈交给各国政府的公开信，科技领袖和科学家正极尽所能避免不可控的人工智能的崛起。
去年10月，我在英国剑桥建立了一个新的机构，试图解决一些在人工智能研究快速发展中出现的尚无定论的问题。“利弗休姆智能未来中心”是一个跨学科研究所，致力于研究智能的未来，这对我们文明和物种的未来至关重要。我们花费大量时间学习历史，深入去看——大多数是关于愚蠢的历史。所以人们转而研究智能的未来是令人欣喜的变化。虽然我们对潜在危险有所意识，但我内心仍秉持乐观态度，我相信创造智能的潜在收益是巨大的。也许借助这项新技术革命的工具，我们将可以削减工业化对自然界造成的伤害。
我们生活的每一个方面都会被改变。我在研究所的同事休·普林斯承认，“利弗休姆中心”能建立，部分是因为大学成立了“存在风险中心”。后者更加广泛地审视了人类潜在问题，“利弗休姆中心”的重点研究范围则相对狭窄。
人工智能的最新进展，包括欧洲议会呼吁起草一系列法规，以管理机器人和人工智能的创新。令人感到些许惊讶的是，这里面涉及到了一种形式的电子人格，以确保最有能力和最先进的人工智能的权利和责任。欧洲议会发言人评论说，随着日常生活中越来越多的领域日益受到机器人的影响，我们需要确保机器人无论现在还是将来，都为人类而服务。向欧洲议会议员提交的报告，明确认为世界正处于新的工业机器人革命的前沿。报告中分析的是否给机器人提供作为电子人的权利，这等同于法人（的身份），也许有可能。报告强调，在任何时候，研究和设计人员都应确保每一个机器人设计都包含有终止开关。在库布里克的电影《2001太空漫游》中，出故障的超级电脑哈尔没有让科学家们进入太空舱，但那是科幻。我们要面对的则是事实。奥斯本·克拉克跨国律师事务所的合伙人，洛纳·布拉泽尔在报告中说，我们不承认鲸鱼和大猩猩有人格，所以也没有必要急于接受一个机器人人格。但是担忧一直存在。报告承认在几十年的时间内，人工智能可能会超越人类智力范围，人工智能可能会超越人类智力范围，进而挑战人机关系。报告最后呼吁成立欧洲机器人和人工智能机构，以提供技术、伦理和监管方面的专业知识。如果欧洲议会议员投票赞成立法，该报告将提交给欧盟委员会。它将在三个月的时间内决定要采取哪些立法步骤。
我们还应该扮演一个角色，确保下一代不仅仅有机会还要有决心，在早期阶段充分参与科学研究，以便他们继续发挥潜力，帮助人类创造一个更加美好的的世界。这就是我刚谈到学习和教育的重要性时，所要表达的意思。我们需要跳出“事情应该如何”这样的理论探讨，并且采取行动，以确保他们有机会参与进来。我们站在一个美丽新世界的入口。这是一个令人兴奋的、同时充满了不确定性的世界，而你们是先行者。我祝福你们。
人工智能是一把“双刃剑”
原标题：人工智能是一把“双刃剑”在当前的数字化时代，人工智能已经渗透到我们的生活之中，成为了我们日常生活中不可或缺的一部分。AI的发展方便了我们的生活方式，同时也给人类带来了许多新的问题和挑战。
5月22日“AI诈骗正在全国爆发”的词条登上了微博热搜榜；5月9日“AI孙燕姿”爆火出圈；5月7日，一名男子利用ChatGPT技术编造假新闻，引起了社会的广泛关注。今年以来，以ChapGPT为代表的AI技术应用大爆发，各种大模型层出不穷，AI技术的广泛应用大大降低了网络犯罪的门槛。
加强人工智能监管约束，应当从规范制度体系和组织层面着手。从规范制度体系层面要加强三方面监管：一是通过伦理范畴来进行规范，二是通过标准规范方式来约束技术的使用，三是通过法律法规来加强监管，让技术及其产品在经济社会中规范使用。从组织层面也要加强规范：一是研发技术和产品的企业对风险要进行自控，二是相关行业协会对人工智能技术和产品的研发和使用要进行自律，三是政府要通过制定法律法规来促进和约束人工智能及其产品的使用，这是对技术和产品风险控制的“最后一道防线”。
未来可以通过促进人机融合，培养更多能够与人工智能技术协同工作的人才，为实现人机共生、人工智能与人类的和谐共处打下基础；确保其应用符合法律法规和道德标准，防止恶意不当使用；增强公众的理解和认知，减少不必要的担忧和误解。（马尔康镇戴传震）返回搜狐，查看更多
责任编辑：