生成式人工智能的风险挑战与监管框架——兼谈《生成式人工智能服务管理办法（征求意见稿）》
武丹/制图
作者|马永强
责编|薛应军
正文共2513个字，预计阅读需7分钟▼
4月11日，国家互联网信息办公室发布《生成式人工智能服务管理办法（征求意见稿）》（以下简称《征求意见稿》）向社会公开征求意见，拟进一步促进生成式人工智能技术健康发展和规范应用，对类似ChatGPT、Midjourney、文心一言等生成式人工智能服务提出明确合规要求。
生成式人工智能的风险挑战与监管回应
生成式人工智能，是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术，它可以凭借自主学习和自我优选的技术能力，实现较好的内容生成效果，在传媒、零售、法律、医疗、金融等领域提供专业化、个性化内容生成服务。从ChatGPT到百度的文心一言，再到OpenAI公司发布的最新版本GPT-4等各类生成式人工智能，一场生成式人工智能技术热与淘金热正愈演愈烈。
然而，由于生成式人工智能所生成的内容直接与其输入数据源密切相关，且输入数据类型和输出内容携带的价值判断往往多种多样且参差不齐，这使得在技术开发与使用过程中面临全新的法律规制风险与科技伦理挑战，如数据源违规收集、算法失控风险、内容真假难辨、虚假信息泛滥、隐私保护缺位、侵害知识产权以及不正当竞争等问题。这将不可避免地打破技术创新与安全管控的平衡，给监管提出前所未有的挑战。
对此，共21条的《征求意见稿》从不同角度对开发和利用生成式人工智能的行为作了监管回应，对生成式人工智能服务提供者提出遵守法律法规尊重社会公德公序良俗的基础原则性要求，明确人工智能服务提供者的准入手续、产品责任、训练数据来源合法性责任、个人信息保护义务、内容管控义务、标识义务等以及违反规定后将面临的责任追究等问题。
生成式人工智能应用的全过程监管框架
《征求意见稿》形成了关于生成式人工智能应用的全过程监管框架。从准入门槛到技术研发、算法设计、数据训练，再到产品使用和事后反馈，均被纳入监管。
首先，准入环节严格，《征求意见稿》规定了生成式人工智能的安全评估与算法备案制度，如第六条明确，生成式人工智能产品向公众提供服务前，应当按照《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》向国家网信部门申报安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案等手续。这成为人工智能服务提供者开展生成式人工智能服务的前置性要求。该规定承继了《互联网信息服务深度合成管理规定》第十九条、第二十条的管理原则，有助于国家监管机构借助外部监督对生成式人工智能产品的潜在风险进行事前评估，增强人工智能产品的安全性、可解释性及可问责性。
其次，《征求意见稿》针对生成式人工智能产品的技术开发和服务提供过程，明确了内容治理方面的要求。生成式人工智能的发展，进一步强化了深度合成技术治理场景下各类虚假信息的制造和传播风险。对此，《征求意见稿》第四条对内容治理的基本原则作了具体规定，明确生成式人工智能的生成内容应当避免出现法律法规禁止或限制的行为和内容，应当尊重社会公德、公序良俗，体现社会主义核心价值观。该条还特别指出，利用生成式人工智能生成的内容应当真实准确，并要求人工智能服务提供者采取措施防止生成虚假信息。此外，《征求意见稿》还具体明确了人工智能服务提供者的内容生产者责任、内容管控义务及举报义务、违法信息的及时处置义务以及生成内容的审核标识义务，并就不得生成歧视性信息的问题作了明确规定。这有助于防止利用生成式人工智能开展社会舆论操纵、认知对抗等扰乱网络社会秩序的行为发生。
最后，《征求意见稿》针对生成式人工智能产品的算法设计、数据训练、产品使用与事后反馈过程，明确规定了数据合规、算法安全、知识产权保护以及用户权益保护等方面的要求。除对知识产权侵权、个人信息安全、数据泄露风险、不正当竞争等传统数字治理领域风险的规制外，《征求意见稿》还明确规定了人工智能服务提供者应当对生成式人工智能产品的预训练数据、优化训练数据来源的合法性负责，并强化了数据训练过程中的算法合规要求，这有助于避免算法歧视和信息茧房等问题。此外，《征求意见稿》还特别回应了用户权益保护的监管要求，在第四条原则性规定的基础上，要求生成式人工智能产品服务提供者履行防沉迷义务、个人信息保护义务、用户教育义务，确保服务安全稳健透明，并建立了投诉处理机制。
全球人工智能科技竞争背景下的监管框架完善
评判当前生成式人工智能的监管框架是否合理，除考量其是否能有效应对当前技术变革带来的风险挑战外，还需立足于全球人工智能服务科技竞争的大背景，判断其是否有助于引领我国相关行业创新。值得肯定的是，《征求意见稿》提出的关于数据标注以及生成内容真实准确性问题，有助于倒逼科技创新者进行技术迭代和创新；在处罚措施方面的规定相对克制，给出了鼓励发展、强化沟通的监管信号。结合《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》等既有法律法规，我国在人工智能领域的法律治理体系已初步形成，这将引领人工智能产业朝着合规方向稳健发展。
仍待完善的是，《征求意见稿》对于人工智能服务提供者的合规要求可能标准过高，很难落地，也容易抑制技术创新。例如，《征求意见稿》明确了人工智能服务提供者对不法内容进行过滤、防止再次生成的内容管控义务。然而在实践中，为有效过滤不法信息，要求在内容生成阶段就必须同步进行监测与审核，这对相关技术开发提出了较高要求。对新技术的治理，需要在创新发展与风险规避之间寻求平衡，阻碍技术创新带来的风险可能远远大于技术应用的风险。因此，在生成式人工智能技术早期探索阶段，应当适度降低内容审查方面的要求，只要求人工智能服务提供者在现有技术可及的监测能力之合理范围内对人工智能生成内容承担管控义务。又如，由于当前相关技术尚处于发展初期，人工智能生成内容很难保证完全真实准确，因此《征求意见稿》所提出的防止生成虚假信息、从数据源头确保数据标注真实准确等要求，应当被理解为一种监管政策的引导，不宜在实践中被机械地运用，否则将可能极大削弱相关企业的创新积极性。
（作者单位：大连海事大学法学院）
原标题：《生成式人工智能的风险挑战与监管框架——兼谈《生成式人工智能服务管理办法（征求意见稿）》》
阅读原文
人工智能三问：如何改变世界如何安全发展有哪些新应用
生成式人工智能将如何改变世界？智能生活是否已悄然而至？人工智能如何安全发展？……18日，在天津拉开帷幕的第七届世界智能大会上，千余位院士专家与企业家一起，深入探讨人工智能对经济发展、社会进步产生的深远影响，用碰撞的智慧描绘出未来图景。
生成式人工智能将带来哪些改变？
随着以ChatGPT为代表的一批现象级应用出现，生成式人工智能进入大众视野，也成为本届大会与会嘉宾们交流的焦点话题。
中国科学技术协会主席万钢表示，协会每年都紧密跟踪研究人工智能领域科学新发现、技术新发展，今年重点对生成式人工智能的平台、企业开展了深入调研。
“人工智能领域最引人注目的变化，就是生成式人工智能的横空出世。”世界工程组织联合会前主席、中国新一代人工智能发展战略研究院执行院长龚克认为，这推动了人工智能从区分事物、单任务的辨别式工具，发展到综合理解事物、多任务的生成式工具，为各行各业的智能化提供新动能，同时也对数据、算法、算力、网络基础等提出了新要求。
科大讯飞董事长刘庆峰判断，人机交互的根本性变革，会为科研、办公、工业互联网等带来颠覆和机遇。360集团创始人周鸿祎也表示，“这是一个巨大的拐点。”
面对可能的“拐点”，近期“人工智能是否会导致部分人类失业”的话题引发热议。百度创始人、董事长兼首席执行官李彦宏对此保持乐观态度，他表示，“我不担心大模型会导致人类工作机会减少。”在他看来，关掉创新引擎才是最大的威胁。
总部位于英国的拟未大中华区总经理卢涛提出了一个有趣的概念，人类应该成为“主驾驶员”，而人工智能应该是“副驾驶员”。
人工智能有哪些新应用？
借助智能传感设备，展示车辆正准确识别道路情况，完成路线矫正优化。一键下载App，车辆运行状态、路况信息一目了然。在世界智能大会智能网联车体验区，车联网技术的应用引得不少观众驻足。
“近年来，在新一轮科技革命和产业变革的春天里，智能网联汽车汇集了汽车、信息通信、人工智能、大数据等各行业各领域的资源和力量，正逐渐开花结果。”中国汽车技术研究中心有限公司董事长安铁成说。
万钢认为，随着各行业、各领域对人工智能需求的日益增长，与实体经济深度融合的新模式不断涌现，形成了具有中国特色的研发体系和应用生态。
走进世界智能大会的会场，能够清晰地触摸到“智能已不遥远”，智能生活已在潜移默化中纷然而至。
输入患者基本信息，过往病史就会自动录入以协助医生诊断；根据主诉症状，系统还会给出诊断建议供医生参考……在科大讯飞的展台上，一款智能医疗辅助系统令人眼前一亮。通过人工智能学习医疗知识，目前该系统已能够辅助诊断1400余种疾病，并落地应用。
近年来，“智能+医疗”的模式在我国各级医疗机构中不断应用，从智能药品管理到辅助诊疗系统，在减轻医护人员负担的同时，也令医疗服务“提速增量”，惠及更多人。
“比如在脑科学研究领域，引入智能技术辅助测试判断，就能更精确地进行功能区划分与病理研究。”在天津大学副校长明东看来，智能化浪潮势必成为未来医疗技术领域科研及应用的助力。
“可以说，‘智能’作为数字时代基础性的技术和内生型动力，正成为重组全球要素资源、重塑全球经济结构、改变全球竞争格局的重要变量。”中国联通董事长刘烈宏说。
人工智能如何安全发展？
人工智能加速变革的同时，针对它的伦理规范、风险框架以及治理理念和模式的探索，在大会上被广泛关注。营造创新生态、重视防范风险，正在成为我国人工智能发展的共识。
中国科学院院士管晓宏认为，安全性如果得不到保证，人工智能系统的应用将会受到极大的挑战。安铁成也表示，网络和数据安全的风险日益成为影响产业发展和国际安全的重要因素。
安铁成说，这需要集合全行业力量，也需要政府部门加强引导、规范才能得到有效解决。英国驻华贸易使节吴侨文也认为，各国应当共同努力、互相交流，以应对这项新技术带来的挑战和风险。
人工智能的发展还可能带来更多潜在问题。中国科学技术大学网络空间安全学院教授左晓栋表示，人工智能技术发展带来的全球经济结构调整将引导全球资本和人才进一步流向技术领导国，使发展中国家实现现代化的机遇受限。
与会专家认为，问题不容忽视，机遇更加难得。我国已发布《新一代人工智能治理原则——发展负责任的人工智能》《新一代人工智能伦理规范》等，业内对人工智能发展安全也在作出更为审慎的判断。
万钢表示，要进一步推动科技伦理、规范、标准和技术的融合，为智能体构建与科技向善的人类共同理念相契合的学习、理解和行为模式，以及更具安全性、可靠性、有效性的行为边界，让智能体系能理解并践行人类社会的共同价值观念。
生成式人工智能如何彻底改变游戏开发的现有局面
0分享至生成式人工智能可自主制作身临其境的游戏元素。生成式人工智能加速了游戏开发，改变了传统的时间表。生成人工智能(AI)的出现代表了游戏行业的重大飞跃。这种尖端的人工智能形式以其生成动态和新内容的能力而闻名，为无数的创意机会铺平了道路，彻底改变了开发者和玩家与游戏的互动方式。生成式人工智能利用深度学习、神经网络和各种机器学习策略等技术，从特定数据集和输入生成原始内容。ChatGPT、DALL·E2、BingAI和GoogleBard等更易于访问的人工智能在各个领域留下了相当大的印记。具体而言，游戏行业受益于一套强大的工具，能够以自动化、高效的方式创建3D模型、动画和故事情节等独特内容。游戏开发者面临的主要挑战之一始终是创建大规模、身临其境的内容以保持玩家的参与度。然而，生成式人工智能通过自主生成令人惊叹的环境和迷人的角色等游戏元素，正在彻底改变这一方面。它为开发者提供了前所未有的机会来创建几乎无限的游戏世界，确保玩家每次玩游戏时都能获得新鲜的体验。根据Market.us的数据，2022年全球游戏生成人工智能市场价值为9.22亿美元。预计2023年至2032年间，该市场的复合年增长率将达到23.3%，到2032年该市场的估值将达到71.05亿美元。生成人工智能在游戏开发中发挥着关键作用，促进开发人员、艺术家和设计师之间的协同过程。它使艺术家能够制作生动的视觉效果、栩栩如生的角色和逼真的环境。同时，开发人员可以自动执行关卡设计或错误检测等日常任务，从而使他们能够专注于更具创新性的实践。此外，生成式人工智能通过实现资产的实时生成和共享来改善游戏开发中的协作。摆平然而，这项技术在游戏行业也受到了一些批评。一个值得注意的例子是几个月前，SquanchGames因在其游戏《HighOnLife》中融入人工智能生成的艺术而受到批评。据GamesBeatNews报道，前首席执行官JustinRoiland坚持使用Midjourney的人工智能生成艺术的决定。他认为，此类艺术作品以适当的超现实主义美学丰富了游戏的外星球背景，并贡献了“奇怪、有趣的想法”。另一个例子是GoodLuckHaveFun报告显示，NinjaTheory等公司使用AlteredAI的库来生成声音表演。此举引发了一些抵制，尤其是配音演员，他们认为人工智能在没有公平报酬的情况下复制了他们的作品。当上传到Artstation的所有艺术品都会自动选择共享人工智能训练数据时，这种担忧蔓延到了艺术界。尽管如此，EpicGames首席执行官TimSweeney在Twitter上捍卫了这一政策，强调了版权法下合理使用的重要性。近几个月来，关于人工智能工具在游戏开发中的应用的对话已经成熟。开发人员一直在展示生成式人工智能在其领域的潜在优势。例如，韩国开发商NCSoft在“ProjectM”的预告片中展示了其新的人工智能驱动的面部动画和声音技术。该项目使用Epic的虚幻引擎5创建，使用人工智能根据用户提供的文本和声音生成对话和动作。上个月，法国巨头育碧推出了新的人工智能写作程序Ghostwriter。Ghostwriter由UbisoftLaForge研发部门开发，可帮助编剧制作NPC“吠叫”或玩家触发事件时游戏中角色所说的简短短语。育碧很快澄清，该工具的目的是消除作家的单调任务，而不是取代他们。最后，最重要的游戏公司之一Roblox最近为其游戏创作者推出了基于人工智能的工具，例如复制照明的材质生成器和用于更快、更直观编码的人工智能代码助手。考虑到Roblox广泛的开发者社区，这些工具为许多创作者带来了生成式人工智能。尽管受到批评，知名游戏开发商对这些工具的关注和使用不断增加，这表明生成式人工智能（RobloxStudios负责人StefanoCorazza将其比作互联网的崛起）将继续存在。游戏开发者认识到生成式人工智能是一种变革性工具，其广泛采用似乎是不可避免的。生成式AI已证明其作为增强游戏开发测试和质量保证(QA)协议的重要资产的潜力。其自动化游戏测试各个方面的能力带来了许多优势，包括提高准确性和提高运营效率。创建测试用例：可以配置人工智能工具来生成一系列测试用例，确保对游戏的所有方面进行彻底检查。识别错误并对其进行排名：人工智能可以帮助开发人员快速准确地检测错误，并根据其严重性和影响对其进行排名。预测分析：人工智能可以分析游戏数据以预测潜在问题，使开发人员能够在问题发展成重大问题之前主动解决它们。通过利用人工智能算法和机器学习方法，开发人员可以加快错误和其他问题的检测和解决速度，从而为玩家提供更流畅、更具吸引力的游戏体验。让我们看一下生成式人工智能在游戏开发中的应用的一些现实实例：《无人深空》：这款流行的太空探索游戏使用生成式人工智能来创建无数种独特的行星、生物和环境，丰富了每个玩家体验的独特性。游戏的算法会动态生成这些元素，确保每个玩家都有独特的游戏体验。Spelunky2：作为一款程序生成的平台游戏，Spelunky2使用生成式AI来创建玩家必须导航的随机关卡。游戏的算法根据特定的规则和参数创建这些级别，使每次游戏都成为一种新的、具有挑战性的体验。《Frostpunk》：在这款城市建设游戏中，生成式AI会创建随机事件以及玩家必须克服的挑战。游戏的人工智能系统根据玩家的决定调整这些事件，使游戏更具挑战性和不可预测性。《旺达与巨像》：《旺达与巨像》的重制版利用生成式人工智能来提升游戏的视觉效果和性能。集成的AI机制细化了纹理质量和灯光效果，增强了游戏的沉浸感。随着技术的不断发展，生成式人工智能将在塑造游戏的未来方面发挥至关重要的作用。它旨在提供身临其境、引人入胜的体验，突破创造力和参与度的界限，为玩家提供全新水平的互动性和乐趣。特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice:Thecontentabove(includingthepicturesandvideosifany)isuploadedandpostedbyauserofNetEaseHao,whichisasocialmediaplatformandonlyprovidesinformationstorageservices.
/阅读下一篇/返回网易首页下载网易新闻客户端