博舍

加快发展新一代人工智能 经典的人工智能算法

加快发展新一代人工智能

  理解提问,快速给出回答;训练声音,翻唱经典歌曲;根据描述,绘出趣味画作……近期,基于大模型研发的生成式人工智能,展示了在语言理解和内容生成等方面的出色能力,引发社会关注。

  大模型赋能,生成式人工智能正在引发新一轮智能化浪潮。得益于拥有庞大的数据、参数以及较好的学习能力,大模型增强了人工智能的通用性。从与人顺畅聊天到写合同、剧本,从检测程序安全漏洞到辅助创作游戏甚至电影……生成式人工智能本领加速进化。随着技术迭代,更高效、更“聪明”的大模型将渗透到越来越多的领域,有望成为人工智能技术及应用的新基座,变成人们生产生活的基础性工具,进而带来经济社会发展和产业的深刻变革。人工智能大模型强大的创新潜能,使其成为全球竞争的焦点之一。

  经过多方努力,我国人工智能大模型已具有一定基础。在2023中关村论坛上发布的《中国人工智能大模型地图研究报告》显示,中国人工智能大模型正呈现蓬勃发展态势。据不完全统计,截至目前,10亿级参数规模以上的大模型全国已发布了79个。我国在大模型方面已建立起涵盖理论方法和软硬件技术的体系化研发能力。也应看到,人工智能大模型离不开多项技术的融合创新。在前沿基础理论和算法上,我国与国际先进水平还存在差距。筑牢智能时代的根基,需要瞄准短板,着力推动大模型领域生成式算法、框架等原创性技术突破。同时,还应发挥我国应用场景优势,进一步深耕垂直领域,以行业专有训练数据集为基础,打造金融、医疗、电力等领域的专业大模型。要以高质量应用和数据反馈技术优化,帮助大模型迭代升级。

  数据质量影响大模型“智商”。国际上一些大模型之所以领先,与大量公开高质量数据的训练息息相关。我国有海量数据和丰富应用场景,应逐步开放共享优质数据,通过制定共享目录和共享规则等方式,推动数据分级分类有序开放,让流动数据激发创新活力。例如,前不久印发的《深圳市加快推动人工智能高质量发展高水平应用行动方案(2023—2024年)》提出,“建立多模态公共数据集,打造高质量中文语料数据”。期待各地各行业从实际出发,加强高质量数据供给,为大模型成长提供充足“养料”。

  人工智能大模型研发周期长、投入大、风险高。经过数年持续研发,国际领先的大模型聚集了较好的资源和人才。当前,我国不少高校院所、企业正在做研发工作,在大模型、大数据、大算力等方面各有侧重,研发力量较为分散。作为追赶者,有必要进一步强化企业科技创新主体地位,整合优势创新资源,推动形成大模型产学研攻坚合力。

  人工智能大模型带来的治理挑战也不容忽视。营造良好创新生态,需做好前瞻研究,建立健全保障人工智能健康发展的法律法规、制度体系、伦理道德。为促进生成式人工智能技术健康发展和规范应用,今年4月,国家互联网信息办公室发布《生成式人工智能服务管理办法(征求意见稿)》。新技术应用往往先于规范。着眼未来,在重视防范风险的同时,也应同步建立容错、纠错机制,努力实现规范与发展的动态平衡。

  人工智能是新一轮科技革命和产业变革的重要驱动力量,加快发展新一代人工智能是事关我国能否抓住新一轮科技革命和产业变革机遇的战略问题。从战略高度着手,凝聚合力、攻坚克难、勇于创新,努力拓展理论和技术应用空间,必能更好培育壮大新动能,构筑发展新优势。(喻思南)

营造人工智能大模型产业生态

推动人工智能大模型产业化应用是提升国家竞争力的关键举措。要抢占人工智能大模型产业发展制高点,必须加强战略规划和深度治理,推进新型算力生态基础设施建设,打造稳定可靠的算法开源生态。

不久前举办的中关村论坛人工智能大模型发展分论坛发布的《中国人工智能大模型地图研究报告》提出,我国自2020年进入大模型快速发展期,目前与美国保持同步增长态势。当前,我国人工智能大模型已发布79个。此前召开的中共中央政治局会议提出,要重视通用人工智能发展,营造创新生态,重视防范风险。推动人工智能大模型产业化应用,是加快实现我国人工智能领域高水平科技自立自强的应时之举,也是推动我国产业优化升级、实现经济高质量发展的重要一招,更是提升国家竞争力、维护国家安全的关键举措。

营造良好的人工智能大模型产业生态,应着力解决目前我国人工智能大模型发展面临的高端算力技术不可控、大规模高质量数据集少、算法可靠性和可解释性弱等核心问题。目前,由GPU、FPGA、ASIC等加速芯片异构而成的人工智能高端算力芯片技术面临“卡脖子”风险。在高效低碳的算力网络基础设施方面,跨省域互联互通与动态调配的机制尚未建立,规模化的高端算力供给能力亟待提升。同时,高质量数据供给不足影响了大模型“智商”。这体现在高价值公共数据开放程度不足、行业及企业数据要素市场化流通不够充分、用于大模型训练的数据集规模较小等。此外,算法可解释性不强也影响了大模型的产业化应用。拥有千亿级参数的大模型算法,开发难度大、训练难度高、决策过程及结果的可解释性差、合规评估难,直接对行业大模型开发的进程有所影响。

基于此,要抢占人工智能大模型产业发展制高点,必须加强源头技术创新,打赢软硬件基础设施国产化攻坚战,化解大模型关键核心技术被“卡脖子”的风险,多措并举推动人工智能大模型产业化应用。

首先,推进新型算力生态基础设施建设。实施高端算力芯片研发重大专项扶持计划,鼓励头部企业联合高水平大学“揭榜挂帅”。建立新型研发机构,推动国产高端算力芯片实现突破。在国家“东数西算”工程背景下,推动新型算力网络基础设施建设的顶层设计,建设国家公共算力开放创新平台,搭建算力生态链,推动全国算力资源互联互通、协同共享与优化配置。

其次,构建规模大、质量高的数据生态。完善国家公共数据开放标准和平台,推动高价值公共数据开放与多元化授权运营,引导行业、企业大数据有条件开放、融通并进场交易,形成多模态、多领域的大规模数据集。打造数据集精细化标注的众包服务平台和数据质量评估标准体系,建设高质量中文语料库。构建敏感领域数据隐私保护的监管体系和技术服务体系。

再次,打造稳定可靠的算法开源生态。建立大模型算法及工具开源平台,完善具有稳定性、可靠性和安全性的算法监测标准和技术体系。实施行业大模型产品和服务的登记备案、安全评估及潜在风险预测的审查机制。鼓励平台企业积极开展算法创新探索与应用,赋能中小企业降本增效并创新商业模式,深化数字化转型并引领高质量发展。

最后,加强人工智能大模型的战略规划和深度治理。制定人工智能大模型产业发展规划,对大模型技术研发和产业应用给予相应的政策、资金和人才等支持。推动算力、算法、数据、应用场景等上下游产业无缝衔接与协同联动,实现大模型产业相关要素跨语言、跨模态、跨任务、跨行业融合发展。加强人工智能大模型深度治理的国际合作,推动技术向善发展,促进大模型产业高质量发展。(何喜军张惠娜)

[责编:陶媛]

DeepMind 的人工智能系统 AlphaDev 发现的排序算法可能彻底改变计算基础

站长之家(ChinaZ.com)6月8日消息: 谷歌的人工智能研究实验室DeepMind通过其最新的AI系统AlphaDev,在计算机科学领域取得了一项重大成就。AlphaDev是AlphaZero的一个专门版本,通过发现更快的排序和散列算法,为全球开发人员在数据排序、存储和检索方面提供了必不可少的处理过程,每天使用数万亿次。

DeepMind在今天发表在科学杂志《自然》上的一篇论文中表示,与C++库中的算法相比,AlphaDev的新算法在对短序列元素进行排序时效率提高了70%,对超过250,000个元素的序列提高了约1.7%。因此,当用户提交搜索查询时,AlphaDev的算法可以更快地对结果进行排序,从而在大规模应用时节省大量时间和能源。

此外,该系统还发现了一种更快的散列算法,在数据中心中将哈希函数应用于9到16字节范围内时,效率提高了30%。

革新计算机科学

DeepMind认为这一重大成就将彻底改变计算机科学,并带来效率和效果的提升。

DeepMind的研究员表示:「AlphaDev发现了改进的排序算法,包括AlphaDev复制和交换移动等新颖创新。」他还说:「类似于AlphaGo著名的『37手』给围棋这个古老游戏带来了一套新的策略,AlphaDev独特的算法发现希望能激发出优化基础计算机科学算法的新视角和策略,并使其更快。」

Mankowitz说,这是强化学习的一个重要里程碑,因为它提供了更多证据证明其有能力做出新发现,尤其是在代码优化领域。

该公司还宣布打算通过LLVMlibc++标准排序库将新算法提供给数百万开发人员和各行各业的公司。值得注意的是,这次更新是排序库这一部分十年来的首次修订,也是通过强化学习开发的算法的首次纳入。

Mankowitz表示:「我们估计,我们公开发布的排序算法每天在全球被调用数万亿次,可以提供2%到70%的速度提升,这些算法可以为调用这些函数的开发人员和公司提供资源节省。我们相信这些算法将激发研究人员和实践者开发出更多的新方法,从而发现新的和改进的算法。」

利用强化学习增强传统算法开发

DeepMind表示,目前大多数计算算法已经达到人类专家无法进一步优化的阶段,导致了计算瓶颈的不断加剧。该公司强调,使用深度强化学习可以通过生成精确高效的算法来增强开发方法。在进行更有效的搜索和考虑准确和快速程序的空间的同时,它通过优化CPU指令级别的实际测量延迟来实现。

排序算法是系统地对项目按指定顺序进行排列的基础。它们是计算机科学教育的基石。同样,散列在数据存储和检索中有广泛应用,比如在客户数据库中。散列算法通常使用一个键(比如用户名称「JaneDoe」)生成与所需数据值(比如「订单号164335-87」)相对应的唯一散列值,以便进行检索。类似于图书管理员利用分类系统迅速找到特定书籍,散列系统使计算机能够事先知道所需信息及其准确位置。

虽然开发人员主要使用C++等用户友好的高级语言编写代码,但将这些语言转化为低级汇编指令对于计算机理解来说是必不可少的。DeepMind的研究人员认为,在低级别存在许多改进的空间,而在高级编程语言中揭示这些改进可能面临挑战。汇编级别提供了计算机存储和操作的灵活性,为能够显著影响速度和能源效率的改进提供了巨大潜力。

为了在C++中运行算法,首先将其编译成称为汇编指令的低级CPU指令,这些指令在CPU上的内存和寄存器之间操作数据。

Mankowitz表示:「这提供了算法操作的更加细致的概述,因此更容易找到改进算法的优化方式。通过在汇编中进行优化,我们发现了AlphaDev复制和交换移动。这些是一系列汇编指令,当应用于一个汇编程序时,可以通过减少一个指令来减小程序的大小。」

DeepMind发现更快算法的独特方法

DeepMind的AlphaDev采用了一种非常规的方法,通过探索人类鲜有涉足的计算机汇编指令领域,发现更快的算法。为了训练AlphaDev发现新算法,研究团队将排序重新构想为「单人汇编游戏」。AlphaDev利用强化学习观察和生成算法,并结合CPU的信息。

在每一步中,AI系统主动选择一个指令并将其纳入算法中,这是一个复杂且具有挑战性的过程,因为潜在的指令组合数目庞大。

AlphaDev逐步构建算法的同时,还通过将算法的输出与预期结果进行比较来验证每一步的正确性。这种方法的最终目标是发现一个正确且更快的程序,从而在游戏中取得胜利。

DeepMind的AI系统发现了新颖的排序算法,使LLVMlibc++排序库取得了显著的改进。研究主要集中在提高短序列的排序算法,这些算法通常被应用于更大的排序函数中,提高它们的效率可以改善排序任意数量的项目时的整体速度。

为了提高可用性,DeepMind对发现的算法进行了逆向工程,并将其转化为C++代码。

超越排序算法的领域

这些改进主要针对对数字进行排序的sort3.sort4和sort5程序。Mankowitz解释说:「每当开发人员或应用程序需要对这些数据类型进行排序时,都可以调用我们的排序算法。根据要排序的项目数量,速度提升范围在2%到70%之间。由于这些函数每天被调用数万亿次,开发人员和用户将能够在消耗更少资源的情况下运行其应用程序/使用各种服务。」

此外,AlphaDev的能力超越了排序算法的领域。DeepMind还探索了系统的潜力,将其方法泛化并改进其他重要的计算机科学算法,包括散列算法。将AlphaDev的方法应用于9到16字节范围内的散列算法,其速度提高了30%。

DeepMind表示,AlphaDev是朝着创建能够优化整个计算生态系统并应对各种社会挑战的多功能AI工具的进展中的重要里程碑。尽管优化低级汇编指令已经显示出巨大的威力,但该公司表示,他们正在积极探索AlphaDev直接优化高级语言(如C++)中的算法的潜力,这对开发人员来说将更加有价值。他们还在尝试优化在运行应用程序和服务时更有效地调度资源,例如优化YouTube的视频压缩流程以及优化系统和应用程序运行的底层硬件。

Mankowitz表示:「我们希望这些算法能够为研究人员和实践者提供一种不同的视角,看待如何构建算法。」

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。

上一篇

下一篇