智能化软件开发：程序员与 AI 机器人一起结对编程
雷锋网AI科技评论按：伴随着AI技术的发展和应用，人们对「人工智能」的认知也不断被刷新和拓展，在大众眼中，AI正变得越来越强大，不仅可以下棋博弈战胜人类的顶尖选手，还可以进行语音识别、自动翻译、人脸识别，甚至可以自动驾驶汽车。最近，北京大学与硅心科技团队联合推出了一项新的AI成果——aiXcoder，它利用AI技术辅助开发者自动进行程序编写，引燃了人们关于「AI+软件」的巨大发展潜力以及「软件开发自动化」发展前景的讨论与思考。
让计算机自动编写代码，不仅是软件开发领域关心的问题，也是人工智能领域长期关心的问题。早在1964年，机器学习领域的先驱者Solomonoff就曾提出，「对人类而言，编写计算机程序是一项既困难又耗时的活动，通过自动代码生成或程序归纳来实现这个过程的自动化是人工智能领域的一个长期研究主题。」近年来，DeepMind和Facebook在其论文中也提出了类似的论述。
那么，在没有人类程序员干预的情况下，完全依赖AI技术进行程序代码生成，当前的研究进展情况如何呢？下面是近年来的几项典型研究工作：
2016年，GoogleDeepMind发表了论文「NeuralProgrammer-Interpreters」，提出了一种利用程序的输入输出结果生成简单程序的深度神经网络模型，但它生成程序的规模具有较大限制，通常是由简单指令组合而成的短小程序；
2017年，Facebook在论文「UnsupervisedProgramInductionwithHierarchicalGenerativeConvolutionalNeuralNetworks」中也提出了一种在包含8种基本指令的数据集上选择指令，组合出程序的方法；
同年，微软针对类似的问题发表论文「DeepCoder:LearningtoWritePrograms」提升了程序生成的速度，但在程序规模与生成效果上仍未能取得质的提升。
这些成果对程序自动生成的研究起到了重要的推动作用，但同时也可以看出，在完全不依赖程序员的场景下，进行工业级程序的编写，仍需要进一步研究。
与上述研究思路不同，来自北京大学的研究团队，正致力于「辅助人类程序员自动编写程序代码」。「虽然在完全不依赖人类程序员的场景中自动生成程序仍需进一步研究，但我们可以利用人工智能技术来辅助人类编写程序。」北京大学高可信软件技术教育部重点实验室副教授李戈对雷锋网表示，「我们已经在『利用AI辅助程序员编程，以提高程序编写的效率和质量』方面取得了重要的研究进展。」
李戈所在的研究团队是国际上最早从事基于深度神经网络的计算机程序分析与生成研究的团队之一，在代码功能语义分析、代码自动生成与补全等方面的研究成果受到国内外同行的高度关注。近年来，该团队取得了一系列重要研究成果，形成了一批重要的行业专利及学术论文。基于所取得的科研成果，李戈所在实验室正转向产业化应用，致力于将「智能化软件开发技术」转化为能够支持工业界生产的商业产品——aiXcoder。
aiXcoder智能编程机器人
aiXcoder是一款全新的智能编程机器人产品，它采用与程序员一起「结对编程」的方式为程序员提供服务，从而提高程序员的编程效率。在aiXcoder的辅助下，程序将彻底摆脱传统的编程模式，不再需要「逐字逐句」编写程序。
aiXcoder能够自动预测程序员的编程意图，连续向程序员推荐「即将书写的下一段代码」，程序员可以通过「一键补全」的方式，直接确认接下来输入的代码，从而大大提升代码的编写效率。同时，aiXcoder还能够在程序编程的过程中，不断智能地搜索并推荐与当前程序功能相似的规范程序代码，为程序员提供有力的编程参考。目前，aiXcoder编程机器人已经推出了Android、JFinal、Tensorflow等多个版本，为不同领域的编程者提供辅助。
据aiXcoder研发团队的核心技术人员郝逸洋对雷锋网介绍：aiXcoder采用了先进的专门应用于程序分析与生成的特定深度神经网络模型，并利用严格筛选的海量领域源代码数据进行训练，从而使aiXcoder能够充分学习和掌握隐含于海量代码中的编码模式与规律，并将该信息用于后续代码的生成与补全。
不仅如此，经过训练的aiXcoder还能快速了解一个程序员的个人编程习惯，自动记录程序员常用的程序模式、常用的API调用序列等等，从而在程序员编程过程中进行有效地自动辅助，在最大程度上协助程序员自动完成非创造性的编程工作。
当前，aiXcoder采用「云服务」的运行模式，其深度学习模型如同部署在云端的「编程大脑」，其客户端以插件的形式集成在IDE中，实现了与IntelliJ、Eclipse、VS-Code等主流集成开发平台的无缝对接，程序员可以通过aiXcoder插件实现与「云端AI服务」的对接，随时随地使用自己的「编程大脑」。
同时，aiXcoder还可以为软件企业提供专业领域的定制化专属服务，以企业内部云的方式为软件企业提供专属服务。使用过该服务的某软件外包公司反馈：aiXcoder不仅能够有效节省程序员的开发时间，还能够有效降低程序员对API文档或相关信息的依赖，「原本需要上网搜索相似代码和搜索API使用模式的时间，被节省了下来，可以更加集中精力编写特定系统所需要的代码。」站在程序员的角度，在aiXcoder的帮助下，开发者可以把更多时间用于「全新」代码的编写，提高个人价值。
aiXcoder的研究历程
谈到研究这一智能编程机器人的初衷，李戈副教授说起当前的软件开发流程存在「开发阶段的缺陷被滞后解决」的问题，即程序员在编程的过程中未能解决的程序缺陷、错误等问题，常常需要依赖后续的代码扫描、代码审查、程序测试等环节才能被发现，然后再重新送回到程序员的开发现场去解决，然而，当上述问题重新返回到开发现场时，程序员往往早已变更了开发场景，他们只能重建起以前的开发现场才能对返回的代码进行修改。这一不合理流程大大延迟了编程问题的解决时间，造成了开发效率的降低。
以百度为例，百度高级副总裁王海峰在今年出席软博会时曾提到，百度每天新增需求卡片达到6700张，系统每天构建次数超过70000次，每天系统上线发布次数超过700次。在这样的研发需求压力下，要求软件开发必须实现快速迭代，研发周期必须被缩短，大量的研发需求必须在编程阶段完成，而不是「把编程阶段应解决的问题向后续环节延迟」。因此，如何利用智能化手段提高软件编码的效率和质量，成为当前软件开发的重要问题。
如何将AI技术应用于软件开发中，协助开发者在开发阶段解决更多的问题，提高软件开发的效率和质量？这正是李戈副教授的研究团队一直深入思考的问题。要使AI能够协助程序员编写程序，必须首先要让AI模型能够理解程序员已经写下的程序，并能够领会程序员的编程意图。带着这一思考，他们开始了利用深度学习技术的程序代码分析与生成的研究。
2013年底，李戈在斯坦福大学人工智能实验室担任访问学者，当时与他同一实验室的研究者正从事基于深度学习的自然语言处理的相关研究。这些相关领域的研究方法给了他启发，他认为可以利用特定的深度学习模型来进行程序代码语义的分析。然而，程序语言与自然语言存在诸多不同：
首先，程序语言通常基于顺序、分支、循环三种类型的语法结构来进行语义描述，具有更强的结构性，而且程序的结构信息具有多种表达方式，例如数据流图、控制流图、调用图、程序切面图等等；
其次，程序的整体语义对单个词义的依赖较弱，其字面语义与程序语义可能存在较大区别，具有更强的抽象性；
再次，程序分析的粒度比自然语言更大，通常以模块为分析单位，一个程序模块通常会包含很多条密切关联的语句；
除此之外，程序语义还依赖于大量的背景知识，如API知识、领域需求知识等等。
这些问题的存在使李戈意识到，想要获知程序所表达的语义，必须设计适用于程序语言的全新模型。
基于多年的研究基础和对程序特性的深入思考，李戈研究团队设计并构造了一系列专门用于程序分析与生成的深度神经网络模型。同时，他们利用从Github、Stackoverflow等获取的开放源代码资源，经过一系列清洗、分析、标注，积累了大量规范化程序代码数据用于支持深度神经网络的训练，并最终获得了优异的训练结果，形成了多项业界领先的科研成果，这些成果构成了aiXcoder的基础。
以aiXcoder的Tensorflow版本为例，他们使用了超过30万份经过处理的Tensorflow源代码作为训练数据，使神经网络模型学会了编写Tensorflow代码所需的各种规范模式、潜在规则、常用API序列、惯用编码模式等知识和经验。在程序员编写代码的过程中，aiXcoder能够自动推测程序员的编程语义，并按照这些知识和经验及时向程序员推荐可能要使用的编程语句，以达到辅助程序员自动完成程序的目的，大大提升程序开发的速度。
当前的aiXcoder正以「结对编程」的形式辅助程序员工作，它就像一个时刻陪伴程序员工作的「伙伴」，与程序员一起编写代码，帮助程序员差缺补漏。
「传统的结对编程是人与人结对，我们希望能够实现人与机器的结对工作」，李戈介绍说，「我们希望aiXcoder能够承担更多的『劳动』，能够让程序员有更多的时间和精力投入到有创造性的工作中，让程序员的创造性价值得到更加充分的体现。」
「LeaveArtificialIntelligencetoaiXcoder,LeaveRealIntelligencetoHuman.」（把人工智能留给aiXcoder，把真正的智能留给人类。），这正是aiXcoder研发团队的信条和口号。
aiXcoder官网地址：http://www.aixcoder.com/
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
软件智能化趋势与进展摘录
近10年来国际学术界在代码搜索与推荐、软件API推荐、软件构件技术及程序生成等领域开展了广泛而深入的研究工作。国内研究者在相关领域也开展了许多深入的研究工作，并取得了一些重要的研究成果，但还存在多个方面的不足。首先，国内学术界在相关领域的研究工作还比较少，所发表的论文以及发布的工具原型或数据集都远远少与国际学术界。其次，国内学术界在所开展的研究工作的广度和覆盖度方面还有所不足。例如，国内学术界在软件API推荐、程序代码自动生成以及知识抽取方面的研究还比较少。最后，国内学术界在相关方面所开展的系列性和系统性的研究工作还比较少。与之相比，国际学术界中有多位知名学者在相关方面开展了连续多年的系统性的研究工作，从而更有希望在相关方面取得突破性的进展并为工业界提供实用的技术解决方案和工具。
在服务及其组合的复用方面，WebAPI在现实中得到了广泛应用，但当前关于WebAPI的研究仍处于早期阶段。一方面，WebAPI设计还缺乏系统化的评估模型和度量指标。另一方面，如何从WebAPI设计者和API使用者两个视角自动化、智能化地应对WebAPI不可避免的频繁变化是一个亟待解决的重要问题。
服务组合已成为服务化软件系统开发过程中软件复用的一种重要形式，但由于服务化软件运行在一个动态、不确定的环境中，如何在服务组合过程中考虑来自用户需求的不确定性、执行环境的不确定性等因素，保证构造的服务在运行时能够满足用户的各种功能性、非功能性目标，并适用于更多贴近现实的应用场景，是服务组合技术下一步的发展方向。此外，在面对快速迭代、持续交付的软件开发过程，如何支持组合服务自动化、智能化的自适应与动态演化也是服务化软件系统未来发展的趋势和亟待解决的问题。
在面向部署运维的软件制品复用方面，尽管配置代码和镜像复用已成为支持软件持续部署和持续交付的重要手段，但是随着开源社区和互联网软件仓库的蓬勃发展，以系统部署、发布和运维为目标的软件代码和软件制品不断累积，形成了规模庞大的一类软件资源，同时，软件系统规模和复杂度的不断提高，也对如何复用和用好这类软件资源带来了挑战。因此，如何海量数据和资源中提取出有效的领域知识，并能够指导实现高效和最佳的部署与管理维护方案是有效复用此类制品与资源的关键所在。因此，在未来的发展中，该领域将以大规模自动化配置代码和制品为对象，以管好、用好和维护好为实际目标，以配置代码管理维护和使用中领域知识的获取、汇聚和使用为研究内容，形成一套知识驱动的配置代码和制品管理、维护和使用的理论方法和关键技术，对提升软件自动化运维质量和效率具有十分重要的研究价值与现实意义。
程序自动生成是近年来人们关注较多的热点问题，也是软件科学与人工智能领域共同关心的问题。不同领域的研究者对程序自动生成技术有不同的理解，共同推动着该问题的研究进展。人工智能领域的研究者将程序自动生成问题界定为：如何在不编写程序的前提下，依据大量存在的已知的输入输出数据，由计算机自动学习输入与输出之间的映射关系，该领域已出现的程序自动生成技术的研究也基于上述的认识展开。而在软件工程领域，研究者们对程序自动生成问题则有更多工程方面的认识和考虑，从软件工程的角度，软件的本质是客观世界的解决方案在计算机系统中的映射，研究者更倾向于将软件自动生成问题看作一个从自然语言描述的需求到程序语言描述的代码之间的映射，围绕这一思路也产生了众多研究成果。从当前的发展趋势看，上述两类方法的结合是程序生成研究的发展方向之一。