人工智能开发全流程解析
人工智能应用开发的全流程大致包括开发态流程和运行态流程。开发态流程是对数据源不断地进行处理并得到人工智能应用的过程;而运行态流程相对简单,主要是将人工智能应用部署起来使用的过程。当人工智能应用在运行态推理效果不好时需要将推理数据返回给开发态进行进一步迭代调优。 在开发态流程中,每个步骤都会基于一定的处理逻辑对输入数据进行处理,并得到输出数据(中间结果或最终结果),同时也可能会产生模型或知识,或其他一些可能的元信息文件(如配置项文件等)。在处理的过程中,可能会接收外部输入(如用户的输人、配置、其他外部环境的输入等)。每个处理步骤的处理逻辑可以是平台内置的处理逻辑,也可以是开发者自定义的处理逻辑(如开发者利用平台的开发调试环境开发的一套代码)。当数据源经过一系列处理之后,会得到最终的结果数据(如图像识别精度等报表数据)。在这一系列的处理步骤中,可能会出现反复,当我们对某个处理步骤输出的数据不满意时,可以重新修正输入数据或者处理逻辑。 上述一系列的处理步骤结束后,中间所产生的一些模型、知识或者配置可以一起编排成一个人工智能应用。这个人工智能应用就是开发态输出的主要成果。紧接着就进入运行态流程,将人工智能应用部署为云上的一个推理服务实例,或者打包为个SDK,业务客户端就可以调用其接口,发送请求并得到推理结果。同时,平台在被用户授权的情况下,可以对推理数据和结果进行监测,一旦发现问题,可以将推理数据重新接入开发态的数据源,进行下一步迭代开发,并生成新的人工智能应用。由此可见,人工智能应用的开发流程是一个持续选代并且不断优化的过程,如下图所示。 从抽象的角度看,下图所表达的是一个数据流图,该数据流图有几个常用的核心抽象概念。
(1)数据源。数据源指人工智能应用开发过程的主要输入,可以是原始的文件类型的数据(如在第2章中用户所需要离线上传的原始图像数据),也可以是来自某个远程服务的数据流(强化学习经常会用到这种数据源形式,还可以是人工输入的信息。数据源的存储方式多种多样,可以是对象存储,也可以是大数据系统,还可以是客户的业务系统等。 (2)处理。处理指人工智能应用开发全流程中的每个具体环节,根据输入数据和处理逻辑得到输出数据。常用的处理操作包括但不限于数据标注、模型训练、性能监测等。每个操作都有执行历史,保证过程可溯源。 (3)实体对象。实体对象指每个处理环节之间流动的数据内容。数据集、算法或规则、模型或知识应用都是典型的实体对象。以某证件类OCR开发全流程为例,上述人工智能应用开发全流程如下图所示。
可以看出,该流程基本满足图中的各类抽象。在该OCR开发全流程中,需要通过数据采集模块获取原始数据(即证件类的原始图像),考虑到证件类图像中证件位置可能倾斜,因此需要首先对证件的四个顶点进行标注然后再进行数据处理,将图像中证件位置矫正。紧接着,一方面,可以继续标注证件图像中文字框和文字类别,用于文字框检测和文字识别模型的训练;另一方面,可以根据证件四个顶点的标注信息训练四点标注模型。当这三个模型(矫正、文字框检测和文字识别模型)分别训练完成后,可以通过编排生成一个OCR应用,并经过评估之后部署起来使用。在运行态如果有推理不好的数据,则需要通过应用维护模块将其返回开发态进行进一步迭代和优化。在该流程中,数据源包括开发态数据源、运行态数据源、人工输入(如算法编写、数据标注信息、训练超参配置、模型评估检查等输入信息);处理包括数据采集、数据标注、数据处理、算法选择和开发、模型训练、模型评估和调优、应用生成、应用评估、应用发布和部署、应用维护;实体对象包括数据集、算法、模型、最终生成的应用。 整体而言,如果解决方案已经确定,那么如图3-3所示,根据处理操作所属范围的不同,可以将人工智能应用的开发流程分为:①数据准备子流程(包含数据采集、数据处理、数据标注等);②算法选择和开发子流程;③模型训练子流程;④模型评估和调优子流程;⑤应用生成、评估和发布子流程;⑥应用维护子流程。由于应用维护子流程会涉及运行态数据回流到开发态，因此这几个子流程之间就形成了一个人工智能闭环。
博瀚人工智能平台
项目简介博瀚人工智能平台是业内首个商用的基于昇腾芯片和鲲鹏芯片的开源人工智能平台。公司通过人工智能综合平台和数据处理联合解决方案，支持全部主流深度学习/机器学习框架，满足AI端到端全流程需求，同时为客户提供低代码/无代码建模、自动化模型优化、基于非结构化数据的半自动/自动化标注等。
优势：
全开源的一站式企业级人工智能端到端开发部署平台。
基于K8S容器云上的异构平台，支持包含X86/ARM架构CPU、英伟达系列GPU、华为昇腾NPU等不同云端以及边端硬件。依瞳平台是目前业内首个，也是唯一的一个同时支持英伟达GPU以及华为A910NPU的人工智能开源异构平台。
高扩展性，高灵活性、多集群管理的人工智能平台，灵活适配私有云，共有云，混合云，助力不同客户群体开发人工智能。
独特的计算集群，控制和用户交互系统，面向不同阶层开发人员，平台提供不同的专业、交互、模板式人工智能开发工具，大幅度提高用户的开发效率。
业内领先的半自动、全自动数据标注工具，减少用户标注工作量，大幅度提高标注效率。
平台同时为用户提供模型训练，超参调优，模型部署，优化一揽子服务。
包含：
博瀚人工智能平台依瞳人工智能平台旨在为不同行业的用户提供基于深度学习的端到端解决方案，使用户可以用最快的速度、最少的时间开始高性能的深度学习工作，从而大幅节省研究成本、提高研发效率，同时可为中小企业解决私有云难建成、成本高等问题。平台融合了Tensorflow、PyTorch、MindSpore等开源深度学习框架，提供了模型训练、超参调优、集群状态监控等开发环境，方便AI开发者快速搭建人工智能开发环境，开展AI开发应用。在监控模块基础上搭建预警模块，自动将平台异常通知管理员，提升平台的预警效率及安全性能。
ApulisInstaller博瀚人工智能平台一键安装部署工具
AIArts-Frontend博瀚人工智能平台业务前端
AIArts-Backend博瀚人工智能平台业务后端
user-dashboard-frontend博瀚人工智能平台用户管理前端
user-dashboard-backend博瀚人工智能平台用户管理服务端