人工智能 (AI) 体系结构
你当前正在访问MicrosoftAzureGlobalEdition技术文档网站。如果需要访问由世纪互联运营的MicrosoftAzure中国技术文档网站,请访问https://docs.azure.cn。
人工智能(AI)体系结构设计项目06/25/2023人工智能(AI)是计算机模拟人类智能行为的功能。通过AI,计算机可以分析图像、理解语音、以自然方式交互,以及使用数据进行预测。
AI概念算法算法是用于解决问题或分析一组数据的一系列计算和规则。它就像一个流程图,其中包含提出问题的分步说明,只不过是以数学和编程代码形式进行编写。算法可以描述如何确定宠物是猫、狗、鱼、鸟还是蜥蜴。另一种更复杂的算法可以描述如何识别书面或口头语言、分析其字词、将其翻译为其他语言,然后检查翻译的准确性。
机器学习机器学习(ML)是一种AI技术,可使用数学算法来创建预测模型。该技术使用特定算法分析数据字段,并通过使用在数据中发现的模式来“学习”该数据以生成模型。然后,使用那些模型做出与新数据有关的明智预测或决策。
预测模型将根据已知数据进行验证,通过为特定业务方案选择的性能指标进行衡量,然后根据需要进行调整。此学习和验证过程被称为“训练”。通过定期重新训练,ML模型会随着时间的推移而改进。
规模化机器学习
Microsoft的机器学习产品有哪些?
深度学习深度学习是一种ML,可以自行确定其预测是否准确。该技术也使用算法分析数据,但其操作规模比ML大。
深度学习使用的人工神经网络由多个算法层组成。每层均可查看传入数据,执行自己的专用分析,并生成其他层可以理解的输出。然后,系统会将此输出传递至下一层,在其中以不同的算法执行其自己的分析,依此类推。
每个神经网络都有许多层,而且有时使用多个神经网络,因此计算机可以通过自己的数据处理来学习。与ML相比,此技术需要更多的数据,更高的计算能力。
深度学习与机器学习
Azure上深度学习模型的分布式训练
Azure上深度学习模型的批量评分
Azure上PythonScikit-Learn和深度学习模型的训练
Azure上PythonScikit-Learn和深度学习模型的实时评分
机器人机器人是一种可执行特定任务的自动化软件程序。你可将其视为没有身体的机器人。早期机器人相对简单,使用相对简单的算法逻辑处理重复性任务和大型任务。例如,搜索引擎使用Web爬网程序自动浏览和编录Web内容。
机器人现已变得更加复杂,不仅可使用AI和其他技术来模拟人类活动和决策,通常还可通过文本消息甚至语音直接与人类交互。例如,可以预订餐位的机器人、帮助客户服务交互的聊天机器人(或对话AI)以及将突发新闻或科学数据发布到社交媒体网站的社交机器人。
Microsoft提供了Azure机器人服务,这是专为企业级机器人开发构建的托管服务。
关于Azure机器人服务
负责任的机器人的十个准则
Azure参考体系结构:企业级对话机器人
工作负载示例:Azure上提供的用于酒店预订的对话式聊天机器人
自治系统自治系统是不断发展的新类的一部分,突破了基本自动化的局限。自治系统不是像机器人一样,几乎没有变化或毫无变化地重复执行特定任务,而是赋予计算机智能功能,使其适应不断变化的环境,以实现预期目标。
智能建筑已采用自治系统自动控制照明、通风、空调及安全等操作。更复杂的示例是自导向机器人,可用于探测坍塌的矿井,以全面反映其内部情况,确定结构稳固的部分,分析透气性,并在没有远程端实时人工监视的情况下需要救援时检测被困矿工的生命体征。
MicrosoftAI中的自治系统和解决方案有关MicrosoftAI的常规信息详细了解MicrosoftAI,并随时了解相关新闻:
MicrosoftAI学校
AzureAI平台页
MicrosoftAI平台页
MicrosoftAI博客
GitHub上的MicrosoftAI:示例、参考体系结构和最佳做法
Azure体系结构中心
高级体系结构类型预生成AI预生成AI就是可供使用的现成AI模型、服务和API。这些工具可帮助你向应用、网站和流添加智能功能,而不必收集数据,然后生成、训练和发布自己的模型。
例如,预生成AI可能是预训练模型,可以按原样合并,也可以用于为进一步自定义训练提供基准。再比如基于云的API服务,你可以随意调用该服务以所需方式处理自然语言。
Azure认知服务认知服务为开发者提供了使用预生成API和集成工具包创建应用程序的机会,这些应用程序可以听、说、看、理解,甚至可以开始推理。认知服务中的服务目录可分为五大支柱类别:视觉、语音、语言、Web搜索和决策/建议。
Azure认知服务文档
免费试用Azure认知服务
选择Azure认知服务技术
在Azure中选择自然语言处理技术
AIBuilder中的预生成AI模型AIBuilder是MicrosoftPowerPlatform中的一项新功能,可提供点击式接口,即使用户没有编码或数据科学技能,也可以向应用添加AI。(AIBuilder中的一些功能尚未正式发布,仍处于预览状态。有关详细信息,请参阅按区域划分的功能可用性页。)
你可以生成和训练自己的模型,但AIBuilder还可提供立即可用的精选预生成AI模型。例如,你可基于预生成模型在MicrosoftPowerApps中添加一个组件,以识别名片中的联系信息。
Azure上的PowerApps
AIBuilder文档
AIBuilder中的AI模型类型
AIBuilder中的预生成AI模型概述
自定义AI尽管预生成AI很有用(而且越来越灵活),但从AI中获取所需内容的最佳方式或许是自己构建系统。显然,这是一个深奥复杂的主题,除了刚介绍的内容以外,我们先看一些基本概念。
代码语言AI的核心概念是使用算法来分析数据和生成模型,以采用有效方式进行描述(或评分)。算法是由开发者和数据科学家(有时由其他算法)使用编程代码编写的。目前,最常用于AI开发的两种编程语言是Python和R。
Python是一种通用的高级编程语言。其语法简单易学,强调可读性。没有编译步骤。Python具有大型标准库,但它也支持模块和包添加功能。这有助于模块化,也有助于根据需要扩展功能。Python的AI和ML库生态系统较大,并且不断增长,其中包括Azure中随时可用的许多库。
Azure产品主页上的Python
面向Python开发人员的Azure
适用于Python的Azure机器学习SDK
有关机器学习与Python和AzureNotebooks结合使用的简介
Scikit-learn。用于Python的开源ML库
PyTorch。具有丰富生态系统的开源Python库,可用于深度学习、计算机视觉、自然语言处理等
TensorFlow。开源符号数学库还用于ML应用程序和神经网络
教程:在AzureFunctions中使用Python和TensorFlow应用机器学习模型
R是一种语言和环境,适用于统计计算和图形。从在线映射广泛的社交趋势和市场营销趋势到开发财务和气候模型,均可使用此语言。
Microsoft已完全采用R编程语言,并为R开发者提供了许多不同的选项,以便他们在Azure中运行自己的代码。
在Azure机器学习中以交互方式使用R。
教程:通过Azure机器学习在R中创建逻辑回归模型
培训训练是机器学习的核心。这是“教”算法创建模型的迭代过程,用于分析数据,然后根据结果做出准确预测。此过程实际上有三个常规阶段:训练、验证和测试。
在训练阶段,会对一组已知的优质数据进行标记,以便可以识别单个字段。将标记的数据提供给为做出特定预测配置的算法。完成操作后,该算法会输出一个模型,以一组参数的形式描述发现的模式。在验证过程中,会对新数据进行标记并将其用于测试模型。算法会根据需要进行调整,并可能会经历更多训练。最后,测试阶段使用没有任何标记或预选目标的实际数据。如果模型的结果是准确的,则将其视为准备就绪,可以进行部署。
使用Azure机器学习训练模型超参数优化超参数是控制训练过程本身的数据变量。这些变量是控制算法运作方式的配置变量。因此,超参数通常是在模型训练开始之前进行设置,并且在训练过程中不是按参数方式进行修改。超参数优化涉及运行训练任务中的试用版,评估作业完成程度,然后根据需要进行调整。此过程会生成多个模型,每个模型都会使用不同的超参数系列进行训练。
使用Azure机器学习优化模型的超参数模型选择训练和超参数优化过程会生成大量候选模型。这些模型具有许多不同的差异,包括准备数据所需的工作量、模型的灵活性、处理时间量,当然还包括其结果的准确性。根据需求和约束条件选择最佳训练模型被称为“模型选择”,但这更像是训练前的预规划,毕竟是选择最佳训练模型。
自动化机器学习(AutoML)自动化机器学习(也称为AutoML)是机器学习模型开发中耗时的迭代性任务实现自动化的过程。此过程可以显著减少获取生产就绪ML模型所需的时间。自动化ML可帮助执行模型选择、超参数优化、模型训练和其他任务,不需要用户具有广博的编程知识或域知识。
什么是自动化机器学习?计分评分(也称为“预测”)是在给定一些新输入数据后根据训练机器学习模型生成值的过程。创建的值(或分数)可以表示对未来值的预测,但也可能表示可能的类别或结果。评分过程可生成多种不同类型的值:
推荐项和相似性分数的列表
有关时序模型和回归模型的数值
概率值,指示新输入属于某个现有类别的可能性
与新项最相似的类别或群集的名称
分类模型的预测类或结果
批量评分是指在某个固定时间段内收集数据,然后分批进行处理时的评分。此过程可能包括生成业务报表或分析客户忠诚度。
实时评分就是正在执行且尽可能快地执行的评分。经典示例是信用卡欺诈行为检测,但在语音识别、医学诊断、市场分析以及许多其他应用中也可以使用实时评分。
有关Azure上自定义AI的常规信息GitHub上的MicrosoftAI:示例、参考体系结构和最佳做法
AzureGitHub存储库上的自定义AI。即一系列脚本和教程,可帮助开发者在其AI工作负载中有效使用Azure
适用于Python的Azure机器学习SDK
Azure机器学习服务示例笔记本(Python)。即有关示例笔记本的GitHub存储库,用于演示Azure机器学习PythonSDK
适用于R的Azure机器学习SDK
AzureAI平台产品/服务下面是可用于根据需求开发AI解决方案的Azure技术、平台和服务的细分。
Azure机器学习此服务是企业级机器学习服务,可更快地构建和部署模型。Azure机器学习提供了Web界面和SDK,以便你可以大规模快速训练并部署机器学习模型和管道。请将这些功能与开放源代码Python框架(如PyTorch、TensorFlow和scikit-learn)配合使用。
Microsoft的机器学习产品有哪些?
Azure机器学习产品主页
Azure机器学习数据体系结构指南概述
Azure机器学习文档概述
什么是Azure机器学习?总体定位,其中包含指向多个学习资源、SDK、文档等内容的链接
Azure机器学习参考体系结构Azure上PythonScikit-Learn和深度学习模型的训练
Azure上深度学习模型的分布式训练
Azure上Python机器学习模型的批量评分
Azure上深度学习模型的批量评分
Azure上PythonScikit-Learn和深度学习模型的实时评分
使用Azure机器学习的Python模型的机器学习操作化(MLOps)
Azure上R机器学习模型的批量评分
Azure上R机器学习模型的实时评分
AzureDatabricks上Spark机器学习模型的批量评分
企业级聊天机器人
在Azure上生成实时建议API
Azure自动化机器学习Azure为自动化ML提供广泛支持。开发者可以使用无代码UI或通过代码优先的笔记本体验来构建模型。
Azure自动化机器学习产品主页
Azure自动化ML信息图(PDF)
教程:使用Azure机器学习中的自动化ML创建分类模型
教程:使用自动化机器学习预测出租车费
使用Python配置自动化ML试验
将CLI扩展用于Azure机器学习
使用Azure机器学习CLI自动执行机器学习活动
Azure认知服务这是一系列全面的AI服务和认知API,可帮助你构建智能应用。这些特定于域的预训练AI模型可以使用你的数据进行自定义。
认知服务产品主页
Azure认知服务文档
Azure认知搜索这是AI支持的云搜索服务,可用于移动应用和Web应用开发。此服务可搜索专用异类内容,带有用于AI扩充的选项(如果内容为非结构化内容或内容在采用其原始格式时无法搜索)。
Azure认知搜索产品主页
AI扩充入门
Azure认知搜索文档概述
在Azure中选择自然语言处理技术
快速入门:在Azure门户中创建Azure认知搜索认知技能集
Azure机器人服务这是一个专门设计的机器人开发环境,具有快速入门的现成模板。
Azure机器人服务产品主页
Azure机器人服务文档概述
Azure参考体系结构:企业级对话机器人
工作负载示例:Azure上提供的用于酒店预订的对话式聊天机器人
MicrosoftBot框架
GitHubBotBuilder存储库
Azure上的ApacheSparkApacheSpark是并行处理框架,支持使用内存中处理来提升大数据分析应用程序的性能。Spark提供了用于内存中群集计算的基元。Spark作业可在内存中加载和缓存数据,并可重复查询,查询速度比基于磁盘的应用程序(如Hadoop)快得多。
AzureHDInsight中的ApacheSpark是Microsoft的ApacheSpark在云中的实现。HDInsight中的Spark群集可与Azure存储和AzureDataLakeStorage兼容,因此你可以使用HDInsightSpark群集处理Azure中存储的数据。
适用于ApacheSpark的Microsoft机器学习库,即MMLSpark(MicrosoftMLforApacheSpark)。它是一个开源库,在Spark生态系统中添加了许多深度学习和数据科学工具、网络功能和生产级性能。详细了解MMLSpark功能。
AzureHDInsight概述。有关功能、群集体系结构和用例的基本信息,以及指向快速入门和教程的指针。
教程:在AzureHDInsight中生成ApacheSpark机器学习应用程序
HDInsight上的ApacheSpark最佳做法
配置HDInsightApacheSpark群集设置
HDInsight中的机器学习
MMLSpark的GitHub存储库:适用于ApacheSpark的Microsoft机器学习库
在HDInsight上创建ApacheSpark机器学习管道
用于机器学习的AzureDatabricksRuntimeAzureDatabricks是一个基于ApacheSpark的分析平台,具有一键设置、简化的工作流以及一个供数据科学家、工程师和商业分析师相互协作的交互工作区。
用于机器学习的DatabricksRuntime(DatabricksRuntimeML)可用于启动具有分布式训练所需全部库的Databricks群集。此工具可为机器学习和数据科学提供随时可用的环境。而且,其中包含多个常用库,包括TensorFlow、PyTorch、Keras和XGBoost。它还支持使用Horovod进行分布式训练。
AzureDatabricks产品主页
AzureDatabricks文档
AzureDatabricks中的机器学习功能
操作指南:用于机器学习的DatabricksRuntime
AzureDatabricks上Spark机器学习模型的批量评分
AzureDatabricks上的深度学习概述
客户案例各个行业都在以令人鼓舞的创新方式应用AI。下面是大量客户案例研究和成功案例:
ASOS:在线零售商使用Azure机器学习服务解决难题
KPMG使用Azure认知服务帮助金融机构节省数百万美元的合规成本
Volkswagen:机器翻译用40种语言表达Volkswagen
Buncee:NYC学校使用AzureAI为各个年龄各种层次的读者提供支持
InterSystems:数据平台公司以史无前例的速度生成重要信息,改善了IT健康状况
Zencity:数据驱动型初创公司提供资金帮助本地政府改善居民的生活质量
Bosch依靠IoT创新,帮助驱动程序防止严重事故,提高流量安全性
AutomationAnywhere:机器人进程自动化平台开发者使用Azure认知服务扩充其软件
Wix使用Azure认知搜索在1.5亿个网站上部署可缩放的智能搜索
AsklepiosKlinikAltona:使用MicrosoftHoloLens2和3D可视化效果提高手术精准度
AXAGlobalP&C:全球保险公司使用基于云的HPC对复杂的自然灾害建模
浏览更多AI客户案例
后续步骤若要了解Microsoft提供的人工智能开发产品,请参阅MicrosoftAI平台页。
有关如何开发AI解决方案的训练,请参阅MicrosoftAI学校。
GitHub上的MicrosoftAI:示例、参考体系结构和最佳做法安排了基于Microsoft开源AI的存储库,并提供教程和学习材料。
人工智能技术包含七个关键技术
三、自然语言处理
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向,研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法,涉及的领域较多,主要包括机器翻译、机器阅读理解和问答系统等。
机器翻译机器翻译技术是指利用计算机技术实现从一种自然语言到另外一种自然语言的翻译过程。基于统计的机器翻译方法突破了之前基于规则和实例翻译方法的局限性,翻译性能取得巨大提升。基于深度神经网络的机器翻译在日常口语等一些场景的成功应用已经显现出了巨大的潜力。随着上下文的语境表征和知识逻辑推理能力的发展,自然语言知识图谱不断扩充,机器翻译将会在多轮对话翻译及篇章翻译等领域取得更大进展。
语义理解语义理解技术是指利用计算机技术实现对文本篇章的理解,并且回答与篇章相关问题的过程。语义理解更注重于对上下文的理解以及对答案精准程度的把控。随着MCTest数据集的发布,语义理解受到更多关注,取得了快速发展,相关数据集和对应的神经网络模型层出不穷。语义理解技术将在智能客服、产品自动问答等相关领域发挥重要作用,进一步提高问答与对话系统的精度。
问答系统问答系统分为开放领域的对话系统和特定领域的问答系统。问答系统技术是指让计算机像人类一样用自然语言与人交流的技术。人们可以向问答系统提交用自然语言表达的问题,系统会返回关联性较高的答案。尽管问答系统目前已经有了不少应用产品出现,但大多是在实际信息服务系统和智能手机助手等领域中的应用,在问答系统鲁棒性方面仍然存在着问题和挑战。
自然语言处理面临四大挑战:
一是在词法、句法、语义、语用和语音等不同层面存在不确定性;
二是新的词汇、术语、语义和语法导致未知语言现象的不可预测性;
三是数据资源的不充分使其难以覆盖复杂的语言现象;
四是语义知识的模糊性和错综复杂的关联性难以用简单的数学模型描述,语义计算需要参数庞大的非线性计算
四、人机交互
人机交互主要研究人和计算机之间的信息交换,主要包括人到计算机和计算机到人的两部分信息交换,是人工智能领域的重要的外围技术。人机交互是与认知心理学、人机工程学、多媒体技术、虚拟现实技术等密切相关的综合学科。传统的人与计算机之间的信息交换主要依靠交互设备进行,主要包括键盘、鼠标、操纵杆、数据服装、眼动跟踪器、位置跟踪器、数据手套、压力笔等输入设备,以及打印机、绘图仪、显示器、头盔式显示器、音箱等输出设备。人机交互技术除了传统的基本交互和图形交互外,还包括语音交互、情感交互、体感交互及脑机交互等技术。
五、计算机视觉
计算机视觉是使用计算机模仿人类视觉系统的科学,让计算机拥有类似人类提取、处理、理解和分析图像以及图像序列的能力。自动驾驶、机器人、智能医疗等领域均需要通过计算机视觉技术从视觉信号中提取并处理信息。近来随着深度学习的发展,预处理、特征提取与算法处理渐渐融合,形成端到端的人工智能算法技术。根据解决的问题,计算机视觉可分为计算成像学、图像理解、三维视觉、动态视觉和视频编解码五大类。
目前,计算机视觉技术发展迅速,已具备初步的产业规模。未来计算机视觉技术的发展主要面临以下挑战:
一是如何在不同的应用领域和其他技术更好的结合,计算机视觉在解决某些问题时可以广泛利用大数据,已经逐渐成熟并且可以超过人类,而在某些问题上却无法达到很高的精度;
二是如何降低计算机视觉算法的开发时间和人力成本,目前计算机视觉算法需要大量的数据与人工标注,需要较长的研发周期以达到应用领域所要求的精度与耗时;
三是如何加快新型算法的设计开发,随着新的成像硬件与人工智能芯片的出现,针对不同芯片与数据采集设备的计算机视觉算法的设计与开发也是挑战之一。
六、生物特征识别
生物特征识别技术是指通过个体生理特征或行为特征对个体身份进行识别认证的技术。从应用流程看,生物特征识别通常分为注册和识别两个阶段。注册阶段通过传感器对人体的生物表征信息进行采集,如利用图像传感器对指纹和人脸等光学信息、麦克风对说话声等声学信息进行采集,利用数据预处理以及特征提取技术对采集的数据进行处理,得到相应的特征进行存储。
识别过程采用与注册过程一致的信息采集方式对待识别人进行信息采集、数据预处理和特征提取,然后将提取的特征与存储的特征进行比对分析,完成识别。从应用任务看,生物特征识别一般分为辨认与确认两种任务,辨认是指从存储库中确定待识别人身份的过程,是一对多的问题;确认是指将待识别人信息与存储库中特定单人信息进行比对,确定身份的过程,是一对一的问题。
生物特征识别技术涉及的内容十分广泛,包括指纹、掌纹、人脸、虹膜、指静脉、声纹、步态等多种生物特征,其识别过程涉及到图像处理、计算机视觉、语音识别、机器学习等多项技术。目前生物特征识别作为重要的智能化身份认证技术,在金融、公共安全、教育、交通等领域得到广泛的应用。
七、VR/AR
虚拟现实(VR)/增强现实(AR)是以计算机为核心的新型视听技术。结合相关科学技术,在一定范围内生成与真实环境在视觉、听觉、触感等方面高度近似的数字化环境。用户借助必要的装备与数字化环境中的对象进行交互,相互影响,获得近似真实环境的感受和体验,通过显示设备、跟踪定位设备、触力觉交互设备、数据获取设备、专用芯片等实现。
虚拟现实/增强现实从技术特征角度,按照不同处理阶段,可以分为获取与建模技术、分析与利用技术、交换与分发技术、展示与交互技术以及技术标准与评价体系五个方面。获取与建模技术研究如何把物理世界或者人类的创意进行数字化和模型化,难点是三维物理世界的数字化和模型化技术;分析与利用技术重点研究对数字内容进行分析、理解、搜索和知识化方法,其难点是在于内容的语义表示和分析;交换与分发技术主要强调各种网络环境下大规模的数字化内容流通、转换、集成和面向不同终端用户的个性化服务等,其核心是开放的内容交换和版权管理技术;展示与交换技术重点研究符合人类习惯数字内容的各种显示技术及交互方法,以期提高人对复杂信息的认知能力,其难点在于建立自然和谐的人机交互环境;标准与评价体系重点研究虚拟现实/增强现实基础资源、内容编目、信源编码等的规范标准以及相应的评估技术。
来源:今日头条返回搜狐,查看更多
人工智能7大关键技术,终于有人讲明白了
来源:大数据DT
本文约4400字,建议阅读8分钟
本文为你介绍人工智能七项关键技术。
[导读]企业使用AI的一个复杂因素是,这个主题包含了多个不同的底层技术。这些技术中大多数都能够完成很多替代功能。技术和功能的组合非常复杂,表1-1列出了7项关键技术,包括每项技术的简要描述,以及它们可以实现的一些典型功能或应用程序。
▼表1-1人工智能关键技术
本文会更深入地描述这个表中的每种技术及其功能。我还将论述每种技术在商业AI世界有多普遍。我的本职工作是商学院的教授(跟很多不同的公司合作过),但我也是德勤战略和分析实践部门的高级顾问,该部门整合了人工智能方面的咨询工作。
下面是对每一项技术及其功能的深入描述。
01~03统计机器学习、神经网络和深度学习
机器学习是一种自动将模型与数据匹配,并通过训练模型对数据进行“学习”的技术。机器学习是AI最常见的形式之一。
在2017年德勤对250位经理(其所在公司都已经在探索AI)开展的“了解认知”调查中,接受调查的公司58%在其业务中采用了机器学习。它是许多人工智能方法的核心技术并且有很多的版本。公司内部和外部数据(尤其是这些外部数据)的爆炸式增长使它们采用机器学习来全面理解这些数据变得既可行又必要。
神经网络是机器学习的一种更为复杂的形式,该技术出现在20世纪60年代,并用于分类型应用程序,例如确定信贷交易是否为欺诈行为。它根据输入、输出、变量权重或将输入与输出关联的“特征”来分析问题。它类似于神经元处理信号的方式,但把它比作大脑就有些牵强了。
最复杂形式的机器学习将涉及深度学习,或通过很多等级的特征和变量来预测结果的神经网络模型。得益于当前计算机架构更快的处理速度,这类模型有能力应对成千上万个特征。
与早期的统计分析形式不同,深度学习模型中的每个特征通常对于人类观察者而言意义不大。这导致的结果就是该模型的使用难度很大或者难以解释。在德勤的调查中只有34%的人在使用深度学习技术。
深度学习模型使用一种称为反向传播的技术,通过模型进行预测或对输出进行分类。AI技术已推动了该领域的许多最新进展,从在围棋大赛中击败人类专家到对互联网图像进行分类,便是使用反向传播的深度学习。在多伦多大学及谷歌任职的杰弗里·辛顿(GeoffreyHinton)通常被称为深度学习之父,部分原因就在于他在反向传播方面的早期研究。
机器学习采用了上百种可能的算法,其中大多数算法有些深奥。它们的范围从梯度增强(一种构建用于解决先前模型错误的模型的方法,从而增强预测或分类能力)到随机森林(作为决策树模型集合的模型)。
越来越多的软件工具(包括DataRobot、SAS和谷歌的AutoML)支持机器学习模型的自动构建,这些模型可以尝试许多不同的算法来找出最成功的算法。一旦通过训练数据找到了能够进行预测或分类的最佳模型,就可以部署它,并对新的数据进行预测或分类(有时称为评分过程)。
除了所使用的算法外,机器学习的另一个关键是模型如何进行学习。有监督学习模型(到目前为止是业务中最常用的类型)是使用一组对输出做了标记的训练数据进行学习。
例如,一个试图预测银行欺诈行为的机器学习模型需要在一个明确构成欺诈案例的系统上接受训练。这并不容易做到,因为实际欺诈的频率可能只有十万分之一(有时称为不平衡分类问题)。
有监督学习与在评分模型中部署的传统分析方法(如回归分析)非常相似。在回归分析中,目标是创建一个模型,使用一组与输出有关而且其值已知的输入变量来预测一个已知结果。一旦模型开发完成,就可以用它通过相同输入变量的已知值来预测一个未知的结果。
例如,根据患者的年龄、体育活动水平、热量消耗和体重指数,我们可以开发回归模型来预测他患上糖尿病的可能性。
我们针对已确诊患有糖尿病或没患糖尿病的患者建立模型(通常使用所有可用数据来建立回归模型)。一旦找到了合适的预测回归模型,就可以使用它基于一组新的数据来预测未知的结果(输入变量达到特定等级时患者患上糖尿病的可能性)。其后的活动(在回归分析和机器学习中)称为评分。
回归过程与有监督的机器学习相同,除了:
在机器学习中,用于开发(训练)模型的数据称为训练数据,而且它可以是明确出于训练目的而保留的数据子集;
在机器学习中,通常用另一个数据子集来验证训练模型,该子集的预测结果是已知的;
在回归中,可能不需要使用模型来预测未知结果,相反在机器学习中则会对结果做假设;
机器学习中可以使用许多不同的算法类型来代替简单的回归分析。
开发无监督模型通常更难一些,它要从未做标记的数据中检测模式并预测未知的结果。
强化学习是第三种变体,它是指机器学习系统制订了目标而且迈向目标的每一步都会得到某种形式的奖励。它在玩游戏中非常有用,但也需要大量数据(在许多情况下,太多的数据对该方法不起作用)。
需要指出的是,有监督的机器学习模型通常不会持续学习。它们从一组训练数据中学习然后继续使用同一个模型,除非使用新的一组训练数据来训练新的模型。
机器学习模型是以统计为基础的,而且应该将其与常规分析进行对比以明确其价值增量。它们往往比基于人类假设和回归分析的传统“手工”分析模型更准确,但也更复杂和难以解释。相比于传统的统计分析,自动化机器学习模型更容易创建,而且能够揭示更多的数据细节。
考虑到学习所需的数据量,深度学习模型在图像和语音识别等任务上非常出色(远远优于以前针对这些任务的自动化方法,并且在某些领域接近或超过了人类的能力)。
04自然语言处理
自20世纪50年代以来,理解人类语言一直是人工智能研究者的目标。这一领域被称为自然语言处理(NaturalLanguageProcessing,NLP),包括诸如语音识别、文本分析、翻译、生成的应用程序及其他与语言有关的目标。
在“了解认知”的调查中,53%的公司在使用NLP。NLP有两种基本方法:统计NLP和语意NLP。统计NLP是以机器学习为基础,而且其性能提升的表现要快于语意NLP。它需要一个庞大的“语料库”或者语言体系来学习。
例如,在翻译中它需要大量的翻译文本,而通过统计分析可以发现西班牙语和葡萄牙语中的amor在统计上与英语中的love一词高度相关。这虽然有点靠“蛮力”,但通常是相当有效的方法。
语义NLP是近十年来唯一的现实选择,如果能用单词、语法和概念之间的关系有效地对系统进行训练那么它就会相当高效。
语言的训练和知识工程(通常指为特定领域所创建的知识图谱)可能会消耗大量的人力和时间。然而,它需要开发知识主体或者单词与短语之间的关系模型。虽然创建语义NLP模型难度很大,但现在有些智能座席系统已经在使用该方法。
NLP系统的性能应该用两种方法来衡量。一种是看它能够理解百分之多少的口语。随着深度学习技术的发展,该指标不断提高而且往往超过95%。
衡量NLP的另一种方法是看它能回答多少种不同类型的问题或者看它能解决多少种问题。这通常都需要语义NLP,但是由于这方面并没有重大的技术突破,所以问答系统和问题解决系统都要基于特定的上下文而且必须进行训练。
IBM沃森在回答《危险边缘》的问题时表现出色,但是除非进行训练(通常都是以劳动力密集型的方式),否则它回答不了《命运之轮》(WheelofFortune,一档综艺节目)的问题。也许深度学习在未来会应用于问题解答,但现在它还没有。
05基于规则的专家系统
在20世纪80年代,AI的主导技术是基于“if-then”规则集合的专家系统,而且在那个时代开始广泛地应用于商业领域。如今人们往往认为它没有那么先进了,但是2017年德勤“了解认知”的调研显示引入AI的美国公司里有49%使用了该技术。
专家系统要求人类专家和知识工程师在特定知识领域中构建一系列规则。例如,它们通常用于保险承销和银行信贷承销中(但也用于一些深奥的领域,如福爵咖啡的咖啡烘焙或金宝汤罐头的汤汁调制)。
专家系统在一定程度上运行良好,而且容易理解。然而,当规则的数量很大(通常超过几百条),并且规则开始相互冲突时,它们往往会崩溃。而且如果知识领域发生了变化,那么更改规则将会很困难而且也会很耗时。
基于规则的系统自其早期的全盛时期以来并没有太大的改进,但是保险和银行等大量使用它们的行业还是希望能够出现新一代基于规则的技术。研究人员和厂商已经开始讨论“自适应规则引擎”,该引擎将基于新的数据或规则引擎与机器学习的组合来不断修改规则,但它们确实还没有得到广泛应用。
06物理机器人
鉴于全球每年安装的工业机器人超过20万台,物理机器人已经广为人知。在美国“了解认知”调查中,32%的公司在某种程度上使用了物理机器人。它们在工厂和仓库等地执行起重、重新定位、焊接或装配产品等任务。历史上,这些机器人始终在细致的计算机程序控制下去执行特定的任务。
然而,当下的机器人变得越来越能够跟人类协作,而且更加容易训练,只需要根据预定的任务来移动机器人的部件就可以了。随着其他AI能力嵌入它们的“大脑”(实际上是它们的操作系统)中,它们也变得更加智能。随着时间的推移,我们在AI的其他领域中看到的改进很可能会被融入物理机器人中。
07机器人流程自动化
机器人流程自动化(RoboticProcessAutomation,RPA)技术在执行结构化数字任务(即涉及信息系统的任务)时就如同一个人类用户按照一个脚本或者规则在工作。关于RPA是否属于AI/认知技术的集合存在着争论,因为它不是十分智能。但是由于RPA系统非常流行、自动化,且越来越智能化,因此我把它也视为AI世界的一份子。
有人把它们称为“数字劳动力”,而且与其他形式的AI相比,它们价格低廉、易于编程,而且行动透明。如果你会操作鼠标、能理解流程图并能理解一些if-then业务规则,那么你可以理解甚至开发RPA。这些系统也比其他方法(例如,用编程语言开发自己的程序)更容易配置和实施。
RPA并不真正涉及机器人,它只是服务器上的计算机程序。它依赖于工作流、业务规则及信息系统集成的“表示层”的结合体,作为系统的半智能用户进行工作。
有些人将RPA与电子表格中的宏进行了比较,但是我认为这不是一个公平的比较,RPA可以执行更为复杂的任务。还有人将它与业务流程管理(BusinessProcessManagement,BPM)工具进行了比较,后者可能具有一些工作流功能,但通常旨在记录和分析业务流程,而不是实际将其自动化。
一些RPA系统已经具有一定程度的智能。它们可以“观察”人类同事的工作(例如回答常见的客户问题),然后模仿他们的行为。其他一些则把过程自动化与机器视觉相结合。与物理机器人一样,RPA系统正慢慢地变得更加智能化,其他类型的AI技术也被用来指导它们的行为。
我对这些技术分别进行了描述,但是现实中它们越来越多地被组合和集成。然而就目前而言,了解什么样的技术可以完成什么样的任务对一个业务决策者来说是非常重要的。
全球公司(GlobalInc.)首席信息官克里希纳·内森(KrishnaNathan)指出,他在2018年的一个关键优先事项是“帮助我的利益干系人了解人工智能能做什么和不能做什么,以便我们能以正确的方式使用它”。也许在将来,这些技术将混杂在一起,以至于这样的理解将不再必要,甚至不可行。
关于作者:
托马斯·H.达文波特(ThomasH.Davenport),美国巴布森学院(BabsonCollege)信息技术与管理专业杰出教授,获哈佛大学哲学博士学位,并先后授课于哈佛商业学院、芝加哥大学和波士顿大学。曾任埃森哲战略变革研究院主任,研究领域广泛,包括信息和知识管理、再造工程以及信息技术在商业中的应用。
本文摘编自《数字时代的企业AI优势:IT巨头的商业实践》,经出版方授权发布。
编辑:于腾凯
校对:林亦霖
人工智能整体技术体系和国内外发展情况
尽管在目前获得了一定的成功,但机器学习算法的机理仍然是统计拟合、暴力计算,并不具备真正的基于理解的学习、推理和决策能力,因此在应用中仍具有极大的局限性。部分专家甚至认为机器学习算法无法真正解决自然语言翻译、全自主自动驾驶等热点问题。当前比较明确的面向未来的前沿算法基础理论中,高级机器学习仍然无法突破机器学习的框架;量子计算主要是配合高级机器学习的发展;类脑智能计算则被许多专家视为新一代人工智能技术的突破口。近期美、日、德、法、欧盟和以色列等主要国家和地区都开展了脑科学与人工智能的联合研究,但众多现有类脑智能研究都主要以利用人工智能工具研究脑科学为主,对人工智能研究的推动不足。将两方面研究紧密结合的机构仅有麻省理工学院、卡内基·梅隆大学和加州大学伯克利分校等少数高校。整体而言,新一代人工智能的基础算法研究仍然任重道远。
2人工智能芯片:多路线竞争,分领域发展
目前的人工智能芯片根据技术路线可分类三类。首先是通用型的CPU及GPU芯片。CPU的架构和指令集对神经网络计算的兼容度不够,性价比和运算效率偏低。但英特尔、ARM在新的CPU产品XeonPhi和DynamIQ中强化了对神经网络计算的支持。GPU的架构比CPU更有利于相关算法的运行。传统的GPU厂商英伟达和AMD分别推出了TeslaV100和RadeonInstinctMI25来开拓人工智能芯片的市场空间。英特尔也通过收购的方式推出了Nervana以进入GPU领域。
第二类是FPGA芯片。FPGA具有可定制的特点,使用者可以对芯片进行二次开发使其更加适宜特定的运算环境。由于牺牲了通用性,FPGA芯片的价格相对CPU和GPU而言较为便宜。目前Xilinx、Altera、Microsemi、Lattice等少数厂商基本垄断了FPGA的生产。英特尔通过收购Altera也进入了FPGA芯片的生产环节。基于外购芯片,微软、百度等领先企业均具有较强的二次开发能力。百度已经推出了基于FPGA的百度大脑芯片。
第三类是ASIC芯片。此类芯片是彻底的专用芯片,也不具备编辑功能。设计新ASIC芯片的前期投入较高,但大规模生产后能够实现极低廉的成本。ASIC芯片对特定计算的运行效率极高,但也仅能应用于特定计算。目前ASIC芯片分两个技术方向。(1)脉冲神经网络芯片,以IBM的TureNorth为代表,以脉冲长短模拟大脑神经元间的交流活动。(2)机器学习芯片,以谷歌TPU和我国寒武纪为代表,以概率变化模拟大脑神经元间的交流活动。比较而言,后者直接针对机器学习算法的需要,目前在商业化应用竞争中占据优势,高通的Zeroth即是从早期的脉冲神经网络芯片转为现今的机器学习芯片方向。前者仍需忆阻器等基本原件的进一步发展,但对于类脑算法研究而言有着长远的意义。
整体而言,三类人工智能芯片各有特点,都具有对应的潜在细分市场空间。不同场合下对通用性、成本、性能的不同要求会产生不同的解决方案。苹果A11、华为麒麟970中的人工智能模块以及谷歌TPU都只是用于配合CPU完成特定运算。
3系统平台:多方混战,抢占地盘
实际应用中,可能被用到的大量不同基础算法需要整合成为集成化、高度兼容的软件工具来发挥作用。较完备的工具软件包形成了稳定的系统环境。围绕一些开源系统往往还会形成全球共享的研究成果交流平台。在系统平台领域抢占话语权,就能在人工智能时代形成类似PC时代Windows系统或手机时代安卓系统的优势市场地位。当前人工智能系统平台处于活跃发展、普遍竞争的状态,尚未产生稳定格局。Facebook、IBM等大公司和许多创业型小公司都推出了自己的开源项目。苹果通过收购Turi公司涉足了这一领域。我国的百度也在近期推出了自己的开源平台PaddlePaddle。谷歌则完全基于其TensorFlow平台设计出了TPU芯片,在战略层面打通了软硬件市场的布局。
三智能应用技术:感知、决策、执行集成化
智能应用技术是核心共性技术基础上的具体应用研究,主要是解决了某种特定类型问题的解决方案。某项专项技术可能用于许多不同的应用场景;特定应用场景也往往包含了多项专项技术。
智能传感器方面,目前国际一流传感器的市场基本被外国公司所垄断,我国的产业和研发实力明显处于劣势。模式识别在广义上既包括一些共性理论,也包括在语音、图像、自然语言分析等方面的具体识别技术,在此分别表述为模式识别理论和感知与理解技术。智能决策分析则主要侧重数据挖掘方向的专项应用。机器人、无人机、自动驾驶汽车也开始大量应用基于机器学习的智能控制技术。此外,人机交互也是当前的重点之一。
以往在机器人及自动化领域的研究中,经常依照感知、决策、执行三个环节来分析其技术体系,人工智能的发展则逐步模糊了三者的边界。例如机器视觉既包含基于视觉传感器的感知环节,也是对视觉信号进行分析处理和判断的决策环节。人机交互则同时涉及了以人为对象的感知和执行两个环节。未来人工智能技术将进一步推动感知、决策、执行的集成化水平。
四典型应用场景:热点集中,各显神通以新增企业的业务方向为标准,近年人工智能产业关注度最集中的细分领域为机器视觉、自然语言处理和自动驾驶。这三类专项智能技术所派生的应用场景也是当前人工智能市场的主要热点。例如机器视觉技术发展出的网络图像审核、人脸识别、虹膜识别、设备登录验证、金融身份验证、安防监控等应用;自然语言处理技术发展出的语音输入、机器翻译、拟人交流、智能客服等应用。
这些焦点应用中,比较成熟的自然语言处理、机器视觉及图像识别、语音识别等基本都局限在信息产业之内。能够同实体经济挂钩的自动驾驶虽然获得广泛关注但短期内尚难以突破。目前寻找能够对接传统制造和服务业的应用点是人工智能产业发展的重要任务,也是人工智能“通用型”应用的必然需要。
目前对新应用领域的探索主要分为三种情况。(1)龙头引领,即领先企业的战略意志推动新应用市场的开辟,并利用技术、资金、影响力等方面的优势而暂时处于无人竞争的状态。例如IBM基于沃森所提供的医疗诊断、法律咨询等服务,以及阿里巴巴所提出的城市大脑。(2)主动吸收,即一些专业性较强的行业主动吸收人工智能方法改善自身产品水平,主导者是业内原有的成熟主体而非新兴的人工智能企业。这也是最能体现人工智能“通用型”的应用类型。例如财务分析、科研辅助、交融交易分析等。(3)有待开拓,即相关领域理论上存在应用人工智能的可能,但尚缺乏实用性强、市场空间大的成熟产品。例如防灾减灾、基础设施维护、智能制造、智能教育等。
http://www.aibbt.com/a/27559.html返回搜狐,查看更多