目前,自然语言处理(NLP)的最主要应用有哪些
目前,文本翻译最为主流的工作方式依然是以传统的统计机器翻译和神经网络翻译为主。Google、Microsoft与国内的百度、有道等公司都为用户提供了免费的在线多语言翻译系统。速度快、成本低是文本翻译的主要特点,而且应用广泛,不同行业都可以采用相应的专业翻译。但是,这一翻译过程是机械的和僵硬的,在翻译过程中会出现很多语义语境上的问题,仍然需要人工翻译来进行补充。
语音翻译可能是目前机器翻译中比较富有创新意思的领域,搜狗推出的机器同传技术主要在会议场景出现,演讲者的语音实时转换成文本,并且进行同步翻译,低延迟显示翻译结果,希望能够取代人工同传,实现不同语言人们低成本的有效交流。
图像翻译也有不小的进展。谷歌、微软、Facebook和百度均拥有能够让用户搜索或者自动整理没有识别标签照片的技术。除此之外还有视频翻译和VR翻译也在逐渐应用中,但是目前的应用还不太成熟。
2、信息检索
信息检索是从相关文档集合中查找用户所需信息的过程。信息检索的基本原理是将用户输入的检索关键词与数据库中的标引词进行对比,当二者匹配成功时,检索成功。
以谷歌为代表的「关键词查询+选择性浏览」交互方式,用户用简单的关键词作为查询提交给搜索引擎,搜索引擎并非直接把检索目标页面反馈给用户,而是提供给用户一个可能的检索目标页面列表,用户浏览该列表并从中选择出能够满足其信息需求的页面加以浏览。
3、自动问答
自动问答是指利用计算机自动回答用户所提出的问题以满足用户知识需求的任务。自动问答系统在回答用户问题时,首先要正确理解用户所提出的问题,抽取其中关键的信息,在已有的语料库或者知识库中进行检索、匹配,将获取的答案反馈给用户。这一过程涉及了包括词法句法语义分析的基础技术,以及信息检索、知识工程、文本生成等多项技术。
根据目标数据源的不同,问答技术大致可以分为检索式问答、社区问答以及知识库问答三种。检索式问答和社区问答的核心是浅层语义分析和关键词匹配,而知识库问答则正在逐步实现知识的深层逻辑推理。
除了这几种NLP应用,其它如情感分析、自动文本摘要、社会计算和信息抽取也都有广泛的应用。返回搜狐,查看更多
人工智能的研究热点和应用,主要包含哪几个方面
现在,人工智能已逐渐形成了诸如专家系统、机器学习、模式识别、自然语言理解、机器人学、博弈、人工神经网络等多个研究领域。而目前人工智能研究的热点和应用包含以下几个方面:1、智能接口智能接口技术是研究如何使人们能够方便自然地与计算机交流。为了实现这一目标,要求计算机能够看懂文字、听懂语言、说话表达,甚至能够进行不同语言之间的翻译,而这些功能的实现又依赖于知识表示方法的研究。因此,智能接口技术的研究既有巨大的应用价值,又有基础的理论意义。目前,智能接口技术已经取得了显著成果,文字识别、语音识别、语音合成、图像识别、机器翻译以及自然语言理解等技术已经开始实用化。2、数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘和知识发现的研究目前已经形成了三根强大的技术支柱:数据库、人工智能和数理统计。主要研究内容包括基础理论、发现算法、数据仓库、可视化技术、定性定量互换模型、知识表示方法、发现知识的维护和再利用、半结构化和非结构化数据中的知识发现以及网上数据挖掘等。3、主体及多主体系统主体是具有信念、愿望、意图、能力、选择等心智状态的实体,比对象的粒度更大,智能性更高,而且具有一定自主性。主体试图自主地、独立地完成任务,而且可以和环境交互,与其他主体通信,通过规划达到目标。多主体系统主要研究在逻辑上或物理上分离的多个主体之间进行协调智能行为,最终实现问题求解。多主体系统试图用主体来模拟人的理性行为,主要应用在对现实世界和社会的模拟、机器人以及智能机械等领域。目前,对主体和多主体系统的研究主要集中在主体和多主体理论、主体的体系结构和组织、主体语言、主体之间的协作和协调、通信和交互技术、多主体学习以及多主体系统。人工智能、大数据、云计算和物联网的未来发展值得重视,均为前沿产业,多智时代专注于人工智能和大数据的入门和科谱,在此为你推荐几篇优质好文:网络人工智能的六大应用方向http://www.duozhishidai.com/article-9314-1.html哪些是人工智能应用最多的场景?http://www.duozhishidai.com/article-6786-1.html百年来人工智能的应用实例,主要有哪些?http://www.duozhishidai.com/article-2464-1.html
多智时代-人工智能和大数据学习入门网站|人工智能、大数据、物联网、云计算的学习交流网站
自然语言处理的前景是怎样的
自然语言处理(NLP)的定义
自然语言处理(NLP)是人工智能技术的一个分支,它使计算机能够像人们一样理解、处理和生成语言,并且在商业中的应用正在迅速增长。
虽然自然语言处理(NLP)这一术语最初指的是人工智能系统的阅读能力,但它后来成为所有计算语言学的一种通俗说法。其子类别包括自然语言生成(NLG)(计算机自行创建通信的能力)和自然语言理解(NLU)(理解俚语、错误发音、拼写错误以及其他语言变体的能力)。
自然语言处理(NLP)的工作原理
自然语言处理通过机器学习(ML)进行。机器学习系统像其他任何形式的数据一样存储单词及其组合方式。将短语、句子,有时甚至整本书的内容都输入机器学习引擎,并根据语法规则和人们的现实语言习惯(或两者兼而有之)进行处理。然后,计算机使用这些数据来查找模式并推断出下一步的工作。以翻译软件为例:在法语中,“我要去公园”是“Jevaisauparc”,因此机器学习预测“我要去商店”也将以“Jevaisau”开头。
自然语言处理应用
机器翻译是更好的自然语言处理(NLP)应用程序之一,但它并不是最常用的一种。人们每次在Google或Bing搜索引擎中查找内容时,都将数据输入到系统中。当单击搜索结果时,搜索引索会将其视为对找到的结果正确的确认,并在以后使用这个信息更好地进行搜索。
聊天机器人的工作方式与其相同:它们与Slack、MicrosoftMessenger和其他聊天程序集成在一起,可以在其中读取人们所说的语言,然后在说出触发词语时将其打开。当Siri和Alexa等语音助手听到“Hey,Alexa”之类的短语时,它们就会进行响应。这就是批评者指责这些程序一直在监听的原因:如果不是,它们永远不会知道人们何时需要它们。除非人们自己打开应用程序,否则自然语言处理程序将在后台运行,等待短语的出现。
自然语言处理(NLP)对人们的利大于弊。人们可以想象一下没有谷歌搜索或者拼写检查程序的生活。它使用自然语言处理(NLP)将输入的单词与字典中的单词进行比较。通过比较这两个数据集,拼写检查程序可以找出问题并提供建议。
自然语言处理(NLP)示例
搜索引擎和拼写检查的应用如今非常普遍,人们经常将它们视为一种理所当然的技术,尤其是在自然语言处理(NLP)可以显著提高生产力的工作中。例如如果想知道还剩下多少假期?不必询问人力资源部门。可以采用聊天机器人Talla节省时间,它会搜索企业政策以寻找答案。打电话联系客户需要翻看手机所存的电话号码?可以采用语音提示,通过声音搜索启动SecondMind,将会给出所需的号码。这种集成的搜索工具可以加快员工与客户的沟通。
自然语言处理还可以帮助招聘者对简历进行分类,吸引各种应聘者并雇用更多合格的员工。对垃圾邮件进行检测可以使用自然语言处理(NLP),以阻止垃圾电子邮件进入人们的收件箱;此外,可以采用Outlook和Gmail等程序将某些人的邮件分类到创建的文件夹中。
诸如情绪分析之类的工具可帮助企业快速识别推文内容的好坏,从而可以了解客户的顾虑。情感分析不仅可以处理社交媒体上的文字,还可以分解词语出现的语境。对于分析机构Periscopic公司的数据可视化工具SkyeMorét来说,只有30%的英语单词是正面的,其余的是中性或负面的。因此,自然语言处理(NLP)可以帮助企业更全面地理解一个帖子:在这些中性词汇背后,消费者表达的情感是什么?
传统上,企业使用自然语言处理将反馈分为积极和消极两类。但是FleishmanHillard公司社会和创新业务的高级副总裁RyanSmith表示,当今的自然语言处理工具可以识别更精确的情绪,例如悲伤、愤怒和恐惧。
自然语言处理(NLP)软件
无论人们是要构建聊天机器人、语音助手、预测文本应用程序,还是以自然语言处理为核心的其他应用程序,企业都将需要采用工具。根据调查,最受欢迎的自然语言处理软件包括:
•自然语言工具包(NLTK)。自然语言工具包(NLTK)是一个开放源代码框架,用于构建Python程序以使用人类语言数据。它是在宾夕法尼亚大学计算机和信息科学系开发的,为50多个语料库和词汇资源库、一个文本处理库、自然语言处理库和论坛提供接口。自然语言工具包(NLTK)是在Apache2.0许可下提供的。
•SpaCy。SpaCy是一个开放源代码库,用于高级自然语言处理,专门为生产目的而非研究目的而设计。SpaCy的设计充分考虑了高级数据科学,并允许深度数据挖掘。它是由麻省理工学院授权的。
•Gensim。Gensim是一个用于自然语言处理的开源Python库。独立于平台的库支持可扩展的统计语义、针对语义结构的纯文本文档分析以及检索语义相似文档的能力。可以在无需人工监督的情况下处理大量文本。
•AmazonComprehend。这项Amazon服务不需要机器学习的经验。它旨在帮助组织从电子邮件、客户评论、社交媒体、支持通知单和其他文本中获得见解。它使用情感分析、词性提取和标记化来分析单词背后的意图。
•IBMWatson音频分析器。这个基于云计算的解决方案旨在用于社交监听、聊天机器人集成和客户服务监控。它可以分析客户帖子中的情绪和语气,并监视客户服务电话和聊天对话。
•谷歌云翻译。这个API使用自然语言处理来检查源文本以确定语言,然后使用神经机器翻译将文本动态翻译为另一种语言。这个API允许用户将功能集成到他们自己的程序中。
自然语言处理(NLP)课程
有很多资源可用于学习创建和维护自然语言处理应用程序,其中许多是免费的资源。其中包括:
•DataCamp中的Python自然语言处理。这门免费课程提供15个视频和51个练习文件,涵盖了使用Python处理自然语言的基础知识。它涵盖了如何识别和分隔单词,如何在文本中提取主题,以及如何构建自己的虚假新闻分类器。
•Udemy的自然语言处理(NLP)。这个入门课程提供使用Python和自然语言工具包处理和分析文本的实践经验。它包括三个小时的点播视频,三篇文章和16个可下载资源。该课程费用为19.99美元,并提供结业证书。
•使用Udemy的Python进行自然语言处理(NLP)。这个课程面向具有语言基础编程经验,理解面向对象编程的概念,具有基础到中级数学知识以及矩阵运算知识的个人。它完全基于项目,并且涉及构建文本分类器以实时预测推文的情绪,以及构建文章摘要器,该文章摘要器可以获取文章并提取摘要。该课程包括10.5小时的点播视频和8篇文章。该课程费用为19.99美元,并提供结业证书。
•edX的自然语言处理(NLP)。由微软公司通过edX提供的为期六周的课程概述了自然语言处理和经典机器学习方法的使用。它涵盖了统计机器翻译和深度语义相似性模型(DSSM)及其应用。它还涵盖了在自然语言处理和视觉语言多模式智能中应用的深度强化学习技术。这是一门高级课程,完成该课程学习的人员只需支付99美元即可获得认证证书。
•Coursera公司提供的自然语言处理。本课程是Coursera公司高级机器学习专业化的一部分,涵盖自然语言处理任务,包括情感分析、摘要、对话状态跟踪等。Coursera公司表示,这是一门高级课程,需要学习五个星期,每个星期需要学习四到五个小时。
自然语言处理为社会公益提供支持
除了帮助企业处理数据外,情绪分析还可以帮助人们了解社会动态。例如,Periscopic已将自然语言处理(NLP)与视觉识别结合使用,创建了特朗普表情计算器(TrumpEmoticoaster),这是一种处理语言和面部表情的数据引擎,目的是了解美国特朗普总统的情绪状态。
类似的技术也可以防止校园枪击事件:在哥伦比亚大学,研究人员已经处理了9000名暴力倾向的年轻人发布的200万条推文,并在寻找问题的答案:随着青少年越来越倾向采用暴力,那么其语言是如何改变的?
Coursera公司项目总监DesmondPatton博士说,“有问题的内容会随着时间的推移而发展。”随着一些年轻人越来越接近危险的边缘,他们会通过语言表达。然后,自然语言处理会标记出有问题的情绪,以便社会工作者可以进行干预。
与Periscopic一样,Columbia公司将情感分析与图像识别结合使用,以提高准确性。Patton说,计算机视觉将推文上的图片进行分解,然后机器学习将它们与语言一起处理,以告诉“图片的真实情感”。这个图像是关于悲伤的吗?这是有关威胁的图片吗?这些图像中还发生了什么,可以帮助人们更好地理解?”除校园枪击事件之外,哥伦比亚计划还希望采用这种技术防止团伙暴力。
自然语言处理(NLP)以提高个人水平
自然语言处理(NLP)还可以帮助人们监控自己的情绪状态。Woebot是一种电子治疗师,可通过FacebookMessenger聊天机器人或独立应用程序与用户联系。不过,目前还没有高级的情感分析技术,Woebot实际上只能跟踪那些抑郁和焦虑,可能表明用户面临紧急情况的词汇。
责任编辑自然语言处理(NLP)的定义
自然语言处理(NLP)是人工智能技术的一个分支,它使计算机能够像人们一样理解、处理和生成语言,并且在商业中的应用正在迅速增长。
虽然自然语言处理(NLP)这一术语最初指的是人工智能系统的阅读能力,但它后来成为所有计算语言学的一种通俗说法。其子类别包括自然语言生成(NLG)(计算机自行创建通信的能力)和自然语言理解(NLU)(理解俚语、错误发音、拼写错误以及其他语言变体的能力)。
自然语言处理(NLP)的工作原理
自然语言处理通过机器学习(ML)进行。机器学习系统像其他任何形式的数据一样存储单词及其组合方式。将短语、句子,有时甚至整本书的内容都输入机器学习引擎,并根据语法规则和人们的现实语言习惯(或两者兼而有之)进行处理。然后,计算机使用这些数据来查找模式并推断出下一步的工作。以翻译软件为例:在法语中,“我要去公园”是“Jevaisauparc”,因此机器学习预测“我要去商店”也将以“Jevaisau”开头。
自然语言处理应用
机器翻译是更好的自然语言处理(NLP)应用程序之一,但它并不是最常用的一种。人们每次在Google或Bing搜索引擎中查找内容时,都将数据输入到系统中。当单击搜索结果时,搜索引索会将其视为对找到的结果正确的确认,并在以后使用这个信息更好地进行搜索。
聊天机器人的工作方式与其相同:它们与Slack、MicrosoftMessenger和其他聊天程序集成在一起,可以在其中读取人们所说的语言,然后在说出触发词语时将其打开。当Siri和Alexa等语音助手听到“Hey,Alexa”之类的短语时,它们就会进行响应。这就是批评者指责这些程序一直在监听的原因:如果不是,它们永远不会知道人们何时需要它们。除非人们自己打开应用程序,否则自然语言处理程序将在后台运行,等待短语的出现。
自然语言处理(NLP)对人们的利大于弊。人们可以想象一下没有谷歌搜索或者拼写检查程序的生活。它使用自然语言处理(NLP)将输入的单词与字典中的单词进行比较。通过比较这两个数据集,拼写检查程序可以找出问题并提供建议。
自然语言处理(NLP)示例
搜索引擎和拼写检查的应用如今非常普遍,人们经常将它们视为一种理所当然的技术,尤其是在自然语言处理(NLP)可以显著提高生产力的工作中。例如如果想知道还剩下多少假期?不必询问人力资源部门。可以采用聊天机器人Talla节省时间,它会搜索企业政策以寻找答案。打电话联系客户需要翻看手机所存的电话号码?可以采用语音提示,通过声音搜索启动SecondMind,将会给出所需的号码。这种集成的搜索工具可以加快员工与客户的沟通。
自然语言处理还可以帮助招聘者对简历进行分类,吸引各种应聘者并雇用更多合格的员工。对垃圾邮件进行检测可以使用自然语言处理(NLP),以阻止垃圾电子邮件进入人们的收件箱;此外,可以采用Outlook和Gmail等程序将某些人的邮件分类到创建的文件夹中。
诸如情绪分析之类的工具可帮助企业快速识别推文内容的好坏,从而可以了解客户的顾虑。情感分析不仅可以处理社交媒体上的文字,还可以分解词语出现的语境。对于分析机构Periscopic公司的数据可视化工具SkyeMorét来说,只有30%的英语单词是正面的,其余的是中性或负面的。因此,自然语言处理(NLP)可以帮助企业更全面地理解一个帖子:在这些中性词汇背后,消费者表达的情感是什么?
传统上,企业使用自然语言处理将反馈分为积极和消极两类。但是FleishmanHillard公司社会和创新业务的高级副总裁RyanSmith表示,当今的自然语言处理工具可以识别更精确的情绪,例如悲伤、愤怒和恐惧。
自然语言处理(NLP)软件
无论人们是要构建聊天机器人、语音助手、预测文本应用程序,还是以自然语言处理为核心的其他应用程序,企业都将需要采用工具。根据调查,最受欢迎的自然语言处理软件包括:
•自然语言工具包(NLTK)。自然语言工具包(NLTK)是一个开放源代码框架,用于构建Python程序以使用人类语言数据。它是在宾夕法尼亚大学计算机和信息科学系开发的,为50多个语料库和词汇资源库、一个文本处理库、自然语言处理库和论坛提供接口。自然语言工具包(NLTK)是在Apache2.0许可下提供的。
•SpaCy。SpaCy是一个开放源代码库,用于高级自然语言处理,专门为生产目的而非研究目的而设计。SpaCy的设计充分考虑了高级数据科学,并允许深度数据挖掘。它是由麻省理工学院授权的。
•Gensim。Gensim是一个用于自然语言处理的开源Python库。独立于平台的库支持可扩展的统计语义、针对语义结构的纯文本文档分析以及检索语义相似文档的能力。可以在无需人工监督的情况下处理大量文本。
•AmazonComprehend。这项Amazon服务不需要机器学习的经验。它旨在帮助组织从电子邮件、客户评论、社交媒体、支持通知单和其他文本中获得见解。它使用情感分析、词性提取和标记化来分析单词背后的意图。
•IBMWatson音频分析器。这个基于云计算的解决方案旨在用于社交监听、聊天机器人集成和客户服务监控。它可以分析客户帖子中的情绪和语气,并监视客户服务电话和聊天对话。
•谷歌云翻译。这个API使用自然语言处理来检查源文本以确定语言,然后使用神经机器翻译将文本动态翻译为另一种语言。这个API允许用户将功能集成到他们自己的程序中。
自然语言处理(NLP)课程
有很多资源可用于学习创建和维护自然语言处理应用程序,其中许多是免费的资源。其中包括:
•DataCamp中的Python自然语言处理。这门免费课程提供15个视频和51个练习文件,涵盖了使用Python处理自然语言的基础知识。它涵盖了如何识别和分隔单词,如何在文本中提取主题,以及如何构建自己的虚假新闻分类器。
•Udemy的自然语言处理(NLP)。这个入门课程提供使用Python和自然语言工具包处理和分析文本的实践经验。它包括三个小时的点播视频,三篇文章和16个可下载资源。该课程费用为19.99美元,并提供结业证书。
•使用Udemy的Python进行自然语言处理(NLP)。这个课程面向具有语言基础编程经验,理解面向对象编程的概念,具有基础到中级数学知识以及矩阵运算知识的个人。它完全基于项目,并且涉及构建文本分类器以实时预测推文的情绪,以及构建文章摘要器,该文章摘要器可以获取文章并提取摘要。该课程包括10.5小时的点播视频和8篇文章。该课程费用为19.99美元,并提供结业证书。
•edX的自然语言处理(NLP)。由微软公司通过edX提供的为期六周的课程概述了自然语言处理和经典机器学习方法的使用。它涵盖了统计机器翻译和深度语义相似性模型(DSSM)及其应用。它还涵盖了在自然语言处理和视觉语言多模式智能中应用的深度强化学习技术。这是一门高级课程,完成该课程学习的人员只需支付99美元即可获得认证证书。
•Coursera公司提供的自然语言处理。本课程是Coursera公司高级机器学习专业化的一部分,涵盖自然语言处理任务,包括情感分析、摘要、对话状态跟踪等。Coursera公司表示,这是一门高级课程,需要学习五个星期,每个星期需要学习四到五个小时。
自然语言处理为社会公益提供支持
除了帮助企业处理数据外,情绪分析还可以帮助人们了解社会动态。例如,Periscopic已将自然语言处理(NLP)与视觉识别结合使用,创建了特朗普表情计算器(TrumpEmoticoaster),这是一种处理语言和面部表情的数据引擎,目的是了解美国特朗普总统的情绪状态。
类似的技术也可以防止校园枪击事件:在哥伦比亚大学,研究人员已经处理了9000名暴力倾向的年轻人发布的200万条推文,并在寻找问题的答案:随着青少年越来越倾向采用暴力,那么其语言是如何改变的?
Coursera公司项目总监DesmondPatton博士说,“有问题的内容会随着时间的推移而发展。”随着一些年轻人越来越接近危险的边缘,他们会通过语言表达。然后,自然语言处理会标记出有问题的情绪,以便社会工作者可以进行干预。
与Periscopic一样,Columbia公司将情感分析与图像识别结合使用,以提高准确性。Patton说,计算机视觉将推文上的图片进行分解,然后机器学习将它们与语言一起处理,以告诉“图片的真实情感”。这个图像是关于悲伤的吗?这是有关威胁的图片吗?这些图像中还发生了什么,可以帮助人们更好地理解?”除校园枪击事件之外,哥伦比亚计划还希望采用这种技术防止团伙暴力。
自然语言处理(NLP)以提高个人水平
自然语言处理(NLP)还可以帮助人们监控自己的情绪状态。Woebot是一种电子治疗师,可通过FacebookMessenger聊天机器人或独立应用程序与用户联系。不过,目前还没有高级的情感分析技术,Woebot实际上只能跟踪那些抑郁和焦虑,可能表明用户面临紧急情况的词汇。
责任编辑:ct