终于有人把自然语言处理、机器学习、深度学习和人工智能讲明白了
导读：本文将带你了解自然语言处理的概念、应用，以及与机器学习、深度学习和人工智能之间的关系。
作者：卡蒂克·雷迪·博卡（KarthiekReddyBokka）、舒班吉·霍拉（ShubhangiHora）、塔努吉·贾因（TanujJain）、莫尼卡·瓦姆布吉（MonicahWambugu）
来源：华章科技
01自然语言处理的基础知识为了便于理解，我们将这个术语分为两部分：
自然语言是一种有机且自然发展而来的书面和口头交流形式。
处理意味着使用计算机分析和理解输入数据。
如图1-1所示，自然语言处理是人类语言的机器处理，旨在教授机器如何处理和理解人类的语言，从而在人与机器之间建立一个简单的沟通渠道。
▲图1-1自然语言处理自然语言处理的应用很广泛，例如，在我们的手机和智能音箱中的个人语音助手，如Alexa和Siri。它们不仅能够理解我们的说话内容，而且能够根据我们说的话采取行动，并做出反馈。自然语言处理算法促进了这种与人类沟通的技术。
在上述自然语言处理定义中要考虑的关键是：沟通需要以人类的自然语言进行。几十年来，我们一直在与机器沟通：创建程序来执行某些任务并执行。
然而，这些程序是用非自然语言编写的，因为它们不是口头交流的形式，也不是自然或有机发展而来的。这些语言，例如Java、Python、C和C++，都是在主要考虑机器的情况下创建的，并且始终考虑的是“机器能够轻松理解和处理的是什么？”
虽然Python是一种对用户更加友好的语言，且易于学习和编码，但与机器沟通，人类必须学习机器能够理解的语言。自然语言处理、机器学习、深度学习的关系如图1-2所示。
▲图1-2自然语言处理的维恩图自然语言处理的目的与此相反。自然语言处理不是以人类顺应机器的方式学习如何有效地与它们沟通，而是使机器能够与人类保持一致，并学习人类的交流方式。其意义更为重大，因为技术的目的本来就是让我们的生活更为轻松。
我们用一个例子来澄清这一点，你的第一个程序是一段让机器打印“helloworld”代码。这是你顺应机器并要求它用其理解的语言执行任务。
通过向其发出这个命令来要求你的语音助手说“helloworld”，并做出“helloworld”的反馈，就是自然语言处理应用的一个例子，因为你用自然语言与机器通信。机器符合你的沟通形式，理解你所说的内容，处理你要求它执行的操作，然后执行任务。
02自然语言处理的重要性图1-3说明了人工智能领域的各个部分。
▲图1-3人工智能及其一些子领域与机器学习和深度学习一样，自然语言处理是人工智能的一个分支，因为其处理自然语言，所以它实际上是人工智能和语言学的交叉。
如上所述，自然语言处理使机器能够理解人类的语言，从而在两者之间建立有效的沟通渠道。然而，自然语言处理的必要性还有另一个原因。那就是，像机器一样，机器学习模型和深度学习模型对数值数据最有效。数值数据对人类来说很难自然产生。很难想象我们用数字而不是语言交谈。
因此，自然语言处理与文本数据一起工作，并将其转换成数值数据，从而使机器学习模型和深度学习模型能够适用于文本数据。因此，它的存在是为了通过从人类那里获取语言的口头和书面形式，并将它们转换成机器能够理解的数据，来弥合人类和机器之间的交流差距。
得益于自然语言处理，机器能够理解并回答基于自然语言的问题、解决使用自然语言的问题以及用自然语言交流等。
03自然语言处理的能力自然语言处理有许多有益于人类生活的现实应用。这些应用程序属于自然语言处理的三大功能：
1.语音识别
机器能够识别自然语言的口语形式，并将其翻译成文本形式。比如智能手机上的听写，你可以启用听写功能并对着手机说话，它会将你所说的一切转换成文本。
2.自然语言理解
机器能够理解自然语言的口语和书面语。如果给机器一个命令，它就能理解并执行。例如，在你的手机上对Siri说“嘿，Siri，打电话回家”，Siri就会自动为你打电话回家。
3.自然语言生成
机器能够自己生成自然语言。例如，在手机上对Siri说“Siri，现在几点了？”Siri回复说:“现在是下午2:08”。
这三种能力用于完成和自动化许多任务。让我们来看看自然语言处理的一些应用。
注意：文本数据被称为语料库（corpora）或一个语料（corpus）。
04自然语言处理中的应用图1-4描述了自然语言处理的一般应用领域。
▲图1-4自然语言处理的应用领域1.自动文摘
包括对语料库生成摘要。
2.翻译
要求有翻译工具，以从不同的语言翻译文本，例如，谷歌翻译。
3.情感分析
这也被称为情感的人工智能或意见挖掘，它是从书面和口头语料库中识别、提取和量化情感和情感状态的过程。情感分析工具用于处理诸如客户评论和社交媒体帖子之类的事情，以理解对特定事物的情绪反应和意见，比如新餐厅的菜品质量。
4.信息提取
这是从语料库中识别并提取重要术语的过程，称为实体。命名实体识别属于这一类，将在下一章中解释。
5.关系提取
关系提取包括从语料库中提取语义关系。语义关系发生在两个或多个实体（如人、组织和事物）之间属于许多语义类别之一。
例如，如果一个关系提取工具被赋予了关于SundarPichai的内容，以及他是谷歌的CEO，该工具将能够生成“SundarPichai就职于谷歌”作为输出，SundarPichai和谷歌是两个实体，“就职于”是定义它们之间关系的语义类别。
6.聊天机器人
聊天机器人是人工智能的一种形式，被设计成通过语音和文本与人类交流。它们中的大多数模仿人，使你觉得在和另一个人说话。聊天机器人在健康产业被用于帮助患有抑郁症和焦虑症的人。
7.社交媒体分析
社交媒体的应用，如Twitter和Facebook，都有标签和趋势，并使用自然语言处理来跟踪和监控这些标签和趋势，以了解世界各地正在交谈的话题。此外，自然语言通过过滤负面的、攻击性的和不恰当的评论和帖子来帮助优化过程。
8.个人语音助理
Siri、Alexa、谷歌助手以及Cortana都是个人语音助理，充分利用自然语言处理技术来理解和回应我们。
9.语法检查
语法检查软件会自动检查和纠正你的语法、标点和拼写错误。
关于作者：卡蒂克·雷迪·博卡（KarthiekReddyBokka），语音和音频机器学习工程师，毕业于南加州大学，目前在波特兰的Bi-ampSystems公司工作。他的兴趣包括深度学习、数字信号和音频处理、自然语言处理以及计算机视觉。
舒班吉·霍拉（ShubhangiHora），Python开发者、人工智能爱好者和作家。她有计算机科学和心理学背景，对与心理健康相关的人工智能特别感兴趣。
塔努吉·贾因（TanujJain），在德国公司工作的数据科学家。他一直在开发深度学习模型，并将其投入生产以商用。他对自然语言处理特别感兴趣，并将自己的专业知识应用于分类和情感评级任务。
莫尼卡·瓦姆布吉（MonicahWambugu），金融技术公司的首席数据科学家，该公司通过利用数据、机器学习和分析来提供小额贷款，以执行替代信用评分。她是加州大学伯克利分校信息管理与系统硕士研究生。
本文摘编自《基于深度学习的自然语言处理》，经出版方授权发布。
延伸阅读《基于深度学习的自然语言处理》推荐语：关于基于深度学习的自然语言处理的基础知识大全，内容全面且新颖，讲解专业且规范，是走上精通深度学习与自然语言处理之路的优秀范本。
自然语言处理十大应用
作者|ABHISHEKSHARMA编译|VK来源|AnalyticsVidhya
介绍自然语言处理是数据科学领域最热门的课题之一。公司在这一领域投入大量资金进行研究。每个人都在努力了解自然语言处理及其应用，并以此为生。
你知道为什么吗？
因为仅仅在短短几年的时间里，自然语言处理已经发展成为一种无人能想象的强大而有影响力的东西。
为了了解自然语言处理的力量及其对我们生活的影响，我们需要看看它的应用。因此，我列出了自然语言处理的十大应用。
那么，让我们从自然语言处理的第一个应用开始。
搜索自动更正和自动完成每当你在谷歌上搜索某个东西，在输入2-3个字母后，它会显示可能的搜索词。或者，如果你搜索一些有错别字的东西，它会更正它们，仍然会找到适合你的相关结果。是不是很神奇？
它是每个人每天都在使用的东西，但从来没有太多的关注它。这是自然语言处理的一个很好的应用，也是一个很好的例子。它影响世界上数百万人，包括你和我。
搜索自动完成和自动更正都有助于我们更有效地找到准确的结果。现在，其他许多公司也开始在他们的网站上使用这个功能，比如Facebook和Quora。
搜索自动完成和自动更正背后的驱动引擎是语言模型。
语言翻译你有没有用谷歌翻译来找出不同语言中的某个词或短语？它将一段文字用一种语言翻译成另一种语言的容易程度是相当惊人的，对吧？它背后的技术是机器翻译。
机器翻译是将一种语言中的文本自动转换成另一种语言，同时保持原意不变的过程。
在早期，机器翻译系统是基于词典和基于规则的系统，它们的成功率非常有限。
然而，由于神经网络领域的发展、海量数据的可用性和强大的机器，机器翻译在将文本从一种语言转换成另一种语言时变得相当精确。
如今，像Google翻译这样的工具可以很容易地将文本从一种语言转换成另一种语言。这些工具正在帮助许多人和企业打破语言障碍并取得成功。
社交媒体监控如今，越来越多的人开始使用社交媒体发布他们对某一特定产品、政策或事项的看法。这些信息可能包含一些关于个人好恶的有用信息。
因此，分析这些非结构化数据有助于生成有价值的信息。自然语言处理在这里也起到了作用。
如今，公司使用各种NLP技术分析社交媒体帖子，了解客户对其产品的看法。公司还利用社交媒体监控来了解客户在使用产品时所面临的问题。
不仅仅是公司，甚至政府也用它来识别与国家安全相关的潜在威胁。
聊天机器人对任何公司来说，客户服务和体验是最重要的。它可以帮助企业改进产品，也可以使顾客满意。但与每个客户进行手动交互，并解决问题可能是一项乏味的任务。
聊天机器人可以帮助解决这一情况，聊天机器人帮助公司实现流畅的客户体验的目标。
如今，许多公司在他们的应用程序和网站上使用聊天机器人，这可以解决客户的基本查询。它不仅使公司的流程更容易，而且还使客户从等待与客服呼求帮助时的沮丧情绪中解脱出来。
此外，它还可以降低为公司聘请客服的成本。起初，聊天机器人只是用来解决客户的查询的工具，但今天它们已经演变成了个人伙伴。从推荐产品到获得客户反馈，聊天机器人可以做任何事情。
调查分析调查是评估公司业绩的重要方法。公司进行了许多调查以获得客户对各种产品的反馈。这对于理解缺陷和帮助公司改进产品非常有用。
但是，当很多客户接受调查导致数据量增加时，问题就出现了。一个人不可能把它们全部读出来并得出结论。这就是公司使用自然语言处理来分析调查并从中挖掘信息的地方。
比如从反馈中了解用户对事件的看法，分析产品评论以了解利弊。今天，大多数公司使用这些方法是因为它们提供了更准确和有用的信息。
定向广告一天，我在亚马逊上搜索手机，几分钟后，谷歌开始在各种网页上给我展示类似手机的广告。我相信你已经经历过了。
你知道这里发生了什么吗？定向广告！
是啊！你读对了有针对性的广告。定向广告是一种在线广告，根据用户的在线活动向他们展示广告。
现在大多数的在线公司都使用这种方法，因为第一，它为公司节省了很多钱；第二，相关的广告只向潜在的客户展示。
针对性广告的工作主要是关键字匹配。广告与关键字或短语相关联，并且只向那些搜索与广告关联的关键字相似的关键字的用户显示。
显然，这还不够，还有其他因素，比如他们最近访问过的网站，以及他们感兴趣的网页，都被考虑到为用户提供他们可能感兴趣的产品的相关广告。
招聘与求职人力资源部是每个公司不可分割的一部分。他们最重要的工作是为公司挑选合适的员工。
但是，今天，在这个竞争激烈的世界里，招聘人员需要为一个职位审查成百上千份简历。筛选简历和筛选候选人可能需要几个小时。这个任务可以自动化吗？
对！在自然语言处理的帮助下，招聘人员可以轻松地找到合适的候选人。这就意味着招聘人员不必检查每一份简历，并手动筛选出合适的候选人。
该技术与命名实体识别的信息抽取一样，可以用于提取技能、姓名、位置和教育等信息。然后，利用这些特征在特征空间中表示候选对象，并将其分为适合或不适合特定角色的类别。或者，他们也可以根据简历推荐一个不同的角色。
这样就可以对简历进行无偏见的筛选，并为空缺职位挑选出最合适的人选，而不需要太多人力。大多数公司使用申请跟踪系统来有效筛选简历。
语音助理我敢肯定你已经见过他们了，谷歌助手，苹果Siri，亚马逊Alexa。是的，这些都是语音助理。
语音助手是一种软件，它使用语音识别、自然语言理解和自然语言处理来理解用户的口头命令并执行相应的操作。
你可能会说它类似于聊天机器人，但我把语音助理单独包括在内，因为它们应该在这个列表中占据更好的位置。他们不仅仅是聊天机器人，而且可以做比聊天机器人更多的事情。
今天，我们大多数人无法想象没有语音助手的生活。这些年来，他们已经变成了一个非常可靠和强大的朋友。从设置我们的闹钟到为我们找一家餐厅，语音助理可以做任何事情。它们为用户和公司打开了一扇新的机会之门。
语法检查程序这是自然语言处理中应用最广泛的应用之一。像Grammarly这样的语法检查工具提供了大量的功能，可以帮助人们写出更好的内容。他们可以把任何普通的文本变成美丽的文学作品。
如果你想给你的老板写封电子邮件，或者你要写一篇报告或者更好的一篇文章，无可否认的是你需要这些有用的朋友。
这些工具可以纠正语法、拼写、建议更好的同义词，并帮助以更好的清晰度和参与度交付内容。
它们也有助于提高内容的可读性，从而允许你以尽可能好的方式传达你的信息。如果你看看五年前语法检查的工具，你会发现他们的能力远不如今天。
你知道为什么吗？
因为自然语言处理的transformers是在2017年问世。
电子邮件过滤你用过Gmail吗？
我肯定你已经注意到了，不管你什么时候收到的都是社交邮件。最好的是垃圾邮件也被过滤到一个单独的部分。是不是既神奇又有益？是的，这就是邮件过滤的全部内容。我不必告诉你我们的日常工作有多依赖于这个功能。
使用文本分类过滤电子邮件，这是一种自然语言处理技术。你可能已经猜到了。
文本分类是将一段文本分类为预定义的类别的过程。文本分类的另一个很好的例子是将新闻文章分成不同的类别。
结尾既然你熟悉自然语言处理应用程序，现在就可以深入自然语言处理领域了。
原文链接：https://www.analyticsvidhya.com/blog/2020/07/top-10-applications-of-natural-language-processing-nlp/
欢迎关注磐创AI博客站：http://panchuang.net/
sklearn机器学习中文官方文档：http://sklearn123.com/
欢迎关注磐创博客资源汇总站：http://docs.panchuang.net/