小美导读：如何让人工智能助理杜绝“智障”?
微软亚洲研究院开发了一个名为EDI(EnterpriseDeepIntelligence)的神奇小机器人，可以帮助用户自动预定会议室，或设置工作提醒等。通常，员工需要耗费5分钟左右的时间来安排一个会议，而EDI从收到用户的自然语言请求到完成会议预定只需要不到10秒的时间。用过EDI的同事都夸他聪明，因而越来越多的微软同事们选择EDI作为自己的日常工作小助手。如今，在微软亚洲研究院内部，超过一半的会议都是通过EDI自动预定的。可以说，EDI是一个真正聪明起来的人工智能助理。
今天，笔者以EDI开发过程中的经验和大家分享一下如何打造人工智能助理，提高其自然语言理解能力，以及人工智能助理还需要做好的几件事。我们认为这些事对于一个智能助理的成功来说——可以说是人工智能助理的四大“自救法宝”！
自救方法一：专注垂直应用
现阶段，要打造一个无所不能的“超级”智能助理有很大难度，但在一个垂直领域做到智能还是有可能的。
“超级”智能助理的一个难点是开放域的自然语言理解。想将每一个领域都做到很大，并且合成一个“大而全”的智能助理——这个目标以目前的技术水平来说还是极富挑战的，因为我们无法对用户的请求进行任何先验假设。各个领域之间会有一定的冲突和矛盾。为了总体最优就必须有妥协和让步。最终的理想结果就是将若干个一般水平的智能助理们合成一个更为一般的集成智能助理。例如同一个词在不同语境和领域下可能有不同的意思，但在特定的领域内词语的含义往往就是确定的。
在我们开发EDI训练意图识别（intentionclassification）和实体抽取（entityextraction）模型的过程中，使用了词向量（wordembedding）作为特征表示，发现使用全局数据训练的词向量效果比只使用少量和日程规划相关的数据训练的词向量效果差很多，即使全局数据量远远大于局部数据量。分析数据发现，“schedule”和“book”两个词在全局空间并不是十分相似，而在局部空间两个词则非常接近。基于这个发现，我们使用了主题相关词向量（topic-awarewordembedding）的算法，将训练数据的主题分类和词向量训练同时进行，得到的词向量很好地提升了EDI对于意图识别和实体抽取的准确率。
“超级”智能助理的另一个难点是开放域的实体推理。EDI在时间理解方面就遇到了这样的问题。对于同一个表示“星期一”，在一个查询请求中“星期一有多少用户访问过我们的网站”，“星期一”应该被解析成过去的星期一，而对于预定请求“帮我订一个星期一的会议”这句话中，“星期一”则应该被解析成未来的星期一。EDI将这些和领域知识相关的参数作为隐变量，用递归神经网络（RNN）对请求中的上下文进行建模，利用封闭域数据学习时间抽取的结果到时间理解的结果的映射，进行上下文相关的时间语义理解。
所以，想要打造一个智能助理，可以先设定一个能够实现的“小目标”：找到一个可以自动化完成的任务，用与任务相关的数据训练模型，利用任务的特点提高自然语言理解和智能决策能力。做一个垂直领域“小而美”的智能助理往往更容易成功。
自救方法二：指导用户
对开发者来说，什么最珍贵？用户的耐心！
当前，用户对于智能助理最大的失望与不满（DSAT）在于智能助理难以准确理解用户的请求。通常，大多数用户没有耐心一遍又一遍地尝试让机器能理解自己的请求，当他们有几次DSAT之后，基本就会放弃使用该“智能”助理了。
对话式服务和对话机器人与传统的基于GUI（图形用户界面）的交互方式的最大区别在于，基于GUI的交互方式通过对页面元素的限制，输入空间是有限的，因此机器可以枚举有限的输入组合完全理解用户的请求。而对于对话式交互服务来说，用户的输入空间是无限的，用户可以输入各种各样的请求（如上图）。因此，通过合理的方式对用户进行指导，告诉及指导用户机器可以理解的请求，用户只要依样画葫芦——在样例示范的基础上进行个性化的发挥，此举将用户输入空间大大缩小，智能助理从而就可以完成对应的任务（如下图）。这对用户和机器来说是两全其美的事情。依样画葫芦并不是要求用户输入的请求必须和我们的样例一模一样，否则大家都会更习惯传统GUI的交互方式。因为用户几乎不可能记住样例的每一个词以及它们的顺序。人工智能助理必须要能够理解这些样例模板的绝大部分等价表示（下图中的用户请求）。
EDI利用统计滚雪球（StatisticalSnowball）的方法[1]在海量数据（Bing，Cortana）中学习每个词语、短语的可替换表达，建立语义词典（SemanticDictionary），并在语义词典的基础上进一步生成语言模板（SemanticPattern）。在一个局部空间内，该方法理论上可以枚举自然语言中的所有等价表示。将指导用户的样例（如，scheduleameetingat4pm）作为种子，通过该方法可以得到用户基于样例所输入请求所有的可能变换(Bookameetingat1pm,Findmearoomat11am,Arrangeanappointmenttomorrow等)。
不仅如此，该方法在碰到有歧义或不能理解的请求时还可以利用语义词典生成动态提示，帮助用户快速完成任务。例如用户提到“scheduleameeting4”，这里的“4”可以理解为时间，地点或人数，“4”在语义词典（通过海量数据挖掘得到）中对应的替换表达有“4pm”,“4thfloor”,“4people”,“4yearsold”,“4players”等，进一步结合句子“scheduleameeting”，利用语义模板挖掘的方法可以发现有意义的模板为“scheduleameetingat4pm”,“scheduleameetingonthe4thfloor”,“scheduleameetingfor4people”。EDI会将这些可能的模板提供给用户进行选择。动态提示的方法不仅帮用户快速完成了请求，也提示了用户规范的样例。
通过对EDI的历史数据进行分析，我们还发现了两个有趣的现象：1.随着使用时间的增加，越来越多的用户使用和样例相似的请求格式来完成任务；2.有些用户会探索自己的模式，当他发现行之有效的请求格式后，在今后的使用中会一直沿用该模式。这也说明，当用户发现智能助理真的在某些任务上可以帮助自己节省时间、提高效率，他们就会尽可能用容易理解的请求去适应智能助理。
自救方法三：借助知识图谱
即使自然语言处理可以完全理解用户的请求，如果智能助理缺乏必要的知识，便无法进行合理的推理与决策，用户也会觉得智能助理并没有任何帮助。
没有任何知识帮助推理与决策的智能助理可能会出现下述场景：
《构建企业知识图谱》一文介绍了如何构建企业知识图谱。利用该文介绍的技术，我们为智能助理EDI构建了对应的知识图谱，从中可以得到用户所在的大楼、楼层、位置、用户的关系网络、用户常去的会议室、用户的开会习惯、用户的日程安排等信息，在智能助理EDI完成任务时，这些信息使EDI变得十分智能。
使用了知识图谱的智能助理如下：
自然语言理解的结果通常为字符串形式（“张三”），而EDI需要结构化数据的实体ID（例如，张三的邮箱地址SanZhangFoo@outlook.com）来唯一指定一个现实生活中的具象的实体。从张三转化为张三的邮箱地址的过程通常被称为实体链接推理（EntityLinking）。我们构建的企业知识图谱可以很大地提高实体链接推理的效率。比如，用户在会议请求中提到了张三，而公司里有很多个张三，用户到底指的是哪一个张三呢？EDI使用了实体链接中的联合检索模型来选择正确的张三，联合检索模型可以综合考虑张三的关系网络，从而最大化知识图谱的价值。
自救方法四：人机协同
人机协同也被称为AI+HI（artificialintelligence+humanintelligence，人工智能+人类智能）。在当前阶段，大多数的智能助理都很难做到100%的准确。在实践过程中，我们发现智能助理+真人助理的模式是解决问题的有效形式，智能助理可以根据自信度决定是否需要真人助理的协助完成任务。
人机协同并不只是简单的1+1=2的关系。通过不断学习真人助理的行为模式积累数据、积累知识，智能助理就能不断成长与进步。而真人助理则可以受益于机器执行效率高的优点，提高工作效率。
在EDI的实际应用中，我们尝试了人机协同的方式。面对一个会议请求，EDI首先进行处理，只有当EDI的自信度低于阈值时才由真人进行协助。实际上，即使对需要帮助的这类请求，我们的人机结合方案在保证准确率的同时也将实际完成一个任务的时间成本从3~5分钟降低为不到一分钟。在上图的示例中，EDI可以在真人助理的对话过程中进行实体抽取，帮助真人助理自动填写表单，同时EDI会建议几个他认为的最佳回复给真人助理。这样可以大大缩短用户等待真人助理回复的时间（这可以提高需要真人参与完成的那些请求的用户体验）。同时，EDI能从真人助理完成任务的对话历史记录中学习更多可能的回复。
真人助理对自动回复建议采纳与否的每一次点击信号以及用户是否满意的信号为EDI提供并积累了大量的数据。EDI使用深度强化学习（DeepReinforcementLearning）的技术根据真人助理对于回复建议的点击以及用户是否满意的反馈信息构建价值函数（valuefunction）并根据获得的价值自行推理更优的对话策略，不断优化学习到的回复及其排序。这样EDI学到的对话策略及其最优回复建议都会和真人助理的回复越来越相似（甚至比真人助理的表现更好），智能助理就可以独立完成越来越多的任务，而逐步脱离对真人助理的需求。
再谈自然语言理解
作为智能助理的核心技术，自然语言理解是需要攻克的技术难题。前面提到的几个“自救法宝”其实都与自然语言理解息息相关。专注垂直领域和指导用户都是为了减小用户的语言输入空间从而弥补现阶段技术的不足；借助知识图谱其实是利用知识图谱帮助计算机进行自然语言的理解和消歧；人机协同则是通过人和机器的不断交互，让机器不断进行增量学习，逐步提高计算机的自然语言理解的能力。
微软亚洲研究院大数据挖掘组专注于两个方向的自然语言理解研究。
第一个方向是通过海量数据来挖掘自然语言表达的等价表达模式，用以提高机器自然语言理解的能力，从根本上解决自然语言理解能力的局限。
第二个方向是将自然语言理解平台化，使没有自然语言理解背景的开发者可以简单地开发和自然语言理解相关的应用，真正地做到CaaP（ConversationasaPlatform，对话即平台）。我们组的下一篇文章会具体的介绍我们的技术怎么被应用到微软的产品LUIS[2]和BotFramework[3]中来帮助广大第三方开发者们开发真正智能（“不智障”）的助理！
小美解读
各位编程之美的参赛选手在开发Bot的时候可以参照这4条规则中的一条或者多条。以“专注垂直应用”这一法宝为例，选手在开发过程中不要急着画一个功能很大很全的大饼，先定一个小目标，专注在某一方面的问答，在完善完该功能之后再逐步扩充扩展。
“指导用户”也是让你的Bot更智能的倚天长剑。同一个问题，用户的提问方式总是千奇百怪，比如“明天天气如何”“明天什么天气”“明天气温是多少”等等。在开发Bot时，比赛选手可以在Bot中引导用户用正常的方式提问，也就是缩小用户的输入空间，那么你的Bot就会更好的理解提问者的意图，也就会做出符合提问者心意的答复。
借助“知识图谱”容易让你开发的Bot更懂用户的心。知识图谱缩使智能助理获取信息更加准确、迅速，消除自然语言理解中可能出现的歧义。比如，我要问校长的姓名，由于信息来自选手学校知识图谱，因此此处的校长就是学生学校的校长。而不会去探寻其他含义，比如“王校长”的名字。
期待大家可以想到更加有趣惊艳的好点子，拿到出色的大赛成绩！
A
BOUTBDM
大数据挖掘组
微软亚洲研究院大数据挖掘组致力于从大数据中挖掘信息构建海量知识图谱，以提高人工智能应用中的知识推理和自然语言理解能力。大数据挖掘组的研究方向包括数据挖掘、大数据、深度学习、自然语言处理、智能聊天机器人等。十多年来，该组成员的研究成果对微软的许多重要产品及应用产生了深刻影响，包括人立方、微软学术搜索、读心机器人、微软知识图谱（Satori）、智能聊天机器人开发平台等。
Reference
[1]ZhuJ,NieZ,LiuX,etal.StatSnowball:astatisticalapproachtoextractingentityrelationships[C]//Proceedingsofthe18thinternationalconferenceonWorldwideweb.ACM,2009:101-110.
[2]https://www.luis.ai/
[3]https://dev.botframework.com/
大数据挖掘组招“明日之星”实习生哦！
工作内容：机器学习、大数据挖掘、自然语言处理等领域，工程和研究均可，根据个人兴趣和能力确定工作内容。
工作职责：要求编程能力较强；有一定的沟通能力，有责任心；对机器学习、大数据挖掘、自然语言处理有热情和兴趣；高质量的完成工作；半年以上实习期。
感兴趣的同学可点击！
大赛报名
要报名编程之美挑战赛的小伙伴注意啦~
报名登官网！
报名登官网！
报名登官网！
点击文末的“阅读原文”可以跳转
官网：http://studentclub.msra.cn/bop2017返回搜狐，查看更多
人工智能虚拟助理在现实中的应用
由于人工智能(AI)技术的发展，模拟人类互动以执行多种任务的设备变得越来越受欢迎。虚拟助理的市场也正在蓬勃发展中。比较有名的有：谷歌Assistant、微软小娜、苹果Siri和亚马逊Echo，天猫精灵等。但在教育、医疗、家庭护理和自动驾驶汽车等行业，还有其他一些令人称赞的现实应用也正在取得实质性的进展，正式因为外包资源需求、流动劳动力以及重视客户参与的趋势日益明显。
在人工智能的帮助下，没有一个学生会掉队
虽然人工智能永远不会取代人类教师，但它可以提供有益的学习支持，并已在课堂和机构层面融入学校系统。教师使用人工智能虚拟帮助的一种常见方式是使用聊天机器人来鼓励、提醒和提示帮助学生保持学习进度。
在路易斯维尔的STEM学院，教师们使用Ohmni远程呈现机器人来增加学生和老师之间的互动和参与感。例如，美国宇航局的宇航员可以使用这个协作工具来拨通电话，为学生提供指导，给人一种他们就在房间里的既视感。
科罗拉多州立大学(ColoradoStateUniversity)和加州州立大学东湾分校(CaliforniaStateUniversityEastBay)都已经部署了Cognii，这是一款虚拟学习助手，可以给学生的短文打分，并使用先进的人工智能、自然语言处理和认知计算技术，提供互动的一对一教学辅导。
在机构层面，人工智能虚拟助理正被用于提供更高水平的服务，因为它们可以全天候使用。乔治亚州立大学招生办公室使用虚拟助理来回复超过5万条学生信息，其中只有不到1%的信息需要工作人员手动回复。佐治亚理工学院使用人工智能来回答在线课程注册学生的问题。
这仅仅是个开始。想象一下，如果你能把最优秀的国外申请人带到学校，带他们参观，让他们与教授和同龄人进行交流，就能吸引他们选择来你的学校。这是西雅图太平洋大学对一名来自中国的学生所做的。因为学校和她共用一个远程呈现机器人，让她可以和其他学生在同一间教室、在同一时间学习。
OhmniLabs人工智能帮助家庭成员之间保持密切联系
在世界各地，人类的预期寿命都在不断增加。由于现代医学和公共卫生措施，现在的平均寿命比20世纪60年代延长了近20年。但是这也导致对独居和需要日常援助的老年人和家庭护理的需求增加。由于缺乏熟练的护理人员，公司正在开发基于人工智能的数字助理和数字伴侣，以提供额外的和补充的支持，并且可以为个别老年人患者进行量身定制。
其中一款名为ElliQ的设备目标是通过将老年人与他们的家庭和外部世界联系起来，让他们保持家庭互动活跃度和参与感。作为日常生活中“友好、聪明、好奇的存在”，ElliQ会回答用户的问题，提供提示和建议，让用户觉得身边真的有人可以交流。同样的存在感和舒适感也是OhmiLabs远程呈现机器人所提供的。Ohmni使家庭成员可以很容易地观察到其他成员的日常活动，并提供指导和支持，因为机器人的移动可以远程控制。成年的孩子喜欢使用Ohmni来照顾年迈的父母。
另一种帮助老年人在家保持安全的设备是LivioAI，这是一种内置传感器和人工智能的助听器，当佩戴助听器的人跌倒时它可以立即检测到，并向选定的联系人发送警报寻求帮助。市场上有这么多的家庭关爱型产品，使得照顾我们关心的人变得更加容易。
人工智能对医疗行业的企业和消费者来说都是一场胜利
医疗保健是另一个需要使用人工智能虚拟助理的巨大行业。如今，大多数医疗体系都处于紧张状态;由于慢性病患者的患病率和需求的增加，从业人员工作过度，容易发生倦怠的情况。但是慢性护理管理是医疗保健的未来，86%的医疗费用是由慢性疾病引起的。
卫生系统面临的挑战是，在改善患者预后的同时，仍要降低成本，减轻护理人员的负担。人工智能和声控虚拟护士助手CareAngel致力于通过健康监测、持续的慢性护理管理、评估和筛查，提供更好的患者护理。CareAngle的技术可以将病人的护理延展到护士照顾的24倍。这种令人难以置信的差异使更多的病人得到必要的护理，每月也可以节省数百小时的劳动时间。
对于从业者来说，人工智能虚拟助理提供了免提文档功能。外科医生在做手术的时候，如果想在病人的档案中添加笔记，可以使用房间里的语音设备，以免提的方式进行聆听和反应。数字咨询应用程序可以帮助护理人员根据病史和常见医学知识简化医疗咨询。AdaHealth的ai平台支持临床决策，允许医生在患者遭受太多痛苦或疾病之前，预先识别和分类症状。
机器人游乐设施在这里!
人工智能虚拟助手最令人兴奋的领域之一是自动驾驶汽车。这听起来很有未来感和科技感，但信不信由你，机器人带你驾驶正在实现。使用人工智能，自动驾驶汽车能够在没有人工输入的情况下分析环境和导航。他们可以利用GPS和惯性导航系统提供的位置信息做出决策。输入被处理，每秒钟重复多次，直到车辆到达目的地。
像特斯拉、日产、通用汽车和奔驰这样的大型汽车制造商正在投入数十亿美元来开发他们自己的技术。现在，数百家初创公司向汽车巨头提供改进的雷达、相机、激光雷达、地图、数据管理系统等。
今天，在美国的德克萨斯州，任何一个普通民众都可以通过Drive.ai这个智能手机app呼叫车辆到达目的地。乘客选择他们想要去的地方，最近的可用车辆动态地选择路线。在美国亚利桑那州，Waymo最初是谷歌自动驾驶汽车，现在也在开发自动驾驶和拼车服务。有如此多的项目正在开发中，自动驾驶汽车已经跳出了我们的想象，日渐走上正轨。
为什么银行业喜欢使用人工智能技术
人工智能在银行客户聊天助手中是最常见的用途之一。这些助手使用语音和文字进行旨在复制人类对话的对话。由于机器学习和自然语言处理技术，助手可以从他们的互动中学习，并与用户进行看似自然的对话，从而提高银行的产品和服务，特别是在银行的移动端。
银行在全球范围内的发展令人难以置信，如今移动设备正在帮助重塑银行与消费者之间的互动。美国银行(BankofAmerica)利用虚拟金融助理Erica为2500多万手机银行客户提供支持。汇丰银行香港分行聘用了Amy，并且Amy的中文和英文都很流利。
人工智就是现在-加入这场革命性的运动吧！
在各行各业，人工智能虚拟助理帮助企业满足客户的期望，同时降低医疗、家庭护理和教育等领域的客户服务运营成本。与此同时，这些助手通过创造自动驾驶汽车和远程呈现机器人等新产品和服务，推动技术向前发展。无论是作为一个开发商或作为一个公司。这都将是一个最佳的时刻加入人工智能运动浪潮！
我们邀请您了解更多关于越南人工智能大挑战，这是由Kambria公司组织的一个政府支持的项目，将汇集越南最好的人工智能人才，并支持越南和全球的公司打造最终的虚拟助理。想了解更多信息并注册，请访问:https://www.aigrandchallenge.com/。