简单剖析智能语音交互技术
机器学习和自然语言处理技术的进步为语音与人工智能的交互提供了可能。人们可以通过对话获得信息,并与机器互动,而机器将不再只存在于科幻小说中。语音交互是未来的发展方向。智能扬声器是语音交互着陆的第一代产品。
以市面上面流行的智能电话机器人为例,他的AI模块主要包含了4部分自动语音识别(AutomaticSpeechRecognition,ASR),自然语言理解(NaturalLanguageUnderstanding,NLU),自然语言生成(NaturalLanguageGeneration,NLG),文字转语音(TexttoSpeech,TTS)。以欧能智能机器人中的语音交互流程图为例子,来看看Ai智能机器人对话技术的主要路径:在上图我们可以看到,用户使用的时候是与设备进行交互完成的,并且主要是采用语音的处理方式。
要想完整完整的完成语音交互,必须要弄懂流程,这是一款电话机器人好不好用的关键,一次成功的语音交互流程,主要涉及以下4个阶段,且环环相扣。
意图表示用户在使用应用时所做的动作(譬如:问一个问题或发送一条指令),这些意图代表了应用的核心功能。如果应用成功地识别了用户意图,则需要在完成业务动作后,将结果反馈给用户。
识别意图—语义解析对语音识别结果进行分析理解,简单来说就是将用户语音输入映射到机器指令。它可能定义了一组包含指定的单词或短语的语法结构,用户通过说出满足这种结构的语句,来调用意图。
处理意图—云端交互调用意图的结构化请求,向服务器请求处理后做出反馈响应。通俗来讲该流程主要处理用户的请求,解决用户问题的答案。
语言合成模块–组织语言根据解析模块得到的内部表示,在对话管理机制的作用下生成自然语言句子。同时将生成模块生成的句子转换成语音输出。(把回答的机器语言再转换成口语语言)
整个流程虽然看起来较为简单,但是中间的自然语言处理的关键技术是必须要掌握的。
词法分析词汇分析包含形态和词汇。一般来说,形态素主要反映在单词的前缀和后缀的分析上,词汇反映在整个词汇体系的控制上。在中文全文检索系统中,在中文信息、即中文自动单词分割技术的单词分割中,词汇分析主要出现。利用该技术,能够正确解析用户输入信息的特性,完成正确的搜索过程。是中文全文检索技术的重要发展方向。
句法分析句法分析是对用户输入的自然语言进行词汇短语的分析,目的是识别句子的句法结构,实现自动句法分析过程。其基本方法有线图分析法、短语结构分析、完全句法分析、局部句法分析、依存句法分析等。
语义分析语义分析是基于自然语言语义信息的一种分析方法,其不仅仅是词法分析和句法分析这样语法水平上的分析,而是涉及到了单词、词组、句子、段落所包含的意义。其目的是从句子的语义结构表示言语的结构。中文语义分析方法是基于语义网络的一种分析方法。语义网络则是一种结构化的,灵活、明确、简洁的表达方式。
语用分析语用分析相对于语义分析又增加了对上下文、语言背景、环境等的分析,从文章的结构中提取到意象、人际关系等的附加信息,是一种更高级的语言学分析。它将语句中的内容与现实生活的细节相关联,从而形成动态的表意结构。
语境分析语境分析主要是指对原查询语篇以外的大量“空隙”进行分析从而更为正确地解释所要查询语言的技术。这些“空隙”包括一般的知识,特定领域的知识以及查询用户的需要等。它将自然语言与客观的物理世界和主观的心理世界联系起来,补充完善了词法、语义、语用分析的不足。
智能电话机器人对话目前存在的问题在人与机器的会话过程中,用户必然会犯表达错误,导致用户语言机械理解的偏离。此时,错误修正机构对于机器来说非常重要。如果这个机制不能利用,用户显然需要花费很长时间来说明他们的意图,并且对应的用户经验非常坏吧。另一方面,能够很好地认识语音,但是不能理解对话的目的,有理解意义的偏颇。因此,语音对话中应解决的问题是模糊消除和未知语言现象的处理。
智能语音助手背后的生态服务一个好的智能电话机器人要想落地开花,它不仅仅是简单的语音识别那么简单,还有集成服务,一整套的中文生态、内容、服务等配套设施,是一种涵盖很多基础能力的生态系统。未来基于语音交互的语义技能,必须要能够达到几万、几十万甚至上百万种的时候,才能促使语音交互时代操作系统真正走向成熟,未来语音交互产品的形态和样式也将越来越丰富。
智能交互技术
[1] 马楠,徐歆恺,张欢.智能交互技术与应用[M].北京:机械工业出版社,2019.
[2] 顾振宇著.交互设计:原理与方法[M].北京:清华大学出版社,2016年第1版.
[3] 李四达著.交互与服务设计:创新实践二十课[M].北京:清华大学出版社,2017年第1版.
[4] 5TrendsEmergeintheGartnerHypeCycleforEmergingTechnologies,2018[EB/OL].[2019-02-28].https://www.gartner.com/smarterwithgartner/5-trends-emerge-in-gartner-hype-cycle-for-emerging-technologies-2018/.
[5] 唐小成.增强现实系统中的三维用户界面设计与实现[D].电子科技大学,2008.
[6] 董威,文艳军,李暾,齐治昌.软件工程专业在线课程建设思考[J].计算机教育,2015(06):51–55.
[7] 陈毅能.中国科学院大学,2016.基于生理计算的多通道人机交互技术研究[D].2016.
[8] 史忠植.认知科学[M].合肥:中国科学技术大学出版社,2008.
[9] 黄希庭,郑涌.心理学导论[M].北京:人民教育出版社,2015.
[10] 认知(词语释义)_百度百科[EB/OL].[2018-08-03].https://baike.baidu.com/item/%E8%AE%A4%E7%9F%A5/1262721?fr=aladdin.
[11]DeanJ.MonstersIllusion[J].MightyOpticalIllusions,2006.
[12]BrunerJS,MinturnAL.PerceptualIdentificationandPerceptualOrganization[J].TheJournalofGeneralPsychology,1955,53(1):21–28.
[13]郑南宁.认知过程的信息处理和新型人工智能系统[J].中国基础科学,2000(08):11–20.
[14]你和小伙伴们是怎么被惊呆的?[EB/OL].,2013(2013-07-29)[2019-03-22].https://tech.hexun.com/2013-07-29/156579849.html.
[15]管连荣.美国著名心理学家H·A·西蒙教授来华访问[J].心理科学,1982(1):62–63.
[16]秦裕林.认知心理学与计算机科学的研究与教学——介绍西蒙教授的认知心理学讲学[J].心理学动态,1984(01):63-64+48.
[17]余淼.谈图形用户界面设计中的交互性信息传递[J].中国包装工业,2015(06):147.
[18]李枫,徐韬.智能语音交互技术在呼叫中心中的应用[J].2016电力行业信息化年会论文集,2016:5.
[19]席乐.浅谈多点触摸技术在产品操作界面设计中的应用[J].科教导刊(上旬刊),2013(03):176–177.
[20]马楠,高跃,李佳洪,李德毅.自驾驶中的交互认知[J].中国科学:信息科学,2018(8).
[21]LScapinD,SenachB,TrousseB,PallotM.UserExperience:BuzzwordorNewParadigm?[J].ACHI2012-5thInternationalConferenceonAdvancesinComputer-HumanInteractions,2012.
[22]丁一,郭伏,胡名彩,孙凤良.用户体验国内外研究综述[J].工业工程与管理,2014(04):92-97.
[23]五步走,带你了解交互设计流程|人人都是产品经理[EB/OL].[2017-09-28].https://www.woshipm.com/ucd/577334.html.
[24]CooperA,ReimannRM.软件观念革命[M].詹剑锋,译,张知非,译.北京:电子工业出版社,2005.
[25]拿不定设计?让经典的尼尔森十大可用性原则帮你!(附案例)[EB/OL].[2017-09-27].https://www.uisdc.com/nelson-usability-design-principles.
[26]设计基础:细说“十大可用性原则”|人人都是产品经理[EB/OL].[2017-09-27].https://www.woshipm.com/ucd/730477.html.
[27]WixonD.Bookreview:PRINCIPLESANDGUIDELINESINSOFTWAREUSERINTERFACEDESIGNbyDeborahJ.Mayhew(PrenticeHall,1992)[J].AcmSigchiBulletin,1993,25(2):51–53.
[28]是时候,聊一聊交互设计的知识体系了![EB/OL].简书[2017-10-03].https://www.jianshu.com/p/7399791c5f8f.
[29]赵佳,赵铭,李昌华.分级网格服务的Apacheab测试分析[J].电子设计工程,2009,17(03):22–24.
[30]2018年,你一定要选对这些原型工具-UI中国-专业用户体验设计平台[EB/OL].[2018-08-21].https://www.ui.cn/detail/322892.html.
[31]电商类Web原型制作分享——天猫[EB/OL].[2019-03-21].https://www.mockplus.cn/sample/post/1065.
[32]所谓原型,是个什么东西?|人人都是产品经理[J]..
[33]15款优秀移动APP产品原型设计工具|人人都是产品经理[EB/OL].[2018-06-24].https://www.woshipm.com/rp/64741.html.
[34]周剑辉,顾新建.移动设备在工作流管理系统中的应用[J].机电工程,2004(12):42–45.
[35]浅说移动端与pc端交互设计的区别||观点|shaozhurong-设计文章/教程分享-站酷(ZCOOL)[EB/OL].[2018-06-24].https://old.zcool.com.cn/article/ZNTY4MTI0.html.
[36]StevenHoober.HowDoUsersReallyHoldMobileDevices? ::UXmatters[EB/OL].,2013(2013-02-18)[2019-03-02].https://www.uxmatters.com/mt/archives/2013/02/how-do-users-really-hold-mobile-devices.php.
[37]ThisIsHowFartheAverageSetofThumbsWillReachontheNewiPhone6|HYPEBEAST[EB/OL].,2014(2014-09-20)[2019-02-23].https://hypebeast.com/2014/9/realistically-this-is-how-far-the-average-set-of-thumbs-will-reach-on-the-new-iphone-6.
[38]关于移动端和PC端的交互的区别-Erichain-博客园[EB/OL].[2018-06-24].https://www.cnblogs.com/erichain/p/4678163.html.
[39]App界面设计风格|App界面交互设计规范[EB/OL].[2017-10-08].https://www.iamue.com/8754.
[40]卡卡的人生哲学.App界面设计风格[EB/OL].,2015(2015-08-24)[2019-03-03].https://www.woshipm.com/ucd/193763.html.
[41]ColourAssignment-Preferences[EB/OL].,2013(2013-03-23)[2019-03-01].https://www.joehallock.com/edu/COM498/preferences.html.
[42]Themes-iOS-iOS-HumanInterfaceGuidelines-AppleDeveloper[EB/OL].[2018-10-06].https://developer.apple.com/design/human-interface-guidelines/ios/overview/themes/.
[43]H5轻应用技术,未来无限可能[EB/OL].[2018-06-24].www.sohu.com/a/64107789_379442.
[44]1.1Android平台简介·AppInventor-零基础Android移动应用开发[EB/OL].[2018-06-24].https://minghuiwu.gitbooks.io/appinventor/content/11_android_ping_tai_jian_jie.html.[45]平台架构.AndroidDevelopers[EB/OL].[2019-03-02].https://developer.android.google.cn/guide/platform/
[46]1.2AppInventor简介·AppInventor-零基础Android移动应用开发[EB/OL].[2018-06-24].https://minghuiwu.gitbooks.io/appinventor/content/12_appinventor_jian_jie.html.
[47]终极入门教程——5分钟学会AppInventor2-AppInventor汉化版[EB/OL].[2018-06-24].https://www.wxbit.com/?p=157.
[48]人工智能:语音开启全新交互时代[EB/OL].[2018-12-09].https://www.cs.com.cn/gppd/hyyj/201705/t20170512_5280029.html.
[49]语音革命元年来了:BBC、FT等媒体要点亮哪些全新技能树[EB/OL].[2018-12-09].https://new.qq.com/omn/20180312/20180312A07ECH.html.
[50]GUI和VUI到底有哪些区别?来看这篇超全面的总结!-优设-UISDC[EB/OL].[2018-12-11].https://www.uisdc.com/gui-vui-differences.
[51]「语音交互设计」之VUI简析|L-insights_用户[EB/OL].[2018-12-11].www.sohu.com/a/251671898_610473.
[52]曾丽霞,康佳美,孙甜甜,孙传祥.语音办公助手VUI交互设计研究[J].工业设计研究(第六辑),2018:7.
[53]语音识别的前世今生|深度学习彻底改变对话式人工智能[EB/OL].[2018-12-10].https://www.cnetnews.com.cn/2017/0821/3097159.shtml.
[54]语音识别技术里程碑:微软已将识别错误率降至5.1%-语音识别,人工智能,微软研究院-IT之家[EB/OL].[2018-12-12].https://www.ithome.com/html/it/322227.htm.
[55]微软语音识别词错字率低至5.9%,已达到人类专业速记员水平-超能网[EB/OL].[2018-12-10].https://www.expreview.com/50100.html.
[56]为什么说语音交互是未来的主流交互方式之一?|人人都是产品经理[EB/OL].[2018-12-10].https://www.woshipm.com/pd/816580.html.
[57]语音交互的基本概念和设计实践[EB/OL].[2018-12-09].https://www.woshipm.com/pd/1039577.html.
[58]干货|IDC发布对话式人工智能白皮书[EB/OL].[2018-11-12].https://www.qianjia.com/html/2018-03/21_287657.html.
[59]1.3人机对话交互基础概念(1)简书[EB/OL].[2018-12-17].https://www.jianshu.com/p/f927075b5c47
[60]程彬,陈婧,乌兰.智能人机交互产品的服务设计思路探讨[J].设计,2016(09):156–157.
[61]Salvendy董建明、傅利民、饶培伦、[希腊]CONSTANTINESTEPHANIDIS、[美]GAVRIEL.清华大学出版社,2016.人机交互:以用户为中心的设计和评估[M].第5版.,2016北京:.
[62]科大讯飞公布汽车产品布局战略:推出飞鱼OS和开放三大平台[EB/OL].[2019-02-23].https://www.sohu.com/a/271415691_122982.
[63]Pierre-YvesO.Theproductionandrecognitionofemotionsinspeech:featuresandalgorithms[J].InternationalJournalofHuman-ComputerStudies,2003,59(1):157–183.
[64]TurkM.SpringerUS,2014.GestureRecognition[G]//IKEUCHIK.ComputerVision:AReferenceGuide.,2014Boston,MA::346–349.
[65]WangJJ,SinghS.Videoanalysisofhumandynamics—asurvey[J].Real-TimeImaging,2003,9(5):321–346.
[66]YangM-H,KriegmanDJ,AhujaN.DetectingFacesinImages:ASurvey[J].IEEETrans.PatternAnal.Mach.Intell.,2002,24(1):34–58.
[67]DuchowskiAT.Abreadth-firstsurveyofeye-trackingapplications[J].BehaviorResearchMethods,Instruments,&Computers,2002,34(4):455–470.
[68]JaimesA,SebeN.Multimodalhuman–computerinteraction:Asurvey[J].ComputerVisionandImageUnderstanding,2007,108(1):116–134.
[69]PortaM.Vision-baseduserinterfaces:methodsandapplications[J].InternationalJournalofHuman-ComputerStudies,2002,57(1):27–73.
[70]DuricZ,GrayWD,HeishmanR,Rosenfeld ANDA,SchoellesMJ,SchunnC,WechslerH.Integratingperceptualandcognitivemodelingforadaptiveandintelligenthuman-computerinteraction[J].ProceedingsoftheIEEE,2002,90(7):1272–1289.
[71]DondiP,LombardiL,PortaM.Developmentofgesture-basedhuman–computerinteractionapplicationsbyfusionofdepthandcolourvideostreams[J].IETComputerVision,2014,8(6):568–578.
[72]刘心雨.交互界面设计在虚拟现实中的研究与实现[D].北京邮电大学,2018.
[73]郭莹洁.关于虚拟现实技术人机交互的研究[J].信息记录材料,2018,19(08):247–248.
[74]田远霞.浙江大学,2015.增强现实下多通道交互模型研究与实现[D].,2015.
[75]MalkawiAM,SrinivasanRS.ACTAPressMultimodalHuman-ComputerInteractionforImmersiveVisualization:IntegratingSpeech-GestureRecognitionsandAugmentedRealityforIndoorEnvironments[C]//.
[76]赵永惠.人机交互研究综述[J].信息与电脑(理论版),2017(23):24-25+28.
[77]赵沁平.虚拟现实中的10个科学技术问题[J].中国科学:信息科学,2017,47(06):800–803.
[78]HuismanD,FrelingR,WagelmansAPM.ARobustSolutionApproachtotheDynamicVehicleSchedulingProblem[J].TransportationScience,2004,38(4):447–458.
[79]ColijnP,HerbachJS,McnaughtonMP.2017-08-15Determiningpickupanddestinationlocationsforautonomousvehicles:中国,9733096[P]. ,2017.
[80]苏景颖.关于智能汽车车联网系统分析[J].时代汽车,2018(02):125–126.
[81]浅谈车联网的应用场景及发展趋势_车联网功能_车联网体系结构-电子发烧友网[EB/OL].[2019-02-23].https://m.elecfans.com/article/603252.html.
[82]王世宝.基于5G技术车联网的发展趋势及应用前景分析[J].时代汽车,2018(06):169–170.
[83]KehoeB,MatsukawaA,CandidoS,KuffnerJ,GoldbergK.Cloud-basedrobotgraspingwiththegoogleobjectrecognitionengine[C]//2013IEEEInternationalConferenceonRoboticsandAutomation.,2013:4263–4270.
[84]赵连翔,王全玉,贾金苗,陆峥玲.机器人云操作平台的实现研究[J].华中科技大学学报(自然科学版),2012(S1vo40):161–164.
[85]交互设计快速检查清单InteractionDesignQuickChecklist[EB/OL].[2017-10-05].https://www.iamue.com/18702.
[86]中国互联网的今年和明年,你必须知道这些事[EB/OL].[2019-08-25].www.sohu.com/a/118096152_358836.
情感AI在增强人机交互方面的作用
皮肤电活动(EDA)传感器:EDA传感器测量皮肤电导,该电导随情绪唤醒和压力水平的变化而变化。心率监测器:心率监测器可跟踪心率变异性(HRV),提供有关情绪状态、压力水平和认知负荷的见解。脑机接口(BCI):BCI可以使用脑电图(EEG)或功能性近红外光谱(FNIRS)检测大脑活动和模式。该数据可用于推断情绪状态。将您的产品加入EmotionAI:情感人工智能在当今世界如何应用?情感人工智能广泛应用于各种应用和行业。下面列出了其中一些
A。客户服务和支持:情感人工智能使客户服务聊天机器人和虚拟助理能够准确理解和响应客户情绪。通过识别沮丧、困惑或满意度,这些人工智能系统可以提供同理心和量身定制的支持,从而提高客户满意度和忠诚度。
聊天机器人在解决请求时使用语音来解读客户的情绪
b.医疗保健和心理健康:在医疗保健领域,情感人工智能可用于监测和分析患者情绪。它可以帮助医疗保健专业人员评估心理健康状况,识别压力或抑郁的迹象,并相应地制定个性化治疗计划。情感人工智能驱动的虚拟助手还可以为患者提供情感支持和陪伴,特别是那些患有慢性疾病或孤独的患者。
C。教育和学习:情感人工智能可以通过实现个性化学习体验来改变教育领域。人工智能系统可以检测学生的参与水平,识别困惑或沮丧的领域,并实时调整教学内容。通过根据个人情绪反应定制教育材料,情感人工智能可以促进更有效、更有吸引力的学习环境。
d.娱乐和游戏:情感人工智能驱动的系统可以实时分析用户反应,并动态调整电影、视频游戏或虚拟现实体验的内容、故事情节或难度级别。这增强了整体娱乐价值,并为用户提供了更具吸引力和互动性的媒体。
情感人工智能中的道德考虑:随着情感人工智能的发展,解决道德问题以确保负责任和值得信赖的部署至关重要。这就是为什么道德考虑至关重要:
a)隐私和同意:情感人工智能涉及个人和敏感数据的收集和分析。必须优先考虑用户隐私、获得知情同意并以安全、透明的方式处理数据,以保护个人权利并维持信任。
b)偏见和公平:情感人工智能系统应该在多样化和包容性的数据集上开发和训练,以避免偏见并确保公平。有偏见的模型可能导致歧视性做法或不平等待遇,从而加剧社会不平等。
c)透明度和问责制:情感人工智能系统的决策过程应该是透明的。用户应该深入了解他们的情绪如何被解读以及人工智能系统如何响应。提供解释和问责机制可确保用户可以信任和理解他们正在使用的技术。
结论:情感人工智能代表了人机交互的重大进步,为各个领域提供了令人兴奋的可能性。通过识别和响应人类情绪,人工智能系统可以创造更具同理心、个性化和引人入胜的体验。然而,至关重要的是应对情感人工智能的道德和隐私影响,确保这些技术以负责任的方式开发和部署,并且不会接管人类。通过进一步的研究、创新和对社会影响的考虑,情感人工智能有可能彻底改变我们与机器的互动,使它们更加直观和理解,并最终提高我们的整体福祉。返回搜狐,查看更多