概要设计之功能模块
功能模块描述所谓功能模块，从字面上理解，就是以功能来进行划分模块。接着，根据功能特性多少，决定是否要划分“子功能模块”。
这里就容易出现一个问题，如何去确定每个功能的界限呢，以及很多人会拿用户角色来进行划分，这其实并不太好。如果一个学习平台上，存在需要教师去添加课程，学生加入课程这个操作，那么这个时候就不能把这两个用户角色进行分离，变成教师一个子系统，学生一个子系统。这样子的做法，就会显得代码臃肿了。而是应该用权限控制使得该学习平台来呈现不同的功能，即一个系统可以有多个用户角色，只不过大家的权限不一样。
1.拿【美团】小程序举例，它主要的功能就显示在这四个tab页上。“首页”囊括了所有小功能小工具，可以说是“首页”一个管理工具的地方，在这个功能之下，也可以是设立了多个子功能模块。比如说上面的“外卖”入口等，就为一个子功能模块，中间部分为“美团优选”的功能模块展示，下面部分为“限时抢”的功能模块展示。
个人理解，比较主要的且能清楚划分的功能，在app或者小程序上，可以用tab来直接呈现，效果更佳清楚直观；在web端上，一般采用菜单来进行承载。2.【大学生学习平台】，以下为该平台的功能结构图，实际上也是根据功能的业务逻辑来进行的划分。3.若一个系统中出现了前后台，那它的功能划分也是一样的。先从力粒度大的方面来进行划分，这里就划分为“前台模块”和“后台模块”，再进行细分。
FAQ智能问答系统设计与实现
一、项目介绍FAQ（FAQ，frequently-askedquestions）问答系统表示常见问题问答系统，常用于一些特定领域的智能客服，将用户经常问到的高频问答对索引起来，当新的提问命中时可以快速回答，准确而高效。本文介绍一个简单的FAQ问答系统实现。基于检索和排序的两阶段框架，检索阶段基于Elasticsearch检索引擎、排序阶段基于语义匹配深度学习模型。后端基于SpringBoot系列框架。
1.1最简单的FAQ问答系统示意图FAQ问答大概的对话流程示意图如下：
1.2系统架构系统的大致框架如下图所示：
以对话为例说一下系统各个模块的协同：
客户端带着用户问题向后台发送HTTP请求；后台接受到请求，对用户问题进行ES检索，返回N（可配置）个相关的初始候选集；后台通过HTTP请求调用相似度计算服务，对用户问题和N个候选句子一一成对进行相似度计算，返回它们的相似度；后台结合ES相关度和模型相似度进行综合排序，取综合得分最高的结果对应的答案返回给前端；前端显示；值得一提的是，Redis的作用是对话状态管理，即每一个用户于系统交互都会在Redis中创建一个与之对应的对话状态（dialoguestatus），这个对话状态可以用来区分不同用户，也可以用来进行多轮对话（保存上一步对话的节点数据）。
二、功能说明2.1对话对话是核心功能，提供一问一答的交互式方式。
人机对话：用户提出问题，系统给出回答。
2.2数据同步FAQ问答对持久化保存在MySQL中，管理员只需维护MySQL中的数据。但是在对话时，系统不会去访问MySQL，而是通过ES检索引擎进行检索。因此，保证MySQL和ES的数据一致非常重要。
全量同步：将MySQL中的问答对数据全部同步到ES索引中。更新多轮问答树：多轮问答基于多轮JSON，逻辑上为树的组织结构，需要将JSON文件读取到Redis中存起来。
三、演示3.1接口测试打开浏览器访问http://localhost:1234/faq/swagger-ui/可以查看全部接口并进行测试。
3.2界面测试打开ui/dialogue.html进行界面交互。以下显示了单轮对话和多轮对话的简单示例。（值得一提的，前端ui用的是Alibaba开源的对话框架，感觉非常实用，只需要懂点JS就可以调了。）
四、设计细节4.1数据库设计整个FAQ问答系统就用了一张表，faq问答对，名称为faq_pair，表结构如下：
字段名字段类型是否可为空键注释idint(11)NOPRIqa_idint(11)NOUNI标准问-标准答的唯一标识idstandard_questiontextNO标准问，表示高频问题standard_answertextNO标准答，表示高频问题对应的回答4.2状态码设计该系统配置一些自定义的状态码和说明，用一个枚举类CodeMsg表示。这些状态码可以用于定位问题所在，也可以让前端区分不同的返回值代表的含义等等。
publicenumCodeMsg{//通用状态码10000系列，模块异常ELASTICSEARCH_EXCEPTION(10001,"elasticsearch异常"),MYSQL_EXCEPTION(10002,"mysql异常"),SIMILARITY_NULL_EXCEPTION(10003,"相似度计算模型异常"),//通用状态码20000系列，有返回值，无异常SUCCESS(20000,"success"),SUCCESS_SINGLE(20001,"success-->单轮"),SUCCESS_MULTI(20002,"success-->多轮"),//通用状态码30000系列，中间状态OPTIONS_NOT_HIT(30001,"处于多轮问答中，但未命中多轮问答的选项，此时将重新检索用户问题"),//通用状态码40000系列，无返回值FAILED(40000,"failed"),UNRECOGNIZED_QUESTION(40001,"failed-->无法识别的问题"),MULTI_ROUND_QA_NOT_FOUND(40002,"failed-->没有找到对应的多轮问答树"),MULTI_ROUND_QA_NULL(40003,"failed-->redis中多轮问答树为空"),MULTI_ROUND_QA_CHILD_NODE_NULL(40004,"failed-->多轮问答树子节点为空");}4.3配置参数读取项目定义了用户配置文件application-user.yml，通过在SpringBoot默认配置文件application.yml中配置以下参数引入该配置文件
spring:#引入自定义配置，application-user.ymlprofiles:include:-userapplication-user.yml中自定义了一些参数，可以根据需要随时修改而不用改源码，如对话相关的参数：
#对话配置dialogue:#置信度排序confidence-rank:#返回的置信度最高的doc的个数size:5#置信度计算权重weights:#相关度权重relevance-weight:0.3#相似度权重similarity-weight:0.7#用户对话状态status:#过期时间(单位:minute)expire-time:2#多轮问答树multi-turn-qa:path:data/multi_turn_qa#redis热点数据缓存hot-data:#是否开启open:true#过期时间(单位:minute)expire-time:5对话相关参数的配置类如下：
@Configuration@ConfigurationProperties(prefix="dialogue")@DatapublicclassDialogueConfig{privateConfidenceRankconfidenceRank;privateStatusstatus;privateMultiRoundQamultiTurnQa;privateHotDatahotData;//redis中多轮问答树的key前缀privatefinalStringMQATreeKeyPrefix="MQATreeNode_";//redis中question映射id的keyprivatefinalStringMQAQuestion2idKey="MQA_question2id";//redis中用户对话状态的key前缀privatefinalStringDialogueStatusKeyPrefix="dialogue_status_userId_";//redis中热点数据的question映射id的keyprivatefinalStringHotDataQuestion2idKey="hot_data_question2id";//redis中热点数据的key前缀privatefinalStringHotDataKeyPrefix="hot_data_";@DatapublicstaticclassConfidenceRank{privateIntegersize;privateWeightsweights;privateFloatthreshold;@DatapublicstaticclassWeights{privateFloatrelevanceWeight;privateFloatsimilarityWeight;}}@DatapublicstaticclassStatus{privateIntegerexpireTime;}@DatapublicstaticclassMultiRoundQa{privateStringpath;}@DatapublicstaticclassHotData{privateBooleanopen;privateIntegerexpireTime;}}用的也是推荐的依赖包，引入的pom依赖如下：
org.springframework.bootspring-boot-configuration-processortrue4.4对话流程设计对话流程表示从用户问题输入，到找到答案输出的流程，流程图如下。
4.5多轮对话设计多轮对话按规则执行，逻辑上组织为一棵树，示意图如下：
一颗多轮对话树在物理上为一个json文件，在更新多轮对话树时json文件将被转换成数据对象MultiQaTreeNode，然后添加到redis中。
{"qaId":3,"question":"推荐一个景点","answer":"好的，请问对景点评分有要求吗","childNodes":[{"question":"没要求","answer":"好的，请问景点票价可接受范围？","childNodes":[{"question":"免费","answer":"附近好多公园呢，比如xxx，今天天气不错，可以去转转。","childNodes":[]},{"question":"50元以内","answer":"这个xx不错，自然风光秀丽，离您也不远。","childNodes":[]},{"question":"无所谓，不差钱","answer":"推荐xxx景点给您呢，该景点绝对符合您的气质","childNodes":[]}]},{"question":"3分以上","answer":"可玩的就比较多了，有xx...","childNodes":[]},{"question":"5分","answer":"在xx那有一处5A景区，评分有5分呢，推荐您去玩哈。","childNodes":[]}]}MultiQaTreeNode类如下：
publicclassMultiQaTreeNodeimplementsSerializable{//对应的qaId，一棵多轮问答树不同层节点的qaId是相同的，都为根节点question所对应的qaIdprivateIntegerqaId;//当前节点的问题privateStringquestion;//当前节点的回答privateStringanswer;//当前节点的子节点privateListchildNodes;}五、总结系统是简化版的，基本只保留了人机对话功能，问答对也只用了一张表，实际上对于一个高频问题，可以多生成一些与之相似的问题用于扩大搜索范围。另外，如果需要增加问答对，需要对MySQL数据表增加行数据，然后使用同步功能在ES建对应索引即可。该项目源码如下：GitHubGitee另外，为了学习微服务相关技术栈，对单体架构进行了升级，而且增加了问答对管理的一些功能。微服务版地址为：GiteeGitHub
智能问答系统产品设计详解
本文通过基于问答对的问答型机器人作为引入，逐步分解其设计流程，用通俗易懂的语言描述问答型机器人的产品设计思路。
问答系统的概述我想大家肯定看过很多关于自然语言处理（简称：NLP）技术方面的书籍或者论文，但在这里我不会详细叙述NLP技术方面的知识，而是想通过产品化思路结合NLP相关技术来搭建一个基础版的问答系统。本文通过基于问答对的问答型机器人作为引入，逐步分解其设计流程，用通俗易懂的语言描述问答型机器人的产品设计思路。
好了，现在进入正题，让我先介绍一下问答系统对企业来说它能满足企业哪些业务需求，以及产生的价值有哪些？
问答系统是基于满足B端企业降低人力成本、提高工作效率的智能化产品，为客服人员赋能。其最大的隐性价值是在实际场景中得到标准化后的数据积累，可以在挖掘客服价值信息中起到降本增效的作用，后续还可以作精准营销和产品升级。一套问答系统最困难的是如何提升客服系统的使用效率。
就问答系统的使用效率，其根本原因是在于是否能够为企业降低人工服务次数和服务时间占比，甚至是提升公司的营业业绩。
什么是问答系统问答系统是信息检索系统的一种高级形式，它可以通过链接知识库方式检索到用户问题的答案。问答系统与信息检索中的语义搜索有点类似，把用户输入的问题转换为一个有结构的语义表达式，然后从知识库中寻找答案，并直接反馈给用户。
问答系统的答案可以从结构化知识库获取，用于规章制度、规则条款等问答形式，也可以通过结合一些已有的知识库和数据库资源，利用百度百科、维基百科等非结构化文本信息，用信息抽取的方法提取关键信息，并构建知识图谱作为问答系统的后台支撑，再结合知识推理等方法为用户提供更深层次语义理解的答案。
在这里主要讲解的是针对特定领域的知识进行一问一答，也称之为单轮对话、问答对或FAQ，即直接根据用户的问题给出精准的答案。
问答系统的业务场景应用适用于特殊环境下所限定的信息需求，在日常生活中，用户会经常碰到很多复杂的规章制度、规则条款。比如：乘坐火车时，能不能带宠物上火车；3岁小朋友是否需要买票等。
在工作中，也会面对公司多样的政策。比如：商业保险理赔需要什么材料，工作几年可以办理暂住证？这些情况下，经常需要各种查询或者检索才能回复并解决用户的疑问。基于这类常见的业务场景就能更快速的搭建一套智能问答系统。
问答系统的价值现阶段智能问答系统最大价值就是为客服人员赋能，而非独立于让机器自行解决众多目前还有很多错误率和不确定性的问题。
问答系统的产品策略现阶段下的智能问答系统是有局限性的，这也是为什么需要落地到行业中某个垂直业务领域的主要原因。所以需要通过问答系统做出一个符合业务实际需求的产品策略，这样能够最大程度的提升用户体验和增加用户对系统的信心。
比如系统遇到不知道的问题，可以通过产品的兜底策略及时转换其他服务（如：转人工客服）或给出用户可能想问的问题，为用户提供一个便捷的方式，让用户有继续操作的意愿。这样大大提升了系统的可用性，而不需要完全依赖于算法。这样成本也会低很多，效果也会好很多。这就是用产品策略来弥补算法本身的不足。然而在不同业务场景下所采用的兜底策略也是不同的，最重要的还是如何将兜底策略做的更加智能化。
上述介绍了一下问答系统的基本概念和产品的价值以及产品策略，后面为读者分享的是如何搭建一套基于结构化知识库的问答型机器人。
问答型机器人搭建问答型机器人（简称FAQ问答系统）目前被大量使用在电商、金融、银行、旅游等行业中。本文就以旅游行业为例，详细介绍如何设计并实现一个基于结构化知识库的问答系统，数据来源：东方航空官网http://www.ceair.com（会员常见问题为例）。
系统介绍用户诉求
通过最短的对话轮次（一问一答），获得精准、直接的答案以及更好的完成任务，来满足用户的需求。
实现目标
系统根据用户输入问题，理解用户的问题后，通过标签分类里的问题中匹配相似问句，并将答案反馈给用户，以此来为用户提供服务。
系统功能在特定的垂直业务领域下，问答系统可以回答用户所提出的一系列问题，其主要功能包括问句预处理、问句理解、问句相识度匹配和标签分类。
1）问句预处理：将用户问句进行分词和词性标注
2）问句理解：提取问句中的关键词
3）问句相似度匹配：将问句与每个标签分类下的问题进行相似度计算后召回
4）标签分类：为问句添加标签，在标签分类下的问题匹配相似问题，以此来提升机器理解能力和匹配精度，同时也可以对问答对进行分类化管理，可以按业务分类、问题所属业务部门等自己需要的维度来管理问答对，提高问答对的管理效率。标签分类根据实际业务场景需求进行分类，切记标注标签分类的时候需要保持数据的一致性
产品结构用户问题分类：
首先我们需要对问答系统需要支撑的业务进行分析，然后把用户将会问到的问题进行归类整理，并设计符合实际业务场景需求的分类。
问答型机器人适用场景：
适用于回答非用户个性化的问题（即一问一答），返回的是静态知识，无需调用外部数据接口或调用知识图谱返回答案。
问答型机器人处理流程：
图1：问答系统处理流程图
问答系统流程如下：
1）用户提问：怎么样才能注册东方万里行会员
2）问句预处理：将问句进行分词和词性标注（词法分析）
分词： 怎么样/才能/注册/东方万里行/会员
词性标注：代词名词动词名词名词
注：在对问句进行分词处理时，可以加入领域词库进行同义词扩展，如“上海”扩展为“沪”、“申城”；“东方航空”扩展为“东航”，需要结合关键词词库进行识别
3）问句理解：提取问句中的关键词
关键词提取： 怎么样注册东方万里行会员
注：关键词可以是名词、动词、助词、代词，是描述某一类特征的词，关键词的颗粒度可以很粗（例如“我要申请”、“帮我申请”、“申请”），也可以有一定限度的泛化能力（例如：如何办理东方万里行会员中的“如何”就可以与“怎样”、“怎么样”）的代词一起作为关键词，并在计算句子相似度方面只考虑这些关键词。
对于特定句某个名词、代词、动词、形容词或副词不一定是该句中的主语、宾语或谓语成分，但相对于句中所有的词构成的词序列而言，关键词序列却具有一定的句法结构信息表达能力，至少可以了解句子中的哪些词在组成句子框架结构方面是比较重要的。在此基础上进行相似度计算，比一般基于词的方法更准确。
4）问句相似度计算：将用户问句与每个标签分类下的问题进行相似度计算后召回，同时返回相似度最高的标准问题和所属标签分类。
注：在这里主要讲解的是产品设计思路，告知读者在设计问答型机器人过程中会用到哪些NLP相关技术，而不会详解技术实现过程。
问句相似度计算方法1：基于多重信息的方法（关键词加权的语句相似度计算），结合了语法和语义信息的改进句子相似度计算方法。首先计算两个句子的语法相似度（词形、句长），借鉴基于词信息和句法分析的方法，综合考虑词的相似度和句子结构（长度）信息，结合同义词词林进行句子语义的相似度计算。最后，考虑关键词、句长、语义多重信息的一种融合算法，值得注意的一点是该方法需结合词库一起使用，其目的是提升分词、关键词提取、词性权重标注准确率。
注：在计算语法相似度的时候需要注意的是关键词出现的频次应该采用大规模语料进行统计，而在限定领域问答系统中，可以用简化的方法。根据经验，在实践过程中发现名词和动词在句子中起着非常重要的作用,并且名词比动词承载着更多的信息量，一个句子的中心信息基本上都是围绕着名词和动词来展开的。
所以在进行计算时也特意加大了名词和动词的重要程度，将句子的重心落在名词和动词上面，经查阅论文资料根据实际经验，将句子相似度计算中权值分别是名词类权重（W）为0.3；动词类权重（W）为0.3；形容词、代词、副词类权重（W）为0.2。
问句相似度计算方法2：基于向量空间模型的方法。该方法把问句用向量来表示，计算2个句子的相似度就是计算2个向量的距离。
本文使用word2vec对句子进行向量化表示，以作为LSTM（即长短记忆神经网络）神经网络的输入实现问句相似度计算。而基于神经网络的词向量模型，可以从大规模的文本数据中自动学习数据的本质信息，得到低维实数向量，很好地解决了传统的词向量模型。因为词语独立性假设带来的语义建模困难和维度爆炸问题。
用户问句：
Q：怎么样注册东方万里行会员
FAQ库中的句子：
R1：如何办理万里行会员（标签分类：会员办理）
R2：如何获得会员卡（标签分类：领取会员卡）
R3：东方万里行会员申请电话是多少（标签分类：咨询电话）
R4：东方万里行会员应该怎样申请（标签分类：会员办理）
返回结果：（使用word2vec计算得出）
R1：如何办理万里行会员
0.8045011574330355
R2：如何获得会员卡
0.6247308971541259
R3：东方万里行会员申请电话是多少
0.7638216222999513
R4：东方万里行会员应该怎样申请
0.9042637469903886
以上案例从人的主观判断可以看出问句Q实际上和R1，R4是同一个问题，与人的主观判断完全一致，同时也返回R4的标签分类“会员办理”。
5）答案：精准匹配，则将R1问题的答案返回给用户
整体产品结构图
以下是问答系统整体产品结构图，主要围绕核心模块有问答管理、模型训练、关键词管理、未知问题管理。则其余模块不会做详细讲解。
图3：问答系统产品结构图
问答管理模块问答型知识构建是基于问答对中的问题匹配算法来设计的，所以首先需要搭建问答对，而问答对是由标准问题和相似问题以及答案组成，通过新增相似问题来提升问答机器人的准确率。
而标签分类能有效的对问答对进行分类化管理，可以按业务分类、问题所属业务部门等自己需要的维度来管理问答对，提高问答对的管理效率。标签分类的用途是在特定标签分类里的问题中匹配相似问题，其目的是找到用户问题的所属标签分类。
图4：问答管理-新建标签分类
问答对是由标准问题、相似问题、答案组成，而标准问题与答案的组合称之为问答对。问答对支持一对一、一对多、多对一和多对多；当问题中包含多个答案时，答案随机呈现。相似问题是标准问题的泛化，其表达的意思与标准问题是一样的，其目的是匹配用户问题最相似的问题，并反馈给用户答案，问题样本越多匹配的准确率也就越高。
图5：添加问答对产品原型
模型训练模块是将编辑好的问答对或新增相似问题加入到算法中进行训练并生成模型，模型需要生效后才可使用。
关键词管理模块关键词在问答管理模块中已经有详细的描述关键词对整个问答管理模块来说其重要性，以及关键词的使用和发挥的作用。
图6：关键词管理产品原型
图7：添加词典值产品原型
未知问题管理模块未知问题是用户与机器人在对话过程中未识别的问题，用户可以对未知问题进行标注并添加至问题样本中通过模型进行训练。
图8：未知问题管理产品原型
图9：转问题样本产品原型
结束语问答型机器人能否实现智能化，最直接的体现就是能否回答人类自然语言的问题，本文通过详细介绍问答型机器人产品设计思路，以及深入研究问答型机器人处理流程。问答型机器人最核心的就是问句相似度计算，以及用户自定义词库拓展同义词来提高匹配准确率，还有就是未知问题的处理并加入模型进行训练。
本文还介绍了问句相似度计算的2种方法,一个方法是关键词加权的语句相似度计算；另一个方法是word2vec结合LSTM神经网络的问句相似度计算。试验证明，word2vec来计算问句匹配的准确率明显要好。
至此，因本人一直从事NLP领域的智能问答系统产品设计工作。所以想把一些经验分享给大家，相互学习和交流，后续还会持续更新基于知识图谱的问答系统和多轮对话的产品设计。
本文@johnny113原创发布于人人都是产品经理，未经许可，不得转载。
题图来自Unsplash，基于CC0协议