微信搜一搜中的智能问答技术.pdf

微信搜一搜中的智能问答技术姓名 杨韬（腾讯TEG AI平台部）|01 背景介绍03 基于文档的问答02 基于图谱的问答04 未来展望目录 CONTENT背景介绍01|智能信息获取：从搜索到问答•传统搜索只能返回TopK的网页，无法给出更精准的答案•对用户：需要自己从网页中分析甄别答案，搜索体验较差•传统搜索引擎只是去做“匹配”，NOT“理解”•直接返回精准、可靠、便捷的答案•对用户：帮助用户最快时间获取到答案，搜索体验好•对内容方：答案首条置顶展示，可以获得更多曝光和流量◼传统网页搜索对问答型Query的局限:◼智能问答的优势：精准化query10 links人工分析整理AnswerqueryAnswer12312搜索场景下的用户问答需求问题类型事实型(factoid)占比Query示例观点型(opinion)摘要型(abstract)列表型(list)15%64% 15% 6% 短答案（实体短语）短答案（Yes/No）长答案（多句摘要）长答案（列表）单/多实体：刘德华的妻子中国四大名著时间/数字：曹操有几个儿子刘德华哪天出生的高铁可以逃票吗月经期可以吃榴莲吗张学友是水平座吗为什么会脑缺血苹果手机电池掉得快怎么办太阳能热水器工作原理按揭房抵押贷款办理流程有哪些银行修改密码有哪些步骤答案形式事实型短答案观点型短答案摘要型长答案列表型长答案答案知识来源◼ 数据源•百科、豆瓣等网站的结构化infobox•质量高，易于获取和加工•只覆盖头部知识，覆盖率不够来源一：结构化数据Q：易建联的身高Q：谁发动了陈桥兵变◼ 优点◼ 缺点◼ 数据源•百科、公众号等互联网网页文本库•知识覆盖面广•文本质量参差不齐•对专业领域知识的覆盖度和权威度不够来源二：非结构化-通用文本库◼ 优点◼ 缺点◼ 数据源•专业领域的垂类站点的问答数据•页面一般以（问题，段落）这样的问答对的形式存在•知专业领域知识覆盖广、权威度高来源三：非结构化-专业垂类站点问答库◼ 优点Q：无间道1的导演是谁Q：胫骨骨折一般多久长骨痂技术路线KBQA（基于图谱的问答）•支持推理，可以解析复杂查询•扩展性强，能查询实体的各种属性◼ 优点◼ 关键技术•图谱构建：schema自动构建、实体挖掘、关系抽取、开放信息抽取•问题解析：实体链接、基于Semantic Parsing的方法、基于检索的方法DocQA（基于文档的问答）•能解决一些KBQA难以解析回答的问题•知识覆盖面广，能覆盖更多中长尾问题◼ 优点◼ 关键技术•阅读理解（MRC）•开放域问答（OpenQA）Q：姚明的老婆有多高Q：谁发动了陈桥兵变语义检索TopN文档阅读理解Q：胫骨骨折一般多久长骨痂语义解析查询基于图谱的问答02|什么是KBQA给定自然语言问题，通过对问题进行语义理解和解析，进而利用知识库进行查询、推理得出答案问句姚明的老婆哪里出生的？语义解析语义表示语义匹配、查询、推理上海◼ 难点•开放领域知识库中存在⼤量的歧义实体，如“长城”、“苹果”•属性数量众多：4000+•问法多样：同一个属性不同问法 VS 同一个问法针对不同的属性KBQA技术方案方案一：Information Retrieval-Based•可端到端训练◼ 优点◼ 缺点◼ 将Query和候选答案表征为向量计算相似度•可解释性和扩展性差•难以处理限定、聚合等复杂类型query方案二：Semantic Parsing-Based•可解释性强，符合图谱的显式推理过程◼ 优点◼ 缺点◼ 将Query解析成可查询的结构化表示•依赖高质量的解析算法KBQA整体流程Q：张艺谋的长城女主角是谁？实体链接关系识别Topic实体识别条件/约束识别查询推理Entity=张艺谋, Type=导演Entity=长城,Type=电影问题/关系匹配Relation=主演Relation=作品Relation=角色…关系得分实体重排序Subject=长城Subject=张艺谋Condition: 性别=女景甜彭于晏张涵予实体链接从文本中识别出所有的实体mention，然后再把它们链接到相应的知识图谱上querymention识别候选实体召回实体消歧最终结果Top1验证2017版射雕英雄传主演是谁2017版射雕英雄传主演是谁射雕英雄传射雕英雄传射雕英雄传(2017年蒋家骏执导的电视剧)offset = 5, mention = “射雕英雄传”射雕英雄传(金庸创作长篇武侠小说)射雕英雄传(2003年内地版李亚鹏、周迅主演电视剧)射雕英雄传(2008年胡歌林依晨主演电视剧)射雕英雄传(2017年蒋家骏执导的电视剧)…射雕英雄传(2017年蒋家骏执导的电视剧) 0.9射雕英雄传(金庸创作长篇武侠小说) 0.5射雕英雄传(2003年内地版李亚鹏、周迅主演电视剧) 0.3射雕英雄传(2008年胡歌林依晨主演电视剧) 0.2…射雕英雄传(2017年蒋家骏执导的电视剧) confidence score: 0.8知识图谱Topbase实体链接-知识图谱TopbaseTopbase是由TEG-AI平台部构建并维护的一个专注于通用领域知识图谱数据层面•50+领域、300+实体类型、亿级实体、十亿级三元组技术层面•完善的图谱自动构建流程，增量数据及时更新入库•具备非结构化数据抽取能力•连续两次获得国际知识图谱顶级赛事KBP大奖：✓KBP 2017 实体链接任务冠军✓KBP2019 细粒度实体识别任务第二名实体链接-候选实体召回◼实体词表召回的问题爱情公寓张伟人物类_人物◆将query和实体直接表征成向量商业类_商业人物人物类_虚拟人物……盐城宝龙盐城宝龙城市广场13年现代索八第八代索纳塔解决方案：向量召回模型query：爱情公寓张伟张伟, 《爱情公寓》系列男主之一,由内地男演员李佳航饰演张伟(爱情公寓男主角)张伟,男,《熊出没》熊大、李老板配音演员张伟(配音演员)VqueryVentityVentity马云张飞太阳胡斐岳飞向量空间双塔匹配模型Top10 Recall对比随机采样迭代加入困难负例◆负样本采样问题：随机采样导致大部分负样本都很简单，困难负样本学得不好•词表不完整，导致召回低•召回候选实体多，消歧时间长，方差大实体链接-实体消歧Query: [Mention + 上下文] Doc: [候选实体简介+关键属性]◼模型：交互式BERT匹配模型◼实体简介包含的消歧信息有限•Bert输入长度有限，无法将所有属性输入模型，如何选择属性 ？•解决方案：使用上下文和属性值的相似度来选择消歧属性消歧模型上下文: 长泽雅美长泽雅美刘昊然王宝强✓唐人街探案3唐人街探案1佟丽娅肖央所有属性相似度匹配•Query + 实体类型+简介关系识别识别出这个问题问的是实体的哪一个关系或者属性➢关系的模板挖掘：从各种文本中去挖掘关系的各种“问法”基于问法Patten的扩展•利用关系的种子三元组去回标问答对基于种子三元组的回标•利用同义匹配模型从query log中检索出同义的扩展问法➢可以利用query点击日志或者开源数据集训练模型刘德华的星座匹配Querylog刘德华星座是什么0.9刘德华是什么座的0.5刘德华具体是哪个座的0.4…….人工+机器验证种子三元组：<张杰，星座，射手座>关系识别Q：刘德华是啥座的？[PERSION]是啥座的关系匹配模型[PERSION][Rel：星座]关系表示：•Predicate-level: 每个关系独立one-hot表示•Token-level: 每个关系的字符串拆分成文本token•还可以增加新的特征用于丰富关系的表示，例如关系的类型，关系的预训练表示向量等关系识别◼模型鲁棒性较差•用户Query经常很短，而且表达多样•Query表达的细小改变容易导致模型预测错误解决方案：引入对抗学习出品公司赛车总动员的出品公司赛车总动员哪个公司出品的主要成就孙中山的主要成就有哪些孙中山有哪些伟大贡献√×√×◼样本测•通过多种方式生成更多的“对抗样本”•通过样本增强，来提升模型鲁棒性和泛化能力◼训练测•在训练过程中加入扰动，隐式构造“对抗样本”复杂查询解析◼关系识别模型难以解析复杂Query复杂Query多跳刘德华妻子的舅舅是谁蒋介石的儿子是什么时候去世的多限定刘德华和梁朝伟共同出演的电影无间道中的主演中同时是歌手的人有哪些？村上春树的哪部作品出版于2007年以前？序数谁是新中国的第一任国家主席清华大学第一人任校长是谁是否姚明是上海人么？刘德华的星座是处女座么？计数毛主席有几个孩子李娜获得过几次冠军Query Graph举例刘德华演的电影有哪些刘德华黄秋生主演庄文强编剧的作品有哪些复杂查询解析词汇增强的NER方法词典辅助mention识别Mention识别问句预处理实体消歧候选路径生成候选实体召回文本匹配式候选实体排序基于模板的查询子图生成候选路径排序剪枝&粗排Pointwise&Pairwise 打分排序浅层特征融合答案查询语句生成知识库检索召回排序Q:刘德华妻子是哪个国家的人？Mention:刘德华Entity:(1) <刘德华_（香港男演员、歌手）>(2) <刘德华_（清华大学教授）>…..候选路径:（1）<刘德华_（香港男演员、歌手）><国籍>?y.（2）<刘德华_（香港男演员、歌手）><电影>?x.?x<导演>?y.（3）<刘德华_（香港男演员、歌手）><妻子>?x.?x<外文名>?y.（4）<刘德华_（香港男演员、歌手）><妻子>?x.?x<国籍>?y.…..最终路径：<刘德华_（香港男演员、歌手）><妻子>?x.?x<国籍>?y.复杂查询解析◼ 候选路径生成•依据query graph模板生成各种候选路径•问题：候选路径数量很大，如何剪枝？•解决方案：➢二分类判别：简单问题 vs 复杂问题➢一跳关系剪枝：减少中间节点数量➢基于启发式规则的剪枝◼ 候选路径排序•基于BERT语义匹配的排序模型•基于图表示的模型•Pair-wise训练•可以融入一些人工特征loss = max (0, γ − s(q,𝑝+) + s(q, 𝑝−))问题候选路径序列化刘德华妻子的国籍？刘德华_（香港男演员、歌手）妻子V . V 外文名 $刘德华_（香港男演员、歌手）妻子V . V 国籍 $模型Recall@5Recall@10Recall@20一跳剪枝72.3%84.1%88%⚫剪枝⚫在多跳查询时，可减少80%以上候选，⚫保证golden查询路径的召回率在85%+以上基于文法的解析•上下文无关文法（CFG）•语义表示：AMR◼支持快速配置一些复杂的或新的查询语法表示上下文无关文法（CFG）语义表示抽象语义表示（AMR）解析算法：CYK算法基于文档的问答03|基于文档的问答（DocQA）优点背景难点DocQA是指利用检索+机器阅读理解等技术，从开放文本库中抽取出用户问题的答案➢数据来源丰富➢能抽取多种类型的答案➢能解决KBQA难以解析回答的问题➢抽取的答案片段的准确性➢对无答案段落的拒识能力➢召回段落与问题的相关性正所谓世事难料，朱汝珍什么也没做，就惹到了慈禧，而谁又能想到刘春霖会因为名字而高中状元呢？人生就是如此，永远也猜不到自己的未来，一个小小的细节，可能就会影响今后的发展方向。刘春霖顶着状元头衔进入了翰林院，结果第二年清政府就宣布废除科举制，连考试制度都没有了，他成了历史上最后一个状元。同年刘春霖被派到日本留学，回国后又升了官，不过官职再高，俸禄再多，都很快将成为过眼云烟。Q：中国历史上最后一个状元是谁？A：刘春霖DocQA-总体流程Query log问答意图过滤段落索引库检索(retriever)多段落-MRC(reader)答案排序/拒识(reranker)最终答案Q：历史上谁发动了陈桥兵变？Para1 : 赵匡胤发动“陈桥兵变”的时候，一切都显得风平浪静，除了那个侍卫亲军马步副都指挥使外韩通被杀外，其余再也没有一起流血事件。要知道，后周也是一个朝代。而且…Para2 : 在陈桥兵变之...