搜索场景下的智能实体推荐.pdf

搜索场景下的智能实体推荐陈溪|01 场景介绍及概览020304目录 CONTENT|实体推荐相关性稀疏数据下的实体召回多领域多场景下的实体推荐场景介绍及概览01|场景介绍|•实体推荐：推荐与query相关的实体，并聚合为不同的维度呈现。Fig. 影视类query实体推荐Fig. 通用实体推荐Fig. 小说类query实体推荐Fig. 小说阅读场景实体推荐产品技术框架|基础数据搜索日志曝光点击底层能力意图判断实体消歧实体识别推荐系统应用场景实体质量原始日志知识图谱垂类灵犀内部资源垂直网站doc内容网页信息文本理解实体分类知立方垂类推荐结果页搜索场景小说阅读搜狗号QB端内其它场景百科三方页面实体理解实体关联CF队列KVIRSRCB队列语义队列图谱队列热门队列其它队列召回CTR体验多样性排序质量控制人审机审实体推荐实体推荐相关性02||实体推荐相关性推荐结果：被动&开放•用户查询：主动&明确query不直接包含实体query包含单/多个实体query = 实体名称虚拟人物类实体影视类实体游戏类实体影视类实体小说类实体Figs. 各类query对应搜索结果实体推荐相关性|搜索场景特征查询词热度陡增，训练数据无积累，纯文本识别难度较大。知识图谱特征•补充多场景信息，丰富query内容。Q：艾尔登法环配置要求实体：艾尔登法环Fig. 搜索结果中和游戏相关的特征Fig. 知识图谱中和游戏相关的属性实体推荐相关性|session A•结合用户会话内的前序行为，辅助判断查询词指向逆水寒ol → 点击游戏站点好玩的武侠类网游天涯明月刀古龙和金庸古龙小说→ 点击书籍站点天涯明月刀session Bsession C古龙小说翻拍的电视剧钟汉良演过的武侠剧天涯明月刀Q=天涯明月刀Fig. 游戏实体Fig. 书籍实体Fig. 影视实体实体推荐相关性|BERTlast n hiddenlayersquery text短文本link entity infoBERT/EMBLOOKUPuser session infoBERT/EMBLOOKUP实体属性特征前序查询特征search infoBERT/EMBLOOKUP结果页特征𝑇𝑜𝑝𝑖𝑐!tower𝑇𝑜𝑝𝑖𝑐"tower𝑇𝑜𝑝𝑖𝑐#tower𝑇𝑜𝑝𝑖𝑐! score𝑇𝑜𝑝𝑖𝑐" score𝑇𝑜𝑝𝑖𝑐# score•融合搜索场景特征知识图谱特征用户前序行为更准确预测查询词应呈现的实体类别。稀疏数据下的实体召回03|搜索场景下数据的稀疏性1.查询词的稀疏性：-冷门查询词或new query-热门查询词，但积累实体不足2.实体的稀疏性：-马太效应，热门实体反复推荐，新鲜感弱化。-长尾理论，盘活长尾实体，激发用户兴趣。稀疏数据下的实体召回|Q：冰墩墩①可挖掘实体：冰墩墩、雪容融②激发兴趣点：其它冬奥会吉祥物Fig. 热门和长尾分布图|稀疏数据下的实体召回原始query召回实体热门queryQ2Q – itemCF-借助用户行为，挖掘有关联，但字面不一定相似的query。e.g. 谷爱琳滑雪 - 谷爱凌个人简介Q2Q – IR-根据query文本分词信息，挖掘字面相似query。e.g. 谷爱琳滑雪 – 谷爱琳简介Q2Q – SR-基于双塔模型，召回语义相近、发散性更好的query；e.g. 谷爱琳滑雪 -谷爱凌国籍查询词的转化𝑙𝑜𝑠𝑠 = 𝑚𝑠𝑒 𝑐𝑜𝑠𝑠𝑖𝑚 𝑎, 𝑏+ 𝑚𝑠𝑒(𝑠𝑐𝑜𝑟𝑒(𝑏))原始查询词直接召回实体有限。转化为召回能力强、相似度高的query补充召回。BERTquery ABERTquery Bcos 𝒔𝒊𝒎(𝒂, 𝒃)0 … 1ReLU(128+64)𝒔𝒄𝒐𝒓𝒆(𝒃)稀疏数据下的实体召回|查询词的转化1.别名字典知识图谱属性2.搜索行为百科展现点击3.NER实体识别实体链接Fig. 搜索结果页百科展现实体消歧1.核心实体判断2.意图类别匹配场景适配knowledge graph实体描述实体属性实体embsearch info实体热度query特征doc特征Ranking稀疏数据下的实体召回|实体的embedding泛化𝐸!𝐸"𝐸$𝐸%𝐸&① 基于用户session：体现用户兴趣② 基于知识图谱：补充用户未知知识𝐸!𝐸"𝐸%③ 基于doc内容：补充时效性&新奇知识𝐸!𝐸"吴京𝐸%蒋璐霞寇占文吴滺兄弟父子knowledge graph巨齿鲨2东极岛content-based谢楠战狼同门李连杰user session构建实体关系图稀疏数据下的实体召回|实体的embedding泛化正样本生成𝑡𝑥"𝑥!𝑣α=1α=1/qα=1/p① 随机游走biased：根据edge权重dynamic：平衡DFS和BFSE相关人物𝓔𝟏𝓔𝟐① easy样本：随机负采样、热度负采样② hard样本：同类型实体热度负采样top邻居节点类型热度负采样e.g. 吴京 – 孤勇者② hard样本：加长步数降低q值随机游走游走到的节点按次数排序选取末端节点；负样本生成相关影视相关音乐作品e.g. 吴京 – 谷爱凌𝐸!𝐸"𝐸)e.g. 吴京 – 傲慢与偏见稀疏数据下的实体召回|实体的embedding泛化①补充实体side info（EGES）：-实体类别、实体上位词（概念）e.g. 吴京 – 相关人物、武打明星-实体关键词② Attention layer动态调节各特征权重：-热门实体侧重id特征-长尾实体侧重side info特征模型特征补充稀疏数据下的实体召回|实体的embedding泛化如果仅考虑当前节点信息，泛化能力受到游走正样本限制；车澈中国有嘻哈李嘉格gai中国好声音vava刘柏辛中国新说唱一阶邻居二阶邻居说唱新世代万妮达Q：车澈（爱奇艺副总裁、中国有嘻哈导演）EGES embedding召回：相关人物|李嘉格 相关人物|龚宇 相关人物|陈冰 相关人物|陈永馨 相关人物|周延 相关人物|陈嘉新权重高基于GraphSAGE模型1. 引入当前节点的邻居节点信息来丰富表征，泛化性更平衡充分；2. 通过邻居节点聚合得到新节点的embedding，缓解冷启动问题；|稀疏数据下的实体召回实体的embedding泛化AGGfunctionConcatenatedℎ!" = 𝑥!ℎ#" = 𝑥#ℎ$" = 𝑥$Hidden layerℎ*!AGGfunctionConcatenatedℎ$" = 𝑥$ℎ#" = 𝑥#Hidden layerℎ+!ℎ!" = 𝑥%ℎ,!AGGfunctionConcatenatedHidden layerℎ*"ABCD一阶邻居 二阶邻居AGGfunctionConcatenatedℎ$" = 𝑥$Hidden layerℎ-.：node v初始化嵌入表示ℎ-/：node v在k次迭代时的嵌入表示𝑥-：node v输入特征ℎ&" = 𝑥&稀疏数据下的实体召回|实体的embedding泛化ABCD一阶邻居 二阶邻居1. Sample：① k=2，采用二阶邻居信息，保证相关性及训练效率；② 均匀采样 优化为 30%均匀采样 + 70%热度采样；2. Aggregate：① 基于attention机制聚合采样的邻居，考虑不同邻居对当前节点的影响；3. EGES模型embedding作为输入，借助预训练优势；GraphSAGE embedding召回：相关人物|李嘉格 相关人物|龚宇相关人物|袁娅维 相关人物|李佳隆 相关人物|白举纲GraphSAGE → GAT多领域多场景下的实体推荐04|多领域多场景下的实体推荐|①query关键词，query意图；②query点击doc信息 - title、站点③query需求多样性 - 开放性or 固定e.g. 吴京老婆是谁 vs. 滑雪运动员div 𝑞 = 6'−𝑃(𝑒(|𝑞) log) 𝑃(𝑒(|𝑞)𝑃 𝑒( 𝑞 =𝑐𝑜𝑜𝑐(𝑞, 𝑒()∑* 𝑐𝑜𝑜𝑐(𝑞, 𝑒*)ℇ(𝑞, 𝑒) =𝑐𝑜𝑜𝑐+(𝑞, 𝑒)∑(∈- 𝑐𝑜𝑜𝑐+(𝑞, 𝑒()•多维度特征建设QUERY维度实体维度①实体质量 - 关键词、属性完整度、图片质量；②历史表现 – 搜索量级、展现点击③搜索结果页特征e.g. 一起向未来联合维度①历史表现 - 搜索共现、展现点击②相关性 - 文本相似度③query-实体觉察度：召回实体是否已经是用户了解的知识或关系；e.g.滑雪运动员 vs. 谷爱凌Fig. 一起向未来对应的优质搜索结果多领域多场景下的实体推荐|•多领域模型建设1. 不同实体属性不同，可提取不同特征；e.g. 影视：制片公司，影片类型，播出时间，…人物：职业，生卒年，国籍，…2. Main Tower输入为通用特征，各类别Tower输入为类别针对性特征：① 保证通用特征训练充分：分拆类别数据后，各类别训练数据不足；② 各类别针对性特征发挥作用；Fig. 影视实体属性|Embedding lookupEmbedding lookupEmbedding lookupEmbedding lookupquery特征、通用实体特征小说实体特征影视实体特征人物实体特征ReLU（512）ReLU（512）ReLU（256）ReLU（512）ReLU（512）ReLU（256）ReLU（512）ReLU（512）ReLU（256）ReLU（512）ReLU（512）ReLU（256）MLP（128）MLP（128）softmaxExperts - sharedExperts - novelExperts - videoExperts - peoplesigmoidsigmoidsigmoid多领域多场景下的实体推荐•多领域模型建设多领域多场景下的实体推荐|•多场景维度细化1. 类别作用- 辅助理解推荐逻辑- 帮助用户了解同类实体2. 细化类别- 知识图谱中的实体类别体系：一级类别 → 二级类别 → 实体- 知识图谱中的概念体系：领域→ 概念 → 实体Fig. 细化后的人物推荐Fig. 细化后的综艺推荐演员歌手作家虚拟人物运动员人物Fig. 细化后的概念类别非常感谢您的观看|