开源开放的知识图谱工具和数据生态.pdf

张宁豫（浙江大学）开源开放的知识图谱工具和数据生态提纲!"#$%&'()(*+,-"#$%&()./0"#$%&(*123"456789:01知识图谱的开源生态知识图谱：刻画事物关系、沉淀领域知识!"#$%&'(#)*+,-"./0123456789:9;/<=>?!"@ABCD!EF6GHIJ@KLMNOP(QRSTU-EFVW-XYXZ[\-]^_`abc-EF3:def>?gNew Expert Engine : TO-BE知识图谱概念词、本体、实体、关系三元组、规则、Axioms神经网络语言预训练：字、词、句子KG Embedding：实体、关系、三元组图神经网络：图结构、路径、子图Ontology Embedding：Axiom、逻辑结构向量表示符号表示专家经验• 人工构建的本体• 人工校验过的规则库• 通过知识众包获取的图谱• 从文本抽取的专家知识机器数据• 长期积累的结构化数据• 设备传感数据• 自动采集的日志数据• 多种模态的数据搜索查询智能问答决策分析图可视化可解释性人机闭环提升模型效果知识图谱的广阔应用机器人及IOT设备的智能化：给万物都挂接一个背景知识库DBpediaWordnetYagoTrue Knowledge/EviDBpedia智能厨房智能驾驶智能家居………………zhishi.meWolframAlpha对话式的信息获取更加需要精准度和可靠度，知识图谱对于提升用户体验更加不可少。知识图谱的广阔应用A knowledge graph to interpret clinical proteomics data (Nature Biotechnology 2022)OntoProtein: Protein Pretraining With Gene Ontology Embedding (ICLR2022)知识图谱的广阔应用知识体系组织形式Taxonomy• 一种树状的知识表示结构，本质上是本体的简化• 是当前互联网行业内较为流行的类型，因为它在一定程度上兼顾上下层关系和标签体系Folksonomy• 利用大众自发的对网络信息进行打标签的方式进行内容组织• 没有对概念规范化的说明，也没有复杂的网状结构和丰富的语义关系Ontology• 通过对术语或词汇、术语关系、概念化与形式化的规范说明,描述特定领域的知识工程化本体构建流程收集领域本体术语•列出本体中的重要术语集合定义本体概念层级•定义概念与概念之间的继承、等价、兄弟关系定义本体属性关联•包括针对概念的属性类型、概念属性之间的推理关系、关系与关系之间的互逆关系定义本体约束条件•包括属性的取值类型、取值范围、缺省值等检查项目、疾病、疾病症状等实体术语，治疗周期、治疗方式、治愈概率、疾病易感人群等属性或关系术语is-a, kind-of, the-same-as, brother如父亲和儿子，在知道父亲数据的情况下，可以自动得到儿子这条数据对于人的寿命取值范围一般小于200岁，2月份不会超过29天等知识图谱的构建范式1. 基于已有的工具、数据开发原型开源数据与工具可以提升开发知识图谱应用的效率2. 根据业务需求开发功能模块实现应用系统知识图谱的构建范式基于开源数据和工具开发知识图谱应用的基本范式1、快速写代码2、跑实验，记录实验结果3、分析实验结果，模型是否符合预期？!知识图谱的开源数据与工具要开源，也要自主可控建设开源社区的关键是树立开源思维知识图谱开源生态知识图谱开源开放的使命与愿景开源创新可以加速知识图谱技术的创新发展，不断拓展人类认知边界和技术边界开发者都可以基于开源开放的成果开发自己的项目、产品及业务，更便捷、高效、安全地推进知识图谱技术创新与应用02知识图谱开源工具知识图谱构建流水线张之洞，晚清名臣、清代洋务派代表人物，祖籍直隶南皮，出生于贵州，字孝达。属性：字实体属性值Jack is married to the microbiologist known as Dr. Germ in the USA.microbiologistJackDr. GermUSA本体建模知识抽取知识融合知识校验知识更新本体标注工具ProtégéNeOn ToolkitAltova SemanticWorks思维导图知识标注开源工具https://brat.nlplab.org/https://github.com/doccano/doccano知识抽取工具：DeepDive经典的知识抽取工具知识抽取工具：Snorkel知识抽取工具：OpenNRE低资源设定复杂篇章设定知识抽取工具：DeepKE知识抽取工具：DeepKE第一步：进入目标任务文件夹cd example/ner/standard第二步：模型训练run.py第三步：模型验证python predict.pypython自定义数据集, 自动调参,容器支持知识抽取工具：DeepKE25详细在线文档Google Colab教程知识抽取工具：DeepKEDeepKE 是一个支持低资源、长篇章的知识抽取工具，支持命名实体识别、关系抽取和属性抽取功能。https://github.com/zjunlp/DeepKE知识图谱融合工具知识图谱融合工具:OpenEA知识图谱融合工具：PRASEMap知识图谱表示与推理工具知识图谱向量空间表示学习链接预测一致性检测规则挖掘实体对齐实体分类…Knowledge Graph Embedding(KGE)知识图谱表示与推理工具基于空间假设的传统KGETransE DistMultRotatEBoxE利用图结构信息的GNN-KGER-GCN注入规则的Rule-KGEIterERUGE知识图谱表示与推理工具知识图谱表示与推理工具: OpenKE知识图谱表示与推理工具: NeuralKG已有的表示学习工具知识图谱表示与推理工具: NeuralKG知识图谱表示与推理工具: NeuralKGNeuralKG 包含的模型C-KGE(TransE) 的效果GNN-KGE(R-GCN)效果Rule-KGE(RUGE)效果知识图谱表示与推理工具: NeuralKGNeuralKG 使用样例NeuralKG超参搜索项目地址：https://github.com/zjukg/NeuralKG知识图谱搜索与可视化工具Elasticsearch: https://www.elastic.co/cn/FAISS: https://github.com/facebookresearch/faissD3.jsVis.js03知识图谱开放数据开源开放的本体资源知识图谱数据生态谷歌知识图谱：Things, Not StringsFreebaseMetaWebGoogle开发收购开放社区贡献开放网页抽取开放数据源完全免费并允许商业化的开放许可协议通过开源免费吸引用户贡献数据，增值的应用及技术服务收费WikiData目标是构建全世界最大的免费知识库，采用CC0完全自由许可协议谷歌摩尔基金会Allen AI Institute导入维基数据提供资金导入Freebase数据提供资金提供资金维基基金会开放社区贡献相对小众、专业、严格的众包社区Schema.orgSemantic Markup：在网页、邮件、应用程序中嵌入语义数据搜索引擎优化642个类，992个关系RDFa, JSON-LD, HTML5 Microdata谷歌2015年12月推出的Cutomizable Knowledg Graph，允许各网站基于Schema.org，以RDFa， JSON-LD， HTML Microdata等方式在网页、邮件等数据源中嵌入语义化数据，支持个人和企业定制自己的知识图谱信息，全球约有1.2亿的网站，超过30%的网页已经嵌入有Schema.org的语义数据。YAGO•YAGO是由德国马普研究所研制的链接数据库。YAGO主要集成了Wikipedia、WordNet和GeoNames三个来源的数据。YAGO将WordNet的词汇定义与Wikipedia的分类体系进行了融合集成，使得YAGO具有更加丰富的实体分类体系。•YAGO还考虑了时间和空间知识，为很多知识条目增加了时间和空间维度的属性描述。目前，YAGO包含数亿条高质量三元组知识。YAGO是IBM Watson的后端知识库之一。WordNet• WordNet是最著名的词典知识库，主要用于词义消歧。由普林斯顿大学认识科学实验室从1985年开始开发。• WordNet主要定义了名词、动词、形容词和副词之间的语义关系。例如名词之间的上下位关系（如：“猫科动物”是“猫”的上位词），动词之间的蕴含关系（如：“打鼾”蕴含着“睡眠”）等。• WordNet3.0已经包含超过15万个词和20万个语义关系。ConceptNet• ConceptNet最早源于MIT的Open Mind Common Sense 项目，由著名人工智能专家Marvin Minsky于1999年建议创立。• 与谷歌知识图谱相比，ConceptNet侧重于词与词之间的关系。更加接近于WordNet，但比WordNet包含的关系类型多。• ConceptNet完全免费开放，并支持多种语言。采用CC BY SA开放许可协议BabelNet• BabelNet是多语言词典知识库。包含了271种语言，1400万同义词组，36.4万词语关系和3.8亿从Wikipedia中抽取的链接关系，总计超过19亿RDF三元组。• BabelNet集成了WordNet在词语关系上的优势和Wikipedia在多语言方面的优势，是目前最大规模的多语言词典知识库。大词林OpenHowNet开放多模态知识图谱：OpenRichpediaOpenRichpedia一个基于百科的大规模多模态知识图谱中文领域开放知识图谱：OpenKG.CN04总结与未来展望总结:展望未来树立知识图谱开源思维，打破数据算法壁垒具备自主可控和原始创新的知识图基础技术总结：数据与知识的交互融合主观认知机器感知浙江大学谢谢观看！