网易互联网数据中台实践.pdf

网易互联网产品数据k台实践 • 数据k台概览 • 元数据k心 • 数据服务 • 全链路数据质量k心 • 数据资产管理 互联网h务数据架构 猛犸大数据开发计算平台 供 应 链 8.S o 站 音t 传媒 电商 .W. +.S 8.S .W. +.S 供应链决策协同系统 用户行n分析 精准投放 用户运营 用户行n分析系统 商品运营 用户精准投放系统 商品运营系统 市场运营 推广渠道管理系统 供应链 供应链决策协同系统 管理层 商品舆情系统 高层看板 活动实时直播 VIOAOO h务场景 数据产品 数据产品： 以电商n例 数据智能 搜索推荐 风控 指标口径f统一 数据重复 建设 取数效率低 成本指数 增长 数据产品 故障频发 指标系统+数据服务 数据地图+自助查询 数据质量k心 资产管理 落地产品 h务面m的问题 k台产品架构 互联网h务数据k台架构 猛犸大数据开发计算平台 音t 传媒 供应链决策协同系统 用户行n分析 精准投放 电商数据k台 统一元数据 共享数据资产 100%数据产品指标覆盖，统一h务口径和取数口径定r，消除指标vr性 基于数据地图，100%实现自助取数 全链路数据跟踪，回答“数据准f准b”“哪y数据故障b”“什么时候恢复b”，加速数据故障的排查定位，助力)).(%S5+达成 所有数据产品接入统一查询服务，做到所有对数仓的访问，可管理、可追踪，通过逻辑模型g物理模型的分离，大幅提高指标的重用性 构建元数据k心，通过资产分析、看清数据资产、降低数据管理成本、追踪数据价值，消灭低价值的资产，成本节约%0%以d 数据k台实施效果 • 数据k台概览 • 元数据k心 • 数据服务 • 全链路数据质量k心 • 数据资产管理 大数据计算 数据源 Hive metastore!元数据k心 ����!����!����!元数据k心 010502多租户，多h务线 • 能够支持电商（考拉、i选）、互娱（音t、游戏）、传媒、教育 多种数据源支持 • 能够覆盖网易所有的数据源，甚至包括4AFkA，REDIQ，2BAQE等SCHELA KEQQ 4V系统 数据血缘 • 静态血缘 动态血缘 • 血缘支持时间戳，可以按照时间戳读取，过期 • 血缘覆盖率以及血缘采集性能 g大数据系统集成 • gRAMGEP结合，允许通过自定r标签的方式对数据进行动态授权 • 数据传输、自助分析g元数据k心集成 • 基于元数据k心，构建数据质量k心、数据资产管理k心、数据地图 数据标签 • 通过l富的f同类型的标签，完善数据特征体系 • 指标标识、数仓的o题域、分层信息，是否是数仓维护的推荐表都以标签形式存在 网易元数据k心设计原则 元数据k心架构图 一个复杂的h务有成千dc张表 • f知道数据含r • 找f到数据 • f知道哪个数据更有价值 • f清楚数据的更新频率 • 大量重复建设 • … 解决找数据问题 数据地图 指标系统 h务模块 (电商h务) 数据域 (z易域) h务过程 (e单) 维度 (商品) 修饰类型 (终端类型) 修饰词 (OC) 时间周期 (昨日) 原子指标 (销售量) 派生指标 (昨日OC端销售量) 维度属性 (商品ID，名称) • 指标和维度命名规范 • 指标口径要清晰(p例或S:5) 指标方法论 • 数据k台概览 • 元数据k心 • 数据服务 • 全链路数据质量k心 • 数据资产管理 指标口径 • 相同指标在多个表k存在 • 指标口径f统一 • 指标重用率低，数仓重复加工 安全隐患 • 底层表直接暴漏 • 对数仓的访问缺少权限控制 接入效率 • 所有需求一个接口 • S.4 高效率接入 可维护性 • 打通u数据应用W指标W数仓表的全链路监控 • 表变更，f知道谁访问这个表b n什么要有数据服务 MUS:5 2BAQE 19 4UKIM 数据源 缓存 结果缓存 元数据缓存 元数据k心 CNNPDIMARNP WNPkEP WNPkEP WNPkEP 逻辑执行计划 逻辑模型 访问控制 权限校验 监控报警 查询服务 用户行n分析系统 应用层 物理模型 条件解析 物理执行计划 日志管理 modelName!OpenApi Fields!FliterList!OrderBy!Distinct!Limit!Offset!商品运营系统 结果返回 物理执行 结果聚合 数据服务架构 模型路由 /S 2BAQE MUS:5 1PEEM9KSL REDIQ 小数据量的 灵活查询场景 大数据量明细数据的查询场景 z互式 多维分析场景 4UKIM 离线聚合 多维分析场景 大列表TNON场景 异构数据源使用场景 服务监控 • 数据k台概览 • 元数据k心 • 数据服务 • 全链路数据质量k心 • 数据资产管理 01 03 04 02 完整性 是指需要的数据已完整记录，可以分n记录数完整性和字段值完整性。 准确性 是指数据在数仓k的值和实际值是否相同，可以分n口径实现结果和数据逻辑合理性。 一致性 是指系统内外部数据源s间的数据一致程度，可以分n指标一致性和信息一致性。 时效性 是指数据的时效对应用的满足程度，可以分n数据任务结束时间和运行时长。 数据质量 • 超过)0%的问题是由h务和产品发现 • 收集的问题k存在研发BSG的占比达50% 数据质量提升s前的状态 • 表数据量波动监控和绝对值监控 • o键唯一监控 • 字段n空，n0的监控 • 数据完整性监控，订单%&小时，终端覆盖 • 数值计算逻辑监控：商品只能归属一个BU • 数据格式的监控，比如I9，UR5 • 维表的监控 • 数据异常监控，比如日期还没发生 • 同一个指标在f同模型f一致监控 • 相关指标趋势监控，比如ST和OT走势一致 • 聚合逻辑一致性监控 • f同数据源对同一个实体的值一致 • 任务延迟监控 • 表产出时间的监控 • 源数据延迟监控 完整性 准确性 一致性 时效性 数据质量稽查规则 • 覆盖数据产出的完整生命周期 • 全链路数据血缘的实时监控 • 快速u解哪y数据产品的哪y指标异常 • 故障恢复时间的请准预估 全链路数据质量监控 • 全链路任务状态监控 • 任务甘特图 全链路数据质量监控 500�������!100% �����!�������!���������!��SLA�99.8%!数据质量实施效果 • 数据k台概览 • 元数据k心 • 数据服务 • 全链路数据质量k心 • 数据资产管理 • 每个项目花u多少钱b • 每张报表花u多少钱b • 每个数据产品花u多少钱b • 每个人花u多少钱b • 各个h务线预算符合度b • 根据表的热度，存储空间、加工表消耗的资源，确认表是否可以优化b给出优化建议b • 表的一键e线 数据资产管理 要分析哪y数据b • f同计算引擎的访问热度（表、列） • 最近访问时间 • 资源消耗（任务加工、表存储空间） • 数据血缘关系 数据打通（任务信息注入底层任务） • 2ITE/MR：+VkABAM通过UAPM AOOKICARINM’Q CNMFIGSPARINM注入 • SOAPk: +VkABAM 通过EMTIPNMLEMR’Q QUQREL OPNOEPRIEQ注入 • ILOAKA：通过2IMR 方式注入 优化算法 • 从最d游的表开始遍历，对无访问的表以及表相关的任务e线 • 从d层数据产品产出价值以及报表的访问情况，进行数据产品或者报表的e线a 如何采集数据 • 0S ILAGE • 2.0S ASDIR • MR 任务日志 • SOAPk 任务日志 • MERASRNPE 资产管理实现面m的技术挑战 HiveSQLMRSparkSqoop����HiveSQL����SparkSQLImpala SQLFSImageSparkMRYarn�����������HDFS Audit�� ������MR ����Spark ��������ImpaladImpalaImpala SQL �������ClusterJobFlowUser�������Kafka��������������������HDFS������������������������������������������������系统架构 ����!���!������!���!���20%��!数据资产管理效果