滴滴大数据研发中台的最佳实践.pdf

曾文秋高级技术专家自我介绍• 9年大数据平台研发经验• 2011-2018 阿里巴巴 dataworks的技术负责人，负责一站式的大数据开发平台、工作流任务调度、任务智能监控、数据质量、数据管理等• 2018 加入滴滴，负责滴滴的大数据平台的架构&设计目录l滴滴大数据发展史l一站式大数据研发中台l核心组件设计剖析l基于研发中台的数据治理实践滴滴大数据发展史2014刀耕火种命令行稳定性建设、工具萌芽烟囱式发展一站式平台(离线)2015-201620172018一站式平台(多计算引擎)2019-2010同步：sqoop调度：cron查数&任务开发：命令行开通&权限：邮件+人工沟通一站式平台数据同步数据开发任务调度指标管理监控告警数据质量资产管理数据安全提数工具数据地图离线任务调度数匠坊+docker全链路质量监控系统实时任务管控&运维D++(用户&资源管理)DDTS(基于 datax的任务同步)工单流程工单流程提取工具离线任务调度任务开发：命令行一站式平台离线实时机器学习目录l滴滴大数据发展史l一站式大数据研发中台l核心组件设计剖析l基于研发中台的数据治理实践滴滴数据资产5.5亿+用户1000+座全球城市日新增106TB＋数据日均处理处理4875+TB数据•司机•乘客人•静态信息：全球、全国、城市等各粒度•动态信息：行程轨迹路•静态信息：归属人/公司、车牌号…•动态信息：里程数、维保记录车700亿日ETA请求150亿日定位数据滴滴私有数据云数据云数据分析平台离线数据平台实时数据平台机器学习平台应用开发工程师算法工程师数据开发工程师数据分析师内部数据产品用户商业智能运营支撑……滴滴出行滴滴企业版车载设备终 端使用产生数据数据流入数据流出数据流出数据分析数据加工模型训练应用开发商业决策一站式大数据研发中台【hadoop、hive、spark、presto】、【flink、druid、hbase、kafka、ddmq】、【tensorflow、pytorch】计算引擎数据同步、数据加工、任务运维、监控、预警、任务调度、开发生产隔离开发运维多租户、列权限、列等级打标、脱敏、审计数据安全meta化、元数据、指标管理、血缘分析、数据资产、数据质量数据管理存储引擎同步加工即时查询应用/分析hive-sql离线mrpysparkspark-sql……shellpresto-sqlspark-sqlhdfsdataxbinlog标签数易……实时源同步加工联合计算应用/分析sql实时jar图形化druid……esdruidhivekafkalog-agentbinlog大屏数易……DDMQ存储引擎……算法组件存储实验部署应用/在线预测机器学习图形化分类……回归sparkhdfs安全地图……tensorflow模型k8s………………JupyterNAS开发保存提交测试review发布运维一站式大数据研发中台-产品架构开发环境发布运维Batch StudioStream Studio任务调度AI StudioJupyter Studio发布管理离线任务运维实时任务运维监控告警数据地图发现数据治理执行引擎元数据中心Index Studio资产管理数据质量权限管理数据同步一站式大数据研发中台一站式大数据研发中台•降低数据开发专业度，可标准化、规模化培训•解放数据开发人员时间，专注算法和数据分析技能提升梯队建设•数据使用门槛降低，数据利用率加强•统一标准，跨体系数据共享合作沟通更简单数据共享•数据列权限安全管控•为敏感数据识别、数据操作风险识别打好基础数据安全•监控告警和管控为数据质量提供保障•大数据治理大数据数据治理统一平台统一标准数据驱动数据治理数据安全梯队建设数据共享目录l滴滴大数据发展史l一站式大数据研发中台l核心组件设计剖析l基于研发中台的数据治理实践核心组件设计剖析-开发运维之开发生产隔离数据开发云集成运维环境DEV sandbox集成开发环境任务监控数据质量监控任务运维数据同步设计器/编辑器调度系统计算存储计算网关同步网关PRODUCT sandbox数据同步调度系统计算存储计算网关同步网关发布管理运行调试环境代码仓库逻辑核心组件设计剖析-开发运维之任务调度ABDCEF任务D的平均运行时间 1.5h任务E 的平均运行时间 2h发生故障分调度引擎执行引擎k8s集群1wrapperk8s集群2wrapper…计算集群代码库hive-clihive-cliPodPod统一任务执行平台GMT+8GMT-3GMT-5核心组件设计剖析-开发运维之统一任务执行平台Kubernetes集群namespace-nnamespace-1namespace-2…….【hadoop、hive、spark、presto】、【flink、druid、hbase、kafka、ddmq】、【tensorflow、pytorch】quota-1quota-2……quota-n任务类型（镜像）beelinesparkdataxMRshellflink-debug……对接平台调度引擎实时机器学习取数工具特征平台……统一任务执行平台核心组件设计剖析-数据管理之实时表元数据化消息中间件topic在线库table-1table-2table-n实时计算表计算任务sql计算任务metastore实时表prestosparkhivetable-1table-2table-3核心组件设计剖析-数据管理之实时表元数据化实时表DDMQClickHouseKafkaDruidMysqlPostgre……Kylin核心组件设计剖析-数据管理之实时表元数据化studiometastorestreamsqlservice实时计算研发平台核心组件设计剖析-数据安全之列权限metastore 消息中间件订阅DDL变更安全管家ranger生成安全策略订阅打标消息streamsqlservice数据地图列等级打标消息中间件人工打标hivesparkdruid订阅安全等级presto授权目录l滴滴大数据发展史l一站式大数据研发中台l核心组件设计剖析l基于研发中台的数据治理实践基于平台的数据治理• 研发流程• 研发规范• 运维规范研发治理 • 列权限控制• 列等级打标• 审计安全治理• 存储治理• 计算治理• 数据血缘资产治理• 及时性• 准确性• 一致性数据质量平台的治理理念基于平台的数据治理【hadoop、hive、spark、presto】、【flink、druid、hbase、kafka、ddmq】、【tensorflow、pytorch】工具平台资产分析资产监控成本管理数据质量数据血缘数据地图工具平台数据规范指标开发数据同步数据开发任务运维任务监控ODS用户专车快车租车代驾金融…中间层司机乘客打车位置地域评价…浏览搜索点击收藏成交贷款…应用层服务层网约车车服普惠出行滴滴金融国际化地图…应用层数据服务金融车服普惠…圈人…营销基于平台的数据治理-资产治理数据库导入日志数据导入其他来源数据离线同步实时同步实时同步实时同步导入1导入2导入3导入4导入5导入6日志check计算1计算2计算3计算4计算5计算5计算6计算7导出1导出2导出3导出4导出5数据导入数据加工数据导出基于平台的数据治理-资产治理个人资产我的资产我的应用数据管理资产概览资产明细任务表大盘待办趋势应用概览单应用管理趋势&明细成本管理表管理数据编目全局资产资产管理资产仪表盘数据量资产分析业务全局管理应用血缘数据流趋势表任务quota基于平台的数据治理-资产治理资产治理（存储、计算）存储治理计算治理同源导入数据相似废弃表表生命周期过长暴利扫描团队个人部门相似计算 无效节点数据倾斜参数不合理冷热数据基于平台的数据治理-资产治理数据库导入日志数据导入其他来源数据离线同步实时同步实时同步实时同步导入1导入2导入3导入4导入5导入6日志check计算1计算2计算3计算4计算5计算5计算6计算7导出3前台业务下线导入4导出5导入1导出2基于平台的数据治理-资产治理数据库导入日志数据导入其他来源数据离线同步实时同步实时同步实时同步导入1导入2导入3导入4导入5导入6日志check计算1计算2计算3计算4计算5计算5计算6计算7导出3前台业务1不重要导入4导出5导入1导出2前台业务2重要基于平台的数据治理-数据质量防污治污协同度量建立线上数据质量问题管理机制建立体系全流程数据质量保障建立上下游协同工作流程建立数据质量标准和度量体系基于平台的数据治理-数据质量表级字段级连续波动固定值分区非分区离散非离散•SQL 任务表行数，1、7、30天波动检测•表大小，一天波动检测•表大小与上一周期相减•字段唯一值个数期望值校验•字段空值个数•字段重复率•ds=20181022•pt=2018-11-12•30天平均值波动•7天方差波动•1、7、30天波动检测•与固定值比较•离散值监控：状态值个数•……•字段平均值，上一周期比较•字段汇总值，1、7、30天波动检测规则强阻塞检查报警弱弱总结数据中台后台前台数据共享模型共享指标共享质量管理成本管理安全管理数据治理共建共享一站式大数据研发中台统一的数据内容生产保障离线、实时、机器学习基于开源的大数据技术平台公共数据产品和数据服务数据门户、报表、数据服务、特征一站式出行平台网约车、小桔车服、滴滴金融、…埋点体系、公共层&数据内容建设