数据应用工程2_1530094883390.pdf

数据应用工程 成熟度模型Data Application Engineering Maturity Model 目录1.1 背景1.2 模型概述 1.3 适用对象 2.1 业务系统化 定义 特征2.2 业务数据化 定义 特征2.3 数据资产化 定义 特征2.4 业务智能化 定义 特征2.5 成熟度进阶3.1 数据理解 概述 业务理解 数据评估 关键点 & 难点3.2 数据准备 概述 数据获取 数据定义 数据整理 数据增强 关键点与难点引言01成熟度模型04数据应用过程 09020203050505050505060606070707071010101112121212131314153.3 数据开发 概述 数据分析 数据探索 数据建模 关键点与难点3.4 部署运营 概述 数据应用 运营监控 效果分析 关键点与难点4.1 数据维度概述4.2 元数据管理 元数据概述 元数据定义及分类 如何管理元数据4.3 数据质量 数据质量概述 数据质量维度 如何进行数据质量管理4.4 数据安全 数据安全概述 如何做好数据安全管理数据应用过程 13数据维度 201515151616171717171818182121212121222222242525265.1 综述5.2 大数据工具列表 常用主要开源工具 数据仓库与数据管理工具 数据清洗、集成和 ETL 工具 BI 与可视化工具 数据建模与数据科学工具【附录 1】术语【附录 2】溯源与关系 IBM- 数据治理成熟度模型 微软 - 团队数据科学模型 阿里 - 大数据安全成熟度模型 CRISP-DM 模型 御数坊 -DCMM 模型 NIST- 大数据架构【附录 3】参考文献数据工具与技术28附录 322929293030303133363638383940404201引言01引言01 背景02 模型概述03 适用对象02引言背景��在现代社会，随着企业的发展产生了大量的数据，生产部门有生产制造的数据记录，业务运营部门有营销数据，财务部门有经营数据，数据无处不在，数据又时时刻刻影响着企业运转中每个环节的决策。数据已经成为除了资金和人才以外企业新的资产价值增长点。数据本身并不代表价值，数据仅仅是以一定格式对事实进行记录，是原始材料；只有结合环境和上下文的数据才有意义，这就是信息；伴随着信息的积累，我们从趋势和关系的挖掘中总结出了规律，这些规律就变成了知识；然后依据知识在企业经营中进行决策和行动，能进一步促进企业的良性循环。数据产生价值的过程需要经历获取、存储、评估、整理、增强、分析、应用等多个环节，在小数据时代这些过程都相对简单和成熟。随着近些年数据收集方式的增多、传感设备数量的增加，计算能力的增强和存储方式的改进，导致了人们可感知的数据量急剧增多；按照摩尔定律，数据生成和存储的生长速度一直在呈现指数增长。大数据应运而生，带来了俗称的大数据 4V 特征：数量多（即数据集的规模）、多样性（即来自多种数据仓库、领域或类型的数据）、速度快（数据的流速）、多变性（在不同特征里的变化）。大数据的到来，使得在数据系统的演化进程中，人们对于高经济效益以及高效率的数据分析需求迫使现有技术不断变化。伴随着大数据革命，必须考虑如下四个方面的相互作用：数据集的特征、对数据集的分析、数据处理系统的性能以及对经济效益的商业考虑。这些决定了数据应用的价值效果。通过不断的实践，我们总结出了当前大数据环境下的数据应用工程 - 成熟度（LPDT）模型。����数据应用工程 - 成熟度（LPDT）模型（以下简称“成熟度模型”）主要针对大数据环境下的数据应用工程提供方法论依据。可以用来指导企业评估自身所处的数据应用成熟度阶段，也可以用来指导企业如何晋级到更高阶的成熟度阶段。成熟度模型分为成熟度阶段（Level）、过程（Process）、维度（Dimensionality）和工具（Tool）四个方面展开。数据应用工程 成熟度模型（LPDT）03引言适用对象成熟度阶段（Level）分为 Level1 业务系统化、Level2 业务数据化、Level3 数据资产化、Level4 业务智能化共四个阶段；除此以外，还有一个更高阶的隐藏阶段为 Level5 企业智能化。成熟度阶段（Level）主要代表了企业在业务运转中应用数据能力的高低，可以通过过程（Process）、维度（Dimensionality）和工具（Tool）等多个维度去评估。本成熟度模型不设置详细的打分机制，只提供部分阶段的特征供企业自评估参考。数据应用过程（Process）分为数据理解（Understand）、数据准备（Prepare）、数据开发（Develop）、部署运营（Operation）四个阶段，基本涵盖了所有数据应用过程，其中每个过程还会细分子过程、入输出及操作项，这些会在后续的章节详细阐述。数据应用过程可以理解为一个数据应用的最小迭代原型，也可以理解为一个大项目或企业的整体数据应用，其中过程与过程之间也可能发生小的迭代和回溯。使用时应在抽象理解的基础上与企业的实际情况映射。数据维度（Dimensionality）是指贯穿于数据应用全过程的一些数据领域维度，是数据应用过程中必须考虑的方面，当前我们只考虑“元数据”、“质量”和“安全”三个维度展开，由于每个维度单独展开都是一个很大的话题，本文档中只结合数据应用过程有限地展开阐述。数据应用过程中还有很多其他维度本次暂不涉及，也欢迎各位使用者反馈。数据工具（Tool）是指结合数据应用过程和数据维度各个环节会用到的工具，可能是开源的，可能是定向开发的，可能是 SaaS 的，可能是私有化部署，可能是免费的，可能是付费的。数据工具与过程和维度是相辅相成的关系，三者一起为成熟度阶段提供评估依据。����数据应用工程 - 成熟度模型可适用于如下场景：企业管理决策层（CEO、CIO 等）可以参考该模型评估企业数据应用的阶段，进行业务相关的数据战略决策，进一步规划数据在业务中的应用思路。业务部门可以使用该模型优化业务流程，参考该模型系统进行数据应用，挖掘数据价值，提高效率，提升业务效果。数据部门可以使用该模型更系统地建立数据管理和应用的流程机制，为更多的业务部门提供数据应用支撑能力。04������02成熟度模型01 业务系统化02 业务数据化03 数据资产化04 业务智能化05 成熟度进阶05������数据应用工程 - 成熟度模型（LPDT）主要从数据管理和应用的角度来衡量企业应用数据的能力，并将其分为以下多个成熟度阶段。针对不同的阶段，从企业管理、数据应用过程、数据维度、技术 / 工具等多个方面不同特征进行参照判定。�������业务系统化阶段是指：企业的业务流程清晰，且业务过程都已经通过 IT 系统实现，IT 系统的实现以业务为导向，可能有少量数据记录，但并没有以数据为导向积累数据。��“业务系统化”阶段主要有以下特征：企业管理：该阶段的企业战略以纯业务角度驱动；整个公司无数据意识，业务实施过程中无数据积累及数据优化业务的理念；企业的组织架构中无数据相关部门和职位的设置。数据应用过程：该阶段的企业只是使用业务系统中必备的数字进行业务和财务的统计管理和分析。尚未开始理解业务链条背后各个环节的数据，也没有考虑使用技术工具进行数据积累。每次基于业务目标的数据统计都需要定制化开发处理。数据维度：该阶段的元数据只涉及业务元数据，可能只在业务系统中使用，但并未统一所有的元数据术语，各业务线的业务单元分散管理。质量方面，可能会有一些测试和质检，但是并未从质量保证和质量控制角度设计质量管理指标和质量评价体系。数据安全层面只界定了财务数据，尚未对数据的分等定级和数据安全保密级别进行设计和划分。技术 / 工具：开始使用平台 / 系统管理部分业务或整个业务线，但业务系统间并未打通和串联，各业务系统无数据沉淀，业务系统背后的数据未被收集或处于散乱无序的未管理状态。�������业务数据化是指企业在业务系统化的基础上开始建立数据理念，开始基于单业务各个环节进行数据的收集、管理、分析，并反馈优化该业务，数据体量相对单一，可能有业务的 BI报表进行闭环的业务分析和迭代。该阶段是基于业务目标去收集数据和分析数据。��“业务数据化”阶段主要有以下特征：企业管理：该阶段的企业开始建立数据的理念，在业务过程中注重数据的积累，战略上开始考虑通过数据来分析和解决业务问题；组织架构中有数据相关的部门和数据分析师等相关的职位来支撑。业务系统化06������数据应用过程：该阶段开始考虑在业务系统中设置功能进行数据收集，有专门的团队对收集的数据进行管理和分析，挖掘数据对业务的优化；有数仓进行数据管理，有系统的dashboard 等工具向决策层数字化反馈业务情况。各产品线和各个环节的数据孤立进行，管理和分析的数据主要是小体量的指标数据，很少涉及大量底层日志数据。数据维度：该阶段有专门的系统平台功能进行元数据管理，统一了术语，该阶段分析处理的数据主要以结构化数据为主，可能有少量非结构化数据。质量方面开始设计质量监控指标，实施过程质量控制，建立对应的质量保证体系，并且实现平台化管理监控。数据安全维度对数据做了基本的分等定级，明确了涉密与非涉密的划分。技术 / 工具：研发部门针对数据收集管理建立了专门的数据仓库或类似的技术架构进行业务线的数据沉淀，可以在系统上针对已存储的数据进行 ETL 处理和挖掘分析。�������数据资产化是指企业在业务数据化的基础上，考虑将数据作为资产去挖掘其价值。在该阶段会将所有的数据汇聚管理起来，实现不同的数据联通，跨界考虑数据价值的应用。且该阶段处理的数据维度更多源化，数据体量更大，不仅要处理内部数据，还需要考虑基于业务场景，如何与外部数据对接连通。该阶段是先收集数据，再从海量数据中去挖掘可能的价值。��“数据资产化”阶段主要有以下特征：企业管理：该阶段企业战略层面已经将数据作为企业的资产，将其与资金和人才一起同等考虑。设立了专门的数据部门来管理企业生态内外的所有数据汇集、管理、分享。组织架构方面，在管理层设置了数据管理委员会或者首席数据官（CDO）来负责决策层的数据管理，职位方面除了有数据分析师以外，还设置了数据科学家等角色基于数据、统计和行业知识的综合高阶角色。数据应用过程：该阶段开始考虑将公司内部所有可数据化的环节数据化，将各个业务产品线的底层日志到业务指标多个维度数据收集、融合、打通，并统一管理，数据准备阶段还会考虑从外部获取合作或购买的数据进行数据增强 / 放大，在数据开发过程中更多的使用算法技术进行数据价值挖掘和业务优化迭代。数据维度：该阶段处理数据维度广，数据体量大，数据结构复杂。元数据管理要同时考虑结构化和非结构化数据。质量方面更多的面对非标准化数据、非结构化数据的质量问题，要考虑面对未知领域数据快速确定质量情况的能力。数据安全维度要更多的考虑同一类数据在不同场景过程中的安全保密级别，其中要充分考虑数据连通后的隐私被挖掘的可能性。鼓励数据不动，算法向数据靠拢，计算出合规结果后输出的模式。数据资产化07������技术 / 工具：有专门的技术团队基于 hadoop 等开源系统开发大数据收集、ETL 处理的工具，有数据目录等数据资产展现的工具，有沙箱环境等数据探索的平台和能力。可以处理大量非结构化数据；基于业务场景可实现实时处理或离线处理。�������业务智能化是在数据资产化的基础上，结合企业内外部的全域数据进行分析挖掘，使用 ML（机器学习）和 AI（人工智能）等技术自动化地处理数据，优化迭代业务。��“业务智能化”阶段主要有以下特征：企业管理：该阶段企业战略层面开始更多的关注 AI（人工智能）在企业业务中的应用，让更多数据自动化的优化业务。组织架构方面会建立专门的数据科学部门或研究院，考虑企业未来的业务，可能会有未来架构师等职位角色出现。数据应用过程：该阶段数据理解、数据准备（含收集）、数据开发（含探索应用）、运营部署等各个环节都考虑如何将AI融入其中，提高每个环节的效率和效果。更自动智能的处理、分析和应用数据。数据维度：该阶...