2019年中国BI商业智能行业报告.pdf

爱分析 中 国 消 费⾦金金 融 ⾏行行 业报告 中国 BI 商业智能⾏行行业报告 2019 年年 8 ⽉月 报告编委 报告指导⼈人 ⾦金金建华 爱分析 创始⼈人&CEO 报告执笔⼈人 李李喆 爱分析 合伙⼈人&⾸首席分析师 ⽥田群 爱分析 分析师 彭晨 爱分析 分析师 陈⼩小松 爱分析 助理理分析师 外部专家 何春涛 永洪科技 创始⼈人& CEO 特别鸣谢 报告摘要 BI 商业智能的核⼼心在于体现决策价值 • 企业数字化转型的本质是经验驱动决策向数据驱动决策的转变。 • BI平台成为数据产⽣生价值的主要⽅方式。以BI建设为中⼼心的数据中台服务，逐渐成为海海量量数据处理理与分析的核⼼心平台。 • 在企业中提供更更深刻的业务洞洞察⼒力力，是管理理层依赖BI平台进⾏行行决策的基础。 • BI业务的发展使得业务⼈人员进⾏行行数据分析的⻔门槛⼤大幅降低。 向数据和分析两端发展 ⼀一体化平台成为趋势 • 企业再满⾜足于⼀一般的报表与敏敏捷式仪表盘，企业的BI需求变得更更加灵活和⾼高效。以云BI平台为基础的⼀一站式⼤大数据平台，成为新的趋势。 • 在数据管理理⽅方⾯面，现代BI平台既需要利利⽤用传统BI的数仓资产，还需具有更更强数据源管理理能⼒力力和深度分析功能。 • 在易易⽤用性⽅方⾯面，增强分析技术、语义搜索与嵌⼊入式分析技术将⼤大幅降低现代BI平台的使⽤用⻔门槛。 技术平台更更加灵活 场景融合成为关键 • 随着微服务架构及容器器技术的发展，更更多的BI⼀一体化云平台采⽤用松耦合架构，基础平台具有更更好的灵活性和业务适应性。 • BI系统在实施过程中，需要深⼊入挖掘企业需求，重新梳理理企业管理理⽅方法、流程和管理理体系，这个过程技术平台与垂直⾏行行业场景的融合成为关键。 ⽬目录 ⼀一. BI 商业智能⾏行行业概览 2 ⼆二. BI 商业智能的价值 11 三. BI 商业智能的重要应⽤用场景分析 16 四. BI 市场规模测算与分析 24 五. BI 商业智能的未来趋势 28 六. BI 商业智能⼚厂商竞争分析及典型⼚厂商介绍 35 结语 40 关于爱分析 41 1 | 爱分析·中国 BI 商业智能行业报告 BI 商业智能⾏行行业概览 2 | 爱分析·中国 BI 商业智能行业报告 2019 年年，国际商业智能⾏行行业格局巨变。6 ⽉月 6 ⽇日，Google 以 26 亿美元现⾦金金收购商业情报软件和数据分析平台 Looker；4 天之后，更更具爆炸性的新闻爆出，SaaS 第⼀一股 Salesforce 以 157 亿美元的价格收购 BI 领导者 Tableau，成为 Salesforce 历史上最⼤大的⼀一笔收购案。 国际巨头通过收购进⾏行行产业整合并不不新鲜，但如此密集的 BI 类并购在历史上并不不是⾸首次，12 年年前就已经发⽣生。2007 年年，Oracle 33 亿美元收购 Hyperion，SAP 68 亿美元收购 Business Objects（BO），IBM 50 亿美元收购 Cognos。这不不禁让⼈人发问，IT 巨头为何热衷于收购 BI 企业？ 在互联⽹网 C 端市场，流量量⼊入⼝口始终是商家必争之地，⽽而 BI 软件则是数据分析领域最重要的⼊入⼝口之⼀一。BI 与分析领域的产品和技术，是所有⽤用户尤其是⼤大客户的刚需。2019 年年，云计算进⼊入 2.0 时代，⼤大数据为 BI 提供了了海海量量数据分析需求，业务复杂性和数据复杂性带来的双重挑战，成为新⼀一轮 BI 并购潮主要推动⼒力力。 1. BI 商业智能⾏行行业概览 1.1 BI 商业智能发展历程 BI(Business Intelligence, 商业智能或商务智能)源⾃自企业对业务数据进⾏行行价值挖掘与展现的需求。1989 年年，BI 概念由 Howard Dresner 定义⽽而⼴广泛传播，此时的 BI 定义为由数据仓库、查询报表、数据分析、数据挖掘和数据维护等部分功能组成，以帮助企业决策为⽬目的的技术应⽤用。 图 1: 1968 年年-1989 年年传统 BI 企业成⽴立时间轴 数据来源：爱分析 商业智能不不仅是⼀一种技术，更更是⼀一种企业集成数据解决⽅方案。这包括了了 ETL（Extract-Transform-Load，抽取-转换-加载）、数据仓库、DM（Data Mining，数据挖掘）、 3 | 爱分析·中国 BI 商业智能行业报告 OLAP、数据可视化等多种⼯工具。1968 年年到 1989 年年，传统 BI 的⼚厂商如 Cognos、SAP、Oracle、Teradata、MicroStrategy 等陆续成⽴立。 2013 年年之前，传统 BI 产品⼀一直是市场的主流，但这并不不是⼀一个很好的市场。根据 IBM的统计数据，实施传统 BI 的项⽬目失败率在 60%-70%，⼤大量量的 BI 系统并没有得到有效的使⽤用。传统 BI 产品，通常只能由技术⼈人员在设计好的维度模型上建⽴立数据仓库。这造成了了两个问题，技术⼈人员难以完全理理解业务⼈人员的需求，数据仓库不不能满⾜足不不断变化的业务需要。 敏敏捷 BI 为了了解决上述两个问题⽽而出现。敏敏捷 BI，⼜又称⾃自助式 BI，是指由业务⼈人员⾃自助式建模，能够实现快速部署、数据源集成、⾼高性能计算、探索式分析的 BI 可视化产品。由于业务⼈人员⾃自⾏行行建模，摆脱了了数据⽆无法体现业务需求，技术⼈人员不不懂业务需求的困境。让数据直接反映业务，成为敏敏捷BI 的⼀一⼤大特点，典型的敏敏捷BI ⼚厂商有Tableau、永洪科技等。 表 1: 传统 BI 产品与敏敏捷 BI 产品 传统 BI 产品 敏敏捷 BI 产品 IBM Cognos Oracle OBIEE MicroStrategy SAP BO SAS BI Microsoft BI FineReport Tableau QlikView PowerBI 永洪 BI FineBI SmartBI 数据来源：爱分析搜集 1.2 BI 商业智能技术架构和演进路路线分析 传统 BI 商业智能体系结构主要由数据源、数据存储与管理理、OLAP 引擎和前端⼯工具组成。数据仓库、数据集市与 OLAP 引擎是传统 BI 体系的核⼼心。传统 BI 技术体系对海海量量数据计算与动态业务的⽀支持均不不⾜足，系统搭建、建模过程均需技术⼈人员完成。 BI 商业智能从传统 BI 阶段向敏敏捷 BI 的发展过程中，数据源与数据管理理、增强性分析、交互易易⽤用性，是 BI 技术架构快速演变的主要⽅方向。具体表现为传统数仓向海海量量混合存储与⾼高效治理理演进、离线数据分析向增强性实时分析演进、静态报表向⾃自助图表和智能交互演进。 4 | 爱分析·中国 BI 商业智能行业报告 图 2: 传统 BI 的体系结构 数据来源：爱分析 1.2.1 传统数仓向海海量量混合存储与⾼高效治理理演进 传统数据仓库和 OLAP 引擎不不适⽤用于当今 BI 业务对数据存储和查询效率的需求。随着业务数据的快速增⻓长，传统的数据仓库不不能满⾜足存储和计算的需求。⼀一⽅方⾯面数据ETL 的效率快速下降，原本在⼀一个⼩小时内可以准备好的数据通常延迟到⼀一天后才能进⾏行行分析；另⼀一⽅方⾯面数据查询效率快速下降，实现秒级的查询变得越来越困难。 MPP 或⼤大数据平台成为应对海海量量数据的主要解决⽅方案。MPP（Massively Parallel Processing，⼤大规模并⾏行行处理理系统）不不同于事务处理理数据库，更更适于 OLAP 场景。采⽤用 MPP ⽅方案的典型案例例是领先的数据仓库企业 Teradata，其在 1990 年年就发布了了第⼀一款 MPP 数据库产品，⽬目前 MPP 架构仍是处理理⾼高质量量结构化关系型数据的⾸首选⽅方案。国产 BI 软件中，永洪科技数据集市产品同样采⽤用了了 MPP 架构。 Hadoop 经过⼏几年年的⾼高速发展，近两年年虽略略显疲软，但仍是主流的⼤大数据平台。Spark、Flink 等分布式计算引擎与分布式数据库、分布式存储等新兴技术快速补⾜足⼤大数据平台⽣生态的缺⼝口。⽬目前，⼤大数据平台已经能够适⽤用结构化、半结构化和⾮非结构化数据处理理，⽬目前敏敏捷型 BI 产品⼀一般都具有 Hive、Spark SQL 等⼤大数据平台查询接⼝口。 动态的业务需求对 BI 商业智能数据治理理的要求更更加严格。传统 BI 成功的关键在于元数据的良好定义，元数据⼀一旦定义，修改成本将⼗十分⾼高昂，但由于技术⼈人员有限的业务理理解和多变的业务形态，良好的元数据定义通常难以实现。数据治理理即为了了解决元�����������������������AO������������• ������• �E�L��• ������• ������• ������• ������������CMP����������C����R�����C��������������������������� 5 | 爱分析·中国 BI 商业智能行业报告 数据标准不不统⼀一，数据质量量管控、数据集成效率低等问题出现相关⼯工具和⽅方法。IBM、Qlik 等 BI 企业都已在其产品提供或者加强了了数据治理理功能。 1.2.2 离线数据分析向增强性实时分析演进 传统 BI 的离线数据分析难以满⾜足实时/准实时需求。通常当天业务结束后，BI 系统进⾏行行统⼀一的查询、计算、分析和展现。客户不不能实时获取当天的分析结果，难以满⾜足快消、物流、航空等实效性要求较⾼高的业务对 BI 的需求。 实时/准实时 BI 分析⽬目的是实现秒级的查询响应。⽬目前，实时 BI 产品有三个发展⽅方向，采⽤用 MPP/⼤大数据架构（Presto/Impala/SparkSQL/Drill）优化查询性能、采⽤用分布式搜索引擎架构（Elasticsearch、Solr）和预计算分布式 OLAP 引擎（Druid/Kylin）。 上述三种⽅方案，采⽤用了了内存计算、并⾏行行计算、分布式计算和分布式通信等多种⽅方式提⾼高响应速度，除此之外现有的 BI ⼚厂商还通过库内计算技术，将开销⼤大的计算直接在数据存储的地⽅方计算，⼤大⼤大减少了了数据移动，降低了了通讯负担，提⾼高的数据分析性能。 除实时性要求外，随着 AI 技术的快速发展，利利⽤用⾃自然语⾔言处理理与机器器学习技术进⾏行行增强性分析成为 BI 系统的刚需。微软、Tableau、ThoughtSpot、MicroStrategy 都推出了了相关产品。未来，数据预测和数据挖掘的将变得更更加智能，⾃自动化的数据准备、基于模型的扩展分析、预测式分析等增强分析技术将成为主流。 1.2.3 静态报表式表现向⾃自助图表和智能交互演进 传统 BI 的前端为静态类报表，业务⼈人员不不能直接调整报表；业务需求变更更时，需由技术⼈人员配合变更更。在部分场景下，如⽉月度财务会计场景，这类静态报表在效率和准确性上具有优势，但在动态业务场景下，静态报表已经不不能满⾜足现代企业对数据分析的需求。 敏敏捷 BI 为业务⼈人员提供探索式分析与⾃自助图表⼯工具。在已有的数据指标和维度不不能够满⾜足业务分析的需求，传统 BI 往往⽆无能为⼒力力；⽽而业务⼈人员使⽤用敏敏捷 BI，可以通过拖拽的⽅方式，⾃自定义新的指标和维度，进⾏行行探索式分析。这⼀一过程不不需要技术⼈人员⻓长期参与，⼤大⼤大缩短了了业务⼈人员与数据之间的距离。在海海量量存储和⾼高效查询的技术⽀支撑下，敏敏捷 BI 可以利利⽤用⾃自助图表实时展现⾃自定义指标，从⽽而快速满⾜足业务需求。 由智能问答技术⽀支撑的智能交互成为新的 BI 表现形式。⽆无论是传统 BI 还是敏敏捷 BI 都在往智能化 BI 的⽅方向发展。利利⽤用⾃自然语⾔言理理解进⾏行行⾃自然语句句查询、利利⽤用知识图谱实现业务预警、利利⽤用专家系统提供业务咨询成为商务智能新的发展⽅方向。 6 | 爱分析·中国 BI 商业智能行业报告 除⾃自助式表现与智能交互成为新的 BI...