2019中国大数据产业发展白皮书.pdf

2019中国大数据产业发展白皮书赛迪顾问股份有限公司 大数据产业研究中心郑重声明本报告的著作权归赛迪顾问股份有限公司(简称为“赛迪顾问”)所有。本报告是赛迪顾问的研究与统计成果，其性质是供客户内部参考的业务资料，其数据和结论仅代表本公司的观点。本报告有偿提供给购买本报告的客户使用，并仅限于该客户内部使用。购买本报告的客户如果希望公开引用本报告的数据和观点，在事先向赛迪顾问提出书面要求后，必须经过赛迪顾问的审核、确认，并得到赛迪顾问的书面授权。未经赛迪顾问的审核、确认及书面授权，购买本报告的客户不得以任何方式在任何媒体上(包括互联网)公开引用本报告的数据和观点，不得以任何方式将本报告的内容提供给其他单位或个人。否则引起的一切法律后果由该客户自行承担，同时赛迪顾问亦认为其行为侵犯了赛迪顾问的著作权，赛迪顾问有权依法追究其法律责任。目 录一、宏观环境篇二、行业篇三、应用篇四、人才篇五、趋势篇PART ONE宏观环境篇2015年以来，随着国家和地方政府的大力推动，中国大数据产业发展步入快车道。一大批大数据产业园相继落地，大数据产业生态也加速成熟，相关的标准和技术体系持续完善，应用市场日益壮大，产业国际影响力也不断提升。定义及分类、特征大数据产业 是以数据采集、交易、存储、加工、分析、服务为主的各类经济活动，包括数据资源建设、大数据软硬件产品的开发、销售和租赁活动，以及相关信息技术服务。对于我国大数据产业规模的估算，目前各大研究机构均采用间接方法。赛迪顾问结合对企业调研数据，将产业规模限定为上述各类经济活动所对应的销售收入，不包含产生数据的各类终端设备的产值。中国大数据产业发展受宏观政策环境、技术进步与升级、数字应用普及渗透等众多利好因素的影响，2018年整体规模达到4384.5亿元，到2021年将达8070.6亿元，持续促进传统产业转型升级，激发经济增长活力，助力新型智慧城市和数字经济建设。2016-2021年中国大数据产业规模及预测大数据产业链全景图2840.83549.84384.55386.26605.88070.627%25%24%23%23%22%2016201720182019E2020E2021E大数据产业规模（亿元）增长率1国际竞争格局发达国家加快推进大数据产业发展2017年瑞士洛桑国际管理学院《世界数字竞争力排名》显示，各国数字竞争力与其整体竞争力高度一致，即数字竞争力强的国家整体竞争力也很强，也更容易产生颠覆性创新。实际上，以美国、英国、韩国和日本为代表的发达国家一向重视大数据在促进经济发展和社会变革、提升国家整体竞争力等方面的重要作用，把大数据视为重要的战略资源，大力抢抓大数据技术与产业发展先发优势，积极捍卫本国数据主权，力争在数字经济时代占得先机。 美国：实施“三步走”战略，推进大数据产业发展特朗普就任美国总统后，对大数据应用及其产业发展持续关注，并督促相关部门实施大数据重大项目，构建并开放高质量数据库，强化5G、物联网和高速宽带互联网等大数据基础设施，促进数字贸易和跨境数据流动等。 英国：紧抓大数据产业机遇 应对脱欧后的经济挑战密集发布《把握数据带来的机遇：英国数据能力战略规划》《数字战略2017》《工业战略：建设适应未来的英国》和《工业战略：人工智能》等政策文件，将全方位构建数据能力上升为国家战略,力争2025年数字经济对本国经济总量的贡献值达到2000亿英镑。健全人力资本培养、夯实基础设施和软硬件开发能力，打造丰富开放的数据资产。打造良好的创新创业氛围，推进企业数字化智能化转型，优化营商环境。塑造平台型政府，提供优质数字公共服务，解决数据隐私、伦理和信息安全等问题。 韩国：以大数据等技术为核心应对第四次工业革命韩国在2013年就确立了“大数据产业发展战略”，积极发展大数据基础设施和应用市场。近年来，韩国陆续发布《K-ICT战略》和《智能信息社会中长期综合对策》，以大数据等技术作为核心要素，重新审视本国智能制造和信息技术发展，应对第四次工业革命。构筑开放共享的大规模数据基础设施，激活数据流通和开发应用，培养储备人才。加强新一代信息技术等基础研究，推动科研数据开放共享，强化产学研合作，加快攻克产业关键共性技术等面向数据服务需求，构筑超连接网络环境，推进智能制造和大数据应用市场发展。1、快速部署大数据核心技术研究，并在部分领域积极开发大数据应用。2、调整政策框架与法律规章，积极应对大数据发展带来的隐私保护等问题。3、强化数据驱动的体系和能力建设，为提升国家整体竞争力提供长远保障。 欧盟：实施最强保护条例，强化数据安全和个人信息保护2018年5月25日，欧盟《通用数据保护条例》（英文简称“GDPR”）正式实施，兼顾个人权利保护与信息流通保护，明确了个人数据定义，条例使用范围，划定了合法性基础、数据主体权利、数据控制者义务、数据流通标准、数据救济和处罚等。2政策环境 2015-2018年，国家和地方相关单位密集出台了一批指导、促进大数据产业发展的政策法规，产业发展环境持续优化。 大数据政策开始向各大行业和各细分应用领域延伸扩展，行业应用成为关注重点。 数据安全是大数据产业健康有序发展的重要保障。2015-2018年国家及地方大数据相关的政策、法规颁布时间颁布主体政策/法规名称支持对象2015年7月国务院《国务院关于积极推进“互联网+”行动的指导意见》大数据2015年7月国务院办公厅《关于运用大数据加强对市场主体服务和监管的若干意见》大数据市场监管2015年9月国务院《促进大数据发展行动纲要》大数据产业生态2016年3月国务院《中华人民共和国国民经济和社会发展第十三个五年规划纲要》大数据技术与应用2016年3月环保部办公厅《生态环境大数据建设总体方案》生态环境大数据2016年8月国务院《“十三五”国家科技创新规划》大数据技术与应用2016年6月国务院办公厅《关于促进和规范健康医疗大数据应用发展的指导意见》健康医疗大数据2016年7月国土资源部《促进国土资源大数据应用发展实施意见》国土资源大数据2016年7月国家林业局《关于加快中国林业大数据发展的指导意见》林业大数据2016年9月交通运输部办公厅《关于推进交通运输行业数据资源开放共享的实施意见》交通大数据2017年9月公安部《关于深入开展“大数据+网上督察”工作的意见》安防大数据2017年9月国家测绘地理信息局办公室《智慧城市时空大数据与云平台建设技术大纲》空间地理大数据2017年5月水利部《关于推进水利大数据发展的指导意见》水利大数据2018年1月中央网信办、国家发改委、工信部《公共信息资源开放试点工作方案》政务大数据2018年5月银保监会《银行业金融机构数据治理指引》金融大数据2016年1月贵州省人大《贵州省大数据发展应用促进条例》大数据产业2016年9月湖北省人民政府办公厅《湖北省大数据发展行动计划（2016-2020年）》大数据产业2016年8月北京市人民政府《北京市大数据和云计算发展行动计划（2016-2020年）》大数据产业2018年5月河南省人民政府办公厅《河南省大数据产业发展三年行动计划（2018-2020年）》大数据产业2018年5月内蒙古自治区人民政府办公厅《内蒙古自治区大数据与产业深度融合行动计划（2018-2020年）》大数据产业2017年10月成都市信息化工作领导小组办公室《成都市大数据产业发展规划（2017-2025年）》大数据产业2018年4月河北省“大智移云”发展领导小组办公室《河北省大数据产业创新发展三年行动计划（2018-2020年）》大数据产业2018年12月天津市人大《天津市促进大数据发展应用条例》大数据产业2017年1月合肥市人民政府办公厅《合肥市大数据发展行动纲要（2016-2020）》大数据产业2018年12月广东省人民政府办公厅《广东省政务数据资源共享管理办法（试行）》政务大数据2017年12月福州市人民政府《关于加快大数据产业发展三条措施》大数据产业2017年12月福州市人民政府《关于加快中国东南大数据产业园区发展的若干政策》大数据产业园2018年4月福州市人民政府《关于加快数字经济发展的七条措施》数字经济3没有一种流派的技术架构是万能的，混合架构更普遍技术环境① OLTP阵营在线事务、交易处理RDMBSNoSQLNewSQL传 统 的 关 系型 数 据 库 ，需 要 预 定 义的 表 结 构 ，强调ACID特性。IBM DB2OracleMySQLSQL ServerNoSQL 通 过 放 弃RDBMS的ACID和SQL特性，拥有了水平扩展和分布式特点。不需预定义数据模式，数据分区存储，采用无共享架构，异步复制，强调基于BASE的最终一致性和软事务。列数据库，Cassandra文档数据库，MongoDB键值数据库，Redis图数据库，Neo4j支持ACID特性和SQL，取消了耗费资源的缓冲池和单线程锁机制，通过冗余机制实现了数据库复制和故障恢复，通常运行在内存中。Google SpannerSAP HANAGemfire XD数据量种类速度强一致性ACIDHadoop大多慢不NoSQL大一般不快一般不RDBMS一般不一般不快是NewSQL大一般不快是② OLAP阵营在线分析处理体系2——Hadoop生态体系体系1——数据仓库+商业智能从多维度分析综合性、面向主题的历史数据，以支持决策分析，数据不可修改，实时性不高，但处理量大。比如，Microsoft、Oracle、Teradata和IBM等。③ MPP阵营大规模并行处理与Hadoop Mapreduce类似，两者都采用大规模并行处理架构对海量数据进行分析，不同之处在于MPP原生支持并行的关系型查询和应用。 无共享架构：不同于SMP和NUMA架构，每台服务器有独立的存储、内存和CPU，可动态增删节点。 分区，数据分区跨多节点，通过分布式查询提高吞吐率。 典型产品如：Amazon Redshift, Pivotal Greenplum，Teredata Aster和IBM Netezza等。HadoopMPP可扩展性可达数千节点通常不超过1000节点查询延迟~20s不超过100ms平均查询需时十数分钟数秒钟最大查询需时<2周<2小时查询优化未优化，通常不基于成本基于成本，高度优化并发查询数10~20几十~几百最终用户访问用户负责执行逻辑简单的SQL接口和数据库功能Vendor锁定通常不一般是的系统成本每节点最多几千美元每节点上万美元平台开放性几乎完全开源绝大多数闭源硬件选择通用硬件通常为一体机，高性能定制硬件这里处理的数据并不存储在可随机访问的磁盘或逻辑缓存中，它们以数据流的方式源源不断地到达。 实时性，数据实时达到，需实时处理，批处理无法胜任 无边界，数据源源不断，大小不定，数据频率分布不定 复杂性，系统无法控制要处理的新到达数据元素的顺序 流数据处理 复杂时间处理与事件流处理Spark Streaming、Storm、Apache Flume、FlinkEsper、SAP ESP、微软 StreamInsightPigHiveMapReduceHDFS分布式存储引擎SQL引擎（HAWQ,Impala）NoSQLRDBMSJDBC/API接口④ 流数据处理阵营实时分析4大数据标准 国际标准ISO/IEC WG9：大数据—概述和术语国际标准ISO/IEC WG9：大数据参考架构—第三部分：参考架构。国际标准ISO/IEC WG9：大数据参考架构—第一部分：框架和应用过程。技术报告ISO/IEC WG9：大数据参考架构—第二部分：用例和要求。技术报告ISO/IEC WG9：大数据参考架构—第五部分：标准路线图。技术报告ISO/IEC WG9：大数据参考架构—第五部分：安全和隐私。技术报告ITU-T SC13：针对大数据的物联网具体需求和能力要求技术报告ITU-T SC13：基于云计算的大数据需求和能力技术报告ITU-T SC13：大数据交换需求和框架技术报告ITU-T SC13：大数据即业务的功能架构...