2019年全球大数据产业市场现状及发展趋势分析 Spark、kafka处理系统占据主导地位

分享到:
 2019-10-31 11:21:24  来源:前瞻产业研究院 E5123G0

1、大数据产业具有四大特性

大数据(big data),是指需要通过快速获取、处理、分析以从中提取价值的海量、多样化的交易数据、交互数据与传感数据,其规模往往达到了PB(1024TB)级。不同机构对大数据也有不同的定义。

麦肯锡对大数据的定义:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

移动信息化研究中心对大数据的定义:大数据是帮助企业利用海量数据资产,实时、精确地洞察未知逻辑领域的动态变化,并快速重塑业务流程、组织和行业的新兴数据管理技术。

IDC认为大数据具备海量(volume)、异构(Variety)、高速(Velocity)和价值(Value)四大特性。

2、全球大数据储量规模爆发式增长

随着物联网、电子商务、社会化网络的快速发展,全球大数据储量迅猛增长,成为大数据产业发展的基础。根据国际数据公司(IDC)的监测数据显示,2013年全球大数据储量为4.3ZB(相当于47.24亿个1TB容量的移动硬盘),2018年全球大数据储量达到33.0ZB,同比增长52.8%。

从大数据储量分布情况来看,美国大数据储量占比为21%,EMEA(欧洲、中东、非洲)占比为30%,中国地区占比为23%。

2013-2018年全球大数据储量统计及增长情况

2013-2018年全球大数据储量统计及增长情况

数据来源:前瞻产业研究院整理

2018年全球大数据储量区域分布情况

2018年全球大数据储量区域分布情况

数据来源:前瞻产业研究院整理

3、流式处理占主导地位,Kafka和Spark成为主流应用

根据数据处理的时效性,大数据处理系统可以分为批式(batch)大数据和流式(streaming)大数据两类。其中,批式大数据又被称为历史大数据,流式大数据又被称为实时大数据。

以Hadoop为代表的批处理大数据系统需先将数据汇聚成批,经批量预处理后加载至分析型数据仓库中,以进行高性能实时查询。这类系统虽然可对完整大数据集实现高效的即席查询,但无法查询到最新的实时数据,存在数据迟滞高等问题。

以Spark Streaming、Storm、Flink为代表的流处理大数据系统将实时数据通过流处理,逐条加载至高性能内存数据库中进行查询。此类系统可以对最新实时数据实现高效预设分析处理模型的查询,数据迟滞低。

随着互联网、计算机行业快速发展,企业对数据的时效性越发重视,企业应用也逐渐由批处理数据平台向实时的流数据数据平台转移。以流数据处理为代表的Spark、kafka大数据系统近年来大放异彩,取代了Hadoop的主导地位。

大数据实施流式处理特点分析情况

大数据实施流式处理特点分析情况

资料来源:前瞻产业研究院整理

2018年全球主要大数据处理系统热度排行情况

2018年全球主要大数据处理系统热度排行情况

数据来源:前瞻产业研究院整理

以上数据来源请参考于前瞻产业研究院发布的《中国大数据产业发展前景与投资战略规划分析报告》,同时前瞻产业研究院还提供产业大数据、产业规划、产业申报、产业园区规划、产业招商引资等解决方案。

相关深度报告 REPORTS

2019-2024年中国大数据产业发展前景与投资战略规划分析报告
2019-2024年中国大数据产业发展前景与投资战略规划分析报告

报告主要分析了:全球大数据产业发展现状与预测;中国大数据产业发展现状与预测;中国企业大数据需求与应用趋势调查;典型领域大数据应用价值与需求;大数据产业商业模式...

查看详情

本文来源前瞻产业研究院,转载请注明来源。本文内容仅代表作者个人观点,本站只提供参考并不构成任何投资及应用建议。(若存在内容、版权或其它问题,请联系:service@qianzhan.com) 品牌合作与广告投放请联系:0755-33015062 或 hezuo@qianzhan.com

p44q0

分享:

品牌、内容合作请点这里:寻求合作 ››

前瞻经济学人

专注于中国各行业市场分析、未来发展趋势等。扫一扫立即关注。

前瞻产业研究院

中国产业咨询领导者,专业提供产业规划、产业申报、产业升级转型、产业园区规划、可行性报告等领域解决方案,扫一扫关注。

文章评价COMMENT

还可以输入2000个字

暂无网友的评论
前瞻数据库
企查猫

研究员周关注榜

 
在线咨询
×
在线咨询

项目热线 0755-33015070

关注我们
前瞻网微信号

扫一扫关注我们

意见反馈

×
J