如何选择合适的大数据平台架构

来源:中琛源 浏览次数: 更新时间:2021-04-29 09:30:16

  基本还是根据数据的流向自底向上划分五层,跟传统的数据仓库其实很类似,数据类的系统,概念上还是相通的,分别为数据采集层、数据处理层、数据分析层、数据访问层及应用层。


  同时,大数据平台架构跟传统数据仓库有一个不同,就是同一层次,为了满足不同的场景,会采用更多的技术组件,体现百花齐放的特点,这是一个难点。


  数据采集层:既包括传统的ETL离线采集、也有实时采集、互联网爬虫解析等等。


  数据处理层:根据数据处理场景要求不同,可以划分为HADOOP、MPP、流处理等等。


  数据分析层:主要包含了分析引擎,比如数据挖掘、机器学习、深度学习等。


  数据访问层:主要是实现读写分离,将偏向应用的查询等能力与计算能力剥离,包括实时查询、多维查询、常规查询等应用场景。


  数据应用层:根据企业的特点不同划分不同类别的应用,比如针对运营商,对内有精准营销、客服投诉、基站分析等,对外有基于位置的客流、基于标签的广告应用等等。


  数据管理层:这是一纵,主要是实现数据的管理和运维,它横跨多层,实现统一管理。


  中琛魔方大数据平台表示大数据时代,大多数企业的架构必然向着分布式、可扩展及多元化发展,所谓合久必分,不再有一种技术能包打天下了,这冲击着传统企业集中化的技术外包模式,挑战是巨大的。

上一篇:如何保护大数据安全隐私
来源:中琛源
更新时间:2021-04-29 09:19:10
下一篇:如何搭建大数据分析平台
来源:中琛源
更新时间:2021-05-06 09:08:35