大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

　　大数据的处理

　　既然是通过大数据来做一些事情，必然先把数据采集到手，

　　第一步：数据采集，搭建数据仓库，数据采集就是把数据通过前端埋点，接口日志调用流数据，数据库抓取，客户自己上传数据，把这些信息基础数据把各种维度保存起来，在大数据的采集过程中，其主要特点和挑战是并发数高;

　　第二步：数据到手了，里边肯定会有一些不好的数据，我们需要把收集到的数据简单处理一下，比如把IP转换成地址，过滤掉脏数据等，导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别;

　　第三步：数据分析，大数据分析技术主要包括已有数据的分布式统计分析技术和未知数据的分布式挖掘、深度学习技术，统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用;

　　第四步：数据加工处理好了，就要可视化展现出来，做到MVP，就是快速做出来一个效果，数据可视化环节可大大提高大数据分析结果的直观性，便于用户理解与使用，故数据可视化是影响大数据可用性和易于理解性质量的关键因素。

　　中琛魔方大数据平台表示数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响了人类社会发展的进程。