大数据的核心技术有哪些？

说起大数据，很多人可以聊一会，但要问大数据的核心技术是什么，估计很多人都说不上一二。

从机器学习到数据可视化，大数据已经形成了相当成熟的技术树。不同的技术层次有不同的技术架构，每年都会出现新的技术术语。面对如此复杂的技术架构，很多第一次接触大数据的小白几乎被吓倒了。

其实了解大数据的核心技术很简单，无非就是三个过程：取数据、计算数据、使用数据。所以有些人可能会认为它太宽泛了。总之核心技术有哪些，从大数据的生命周期来看，无非就是大数据采集、大数据预处理、大数据存储、大数据分析四个方面，共同构成大数据。生命周期中的核心技术划分如下：

一、大数据采集

大数据收集，即来自各种来源的结构化和非结构化数据收集海量数据。

数据库采集：Sqoop、ETL大行其道，很多企业仍然使用传统的关系型数据库MySQL和Oracle作为数据存储方式。当然开源的Kettle和Talend本身也集成了大数据集成内容，可以实现hdfs、hbase和主流Nosq数据库之间的数据同步和集成。

网络数据采集：借助网络爬虫或网站公共API从网页中获取非结构化或半结构化数据，并统一为本地数据的数据采集方式。

文件采集：包括实时文件采集和处理技术flume、基于ELK的日志采集和增量采集等。

数据收集的生命周期

二、大数据预处理

大数据预处理 处理是指在数据分析前对采集的原始数据进行“清理、填充、平滑、合并、归一化、一致性检查”等一系列操作，旨在提高数据质量，为后期提供分析工作奠定了基础。数据预处理主要包括数据清洗、数据集成、数据转换、数据归约四个部分。

大数据预处理

数据清洗：指使用ETL等清洗工具），噪声数据（数据有错误核心技术有哪些，或数据与预期值有偏差），对不一致的数据进行处理。

数据集成：是指将来自不同数据源的数据组合起来，存储在一个统一的数据库中。该存储方法主要解决三个问题：模式匹配、数据冗余、数据值冲突检测与处理。

数据转换：指对提取的数据进行不一致处理的过程。还包括数据清洗的工作，即按照业务规则对异常数据进行清洗，保证后续分析结果的准确性

数据规范：是指在尽可能保持数据原貌的基础上，最大限度的维护。最小化数据量以获得更小的数据集的操作，包括：数据立方体聚合、降维、数据压缩、数值缩减、概念层次等。

三、大数据存储

大数据存储是指利用内存将收集到的数据以数据库的形式存储的过程，包括三种典型路线：

1、基于MPP架构的新型数据库集群

采用Shared Nothing架构，结合MPP架构的高效分布式计算模式，通过列存储、粗粒度索引等多项大数据处理技术，专注于行业大数据开发的数据存储方式。具有低成本、高性能、高扩展性等特点，在企业分析应用领域有着广泛的应用。

与传统数据库相比，其基于MPP产品的PB级数据分析能力具有显着优势。自然，MPP数据库也成为新一代企业数据仓库的最佳选择。

2、基于Hadoop的技术扩展与封装

基于Hadoop的技术扩展和封装是针对传统关系数据库难以处理的数据和场景（针对非结构化利用Hadoop的开源优势和相关特性推导相关大数据技术的过程（擅长处理非结构化、半结构化数据、复杂的 ETL 流程、复杂的数据挖掘和计算模型等）。

随着技术的进步，其应用场景将逐渐扩大。目前最典型的应用场景是通过扩展和封装Hadoop实现对互联网大数据存储和分析的支持，涉及到数十种NoSQL技术。

3、大数据一体机

这是一款专为大数据分析处理而设计的软硬件组合产品。它由一整套集成的服务器、存储设备、操作系统、数据库管理系统以及预装和优化的数据查询、处理和分析软件组成，具有良好的稳定性和垂直扩展性。

大数据存储

四、大数据分析与挖掘

从可视化分析、数据挖掘算法、预测分析、语义引擎、数据质量管理等，对杂乱无章的数据进行提取、提炼和分析的过程。

1、可视化分析

可视化分析是指利用图形化手段清晰有效地传达和交流信息的分析方法。主要用于海量数据关联分析，即借助可视化数据分析平台，对分散的异构数据进行关联分析，制作完整分析图表的过程。

它简单、清晰、直观且易于接受。

FineBI 可视化

2、数据挖掘算法

数据挖掘算法，即通过创建数据挖掘模型，以及用于测试和计算数据的数据分析方法。是大数据分析的理论核心。

数据挖掘算法有很多种，不同的算法会因数据类型和格式的不同而呈现出不同的数据特​​征。然而，一般来说，创建模型的过程是相似的，首先分析用户提供的数据，然后寻找特定类型的模式和趋势，使用结果定义创建挖掘模型的最佳参数，并应用这些参数在整个数据集上提取可操作的模式和详细的统计数据。

FineBI的数据挖掘功能

3、预测分析

预测分析，是大数据分析最重要的应用领域之一。通过结合多种高级分析功能（特殊统计分析、预测建模、数据挖掘、文本分析、实体分析、优化、实时评分、机器学习等）确定事件的目的。

帮助分析结构化和非结构化数据中的趋势、模式和关系，并使用这些指标来预测未来事件并为行动提供依据。

FineBI 预测回归

4、语义引擎

语义引擎有一些操作可以为数据添加语义，以改善用户的互联网搜索体验。

5、数据质量管理

指在数据生命周期的各个阶段（计划、获取、存储、共享、维护、应用、消亡等）的数据质量管理，通过识别、测量、监控来提高数据质量的一系列管理活动、预警等各种数据质量问题引起的操作。

以上是从大的角度。具体来说，大数据有很多框架技术。以下是其中一些：

文件存储：Hadoop HDFS、Tachyon、KFS

p>

离线计算：Hadoop MapReduce、Spark

流式传输、实时计算：Storm、Spark Streaming、S4、Heron

K-V、NOSQL 数据库：HBase、Redis、MongoDB

资源管理：YARN、Mesos

日志收集：Flume、Scribe、Logstash、Kibana

消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务：Zookeeper

集群管理和监控：Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习：Mahout、Spark MLLib

数据同步：Sqoop

任务调度：Oozie