一、4.大数据学习路线

文章目录

• • 大数据学习路线
  • • 1.1 基础
    • 1.2 Hadoop
    • 1.3实时计算
    • 1.4 Spark

大数据学习路线

1.1 基础

1.2 Hadoop

（1）数据储存：HDFS（Hadoop Distributed File System）
（2）数据计算：MapReduce（Java程序）:在Hadoop 2.x以后，在Yarn容器---> 实现离线计算
（3）Hive：基于HDFS智商的数据仓库，支持SQL语句
（4）HBase：基于HDFS智商的NoSQL数据库
（5）ZooKeeper：实现HA（High Availability高可用性）的功能
（3）其他组件（生态圈）：Pig、Flume、Sqoop

1.3实时计算

（1）Redis内存NoSQL数据库
		Redis Cluster：分布式解决方案
（2）Apache Storm：进行实时计算（流式计算）

以上都是用JAVA实现开发，以下是Scala语言开发

1.4 Spark

只有数据计算，没有数据的存储（依赖HDFS）

（1）Scala编程语言：多范式的编程语言（支持多种方法编程：1、面向对象  2、函数式编程）
（2）SPark Core：内核，相当于MapReduce
				最重要的概念：RDD（弹性分布式数据集）
（3）Spark SQL：类似Hive，支持SQL语句
（4）Spark Streaming：处理流式计算的模块，类似Storm