0
点赞
收藏
分享

微信扫一扫

介绍下Hadoop

芒果六斤半 2022-03-30 阅读 70

1、先说下Hadoop是什么

Hadoop是一个分布式系统基础架构,主要是为了解决海量数据的存储<和海量数据的分析计算问题。

2、说下Hadoop核心组件

Hadoop自诞生以来,主要有Hadoop 1.x、2.x、3.x三个系列多个版本;
Hadoop 1.x组成:HDFS(具有高可靠性、高吞吐量的分布式文件系统,用于数据存储),MapReduce(同时处理业务逻辑运算和资源的调度),Common(辅助工具,为其它Hadoop模块提供基础设施);

Hadoop 2.x和Hadoop 3.x组成上无变化,和Hadoop 1.x相比,增加了YARN,分担了MapReduce的工作,组件包括:HDFS(具有高可靠性、高吞吐量的分布式文件系统,用于数据存储),MapReduce(处理业务逻辑运算),YARN(负责作业调度与集群资源管理),Common(辅助工具,为其它Hadoop模块提供基础设施)。

这里也可以先说各个系列的Hadoop组成,然后再说下HDFS、MapReduce、YARN和Common的作用(见“Hadoop主要分哪几个部分?他们有什么作用?”)。

举报

相关推荐

0 条评论