0
点赞
收藏
分享

微信扫一扫

MapReduce通俗理解

凯约 2022-04-25 阅读 61
mapreduce

Mapreduce

举个例子,我们要数图书馆中的所有书。你数1号书架,我数2号书架。这就是“Map”。我们人越多,数书就更快。现在我们到一起,把所有人的统计数加在一起。这就是“Reduce”。简单来说,Map就是“分”而Reduce就是“合” 。

job map reduce task

map 输入的键值对会被转换成零到多个键值对输出。

Reducer最终会产生一个键值对

Hadoop会监控每一个task确保其成功完成,并重启一些失败的task

  1. 客户端启动一个job
  2. 向JobTracker请求一个JobID 也是文件夹的名称
  3. 将运行作业所需要的资源文件复制到HDFS上,包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息,输入划分信息告诉JobTracker应该为这个作业启动多少个map任务等信息。
  4. map任务不是随便分配给某个TaskTracker的,Data-Local(数据本地化)将map任务分配给含有该map处理的数据库的TaskTracker,但是分配reducer任务时不考虑数据本地化
  5. TaskTracker每隔一段时间给JobTracker发送一个Heartbeat告诉JobTracker它仍然在运行,心跳还携带很多比如map任务完成度等信息
  6. 当JobTracker收到作业的最后一个任务完成信息时,便把作业设置成“成功”,JobClient再传达信息给用户

Map就是“分”而Reduce就是“合” :(input) ->map-> ->combine-> ->reduce-> (output)

MapReduce 框架只操作键值对

每个map任务可以细分4个阶段:record reader、mapper、combiner和partitioner

demo:
<0,hello you> <10,hello me>
<hello,1><you,1><hello,1><me,1>
<hello,1><hello,1><me,1> <you,1>
<hello,{1,1}><me,{1}><you,{1}>

reduce任务可以分为4个阶段:混排(shuffle)、排序(sort)、reducer和输出格式(output format)

demo:
<hello,2><me,1><you,1>

Combiner和Partitioner是用来优化MapReduce的,可以提高MapReduce的运行效率

在这里插入图片描述

  1. Combiner

    Combiner的好处

    • 能够减少Map-Task输出的数据量(即磁盘IO)

    • 能够减少Reduce-Map网络传输的数据量(网络IO)

    Combiner 的使用场景

    • 并不是所有的场景都可以使用Combiner
    • 适合于Sum()求和 最大 最小等,并不适合Average()求平均数。例如,求0、20、10、25和15的平均数,直接使用Reduce求平均数Average(0,20,10,25,15),得到的结果是14, 如果先使用Combiner分别 对不同Mapper结果求平均数,Average(0,20,10)=10,Average(25,15)=20,再使用Reducer求平均数Average(10,20),得到的结果为15,很明显求平均数并不适合使用Combiner。
  2. Partitioner

    作用

    • Partitioner决定了Map Task 输出的每条数据交给哪个Reduce Task 来处理

    默认实现

    • Partitioner 的默认实现:hash(key) mod R,这里的R代表Reduce Task 的数目,意思就是对key进行hash处理然后取模

参考链接:
https://juejin.cn/post/6890403796938129415
https://www.cnblogs.com/codeOfLife/p/5472713.html

举报

相关推荐

0 条评论