0
点赞
收藏
分享

微信扫一扫

分布式通用计算——MapReduce(重点在shuffle 阶段)

暮晨夜雪 2024-12-03 阅读 11

1、Mapreduce 起源

在这里插入图片描述
在这里插入图片描述

2、适用场景

在这里插入图片描述

3、MapReduce 词频统计原理

  • map 阶段到reduce阶段,通过hash取模来实现reduce 。比如:有4个reduce块,通过将map<key,value>中的key转换为数值,除以4.取模进行归类。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

举报

相关推荐

0 条评论