0
点赞
收藏
分享

微信扫一扫

复习Hadoop之MapReduce

金穗_ec4b 2022-02-14 阅读 68
  1. Mapreduce优缺点
    • 优点:
      • 高容错:某一个计算任务在节点a上执行,这个时候如果节点a挂掉了,可以转移到节点b执行这个任务
      • 易于编程
      • 扩展性好:好多台机器
    • 缺点
      • 实时计算❌
      • 流式计算❌(mapreduce输入的数据是静态的)
      • DAG(有向图计算)❌:每个mapreduce的结果都会落地到磁盘
  2. 执行过程(经典案例wordCountMapReduce的执行流程和编程规范以及简单的WordCount案例
    1. map阶段 (mapTask)
    2. reduce阶段(reduceTask)
  3. 数据块:HDFS物理上把数据分成一块一块
    数据切片:只是逻辑上对数据进行切片,并不会再磁盘上将其切分成片进行存储
举报

相关推荐

0 条评论