0
点赞
收藏
分享

微信扫一扫

分布式计算

分布式计算:顾名思义,就是以分布式的方法对数据进行统计,得到需要的结果

分为两类:

分散->汇总模式

分布式计算_分布式计算


中心调度->步骤执行模式

分布式计算_资源调度_02


MapReduce

分布式计算框架——MapReduce

分布式计算_分布式计算_03


YARN——分布式资源调度

MapReduce是基于YARN运行的

资源调度

分布式计算_分布式计算_04

分布式计算_分布式计算_05

对服务器上的资源进行划分,对程序执行申请制度,需要多少申请多少

分布式计算_vim_06


YARN架构

YARN也是主从结构,其与HDFS的区别如下图所示

分布式计算_资源调度_07

分布式计算_分布式计算_08

 

YARN容器

分布式计算_分布式计算_09

分布式计算_资源调度_10


TARN辅助角色

分布式计算_vim_11


Web应用代理

分布式计算_vim_12

分布式计算_资源调度_13

开启代理服务器,可以提高YARN在开放网络的安全性,但是不是绝对的安全

分布式计算_分布式计算_14


JobHistorySever历史服务器

分布式计算_vim_15

分布式计算_资源调度_16


部署说明

分布式计算_分布式计算_17


MapReduce是运行在YARN中的,不需要启动独立进程

分布式计算_vim_18


分布式计算_vim_19


集群规划

分布式计算_分布式计算_20


配置环境

vim mapred_env.sh添加如下环境变量

分布式计算_vim_21

后修改 mapred-site.xml文件

分布式计算_资源调度_22

分布式计算_资源调度_23

分布式计算_分布式计算_24

分布式计算_分布式计算_25


集群启动

分布式计算_分布式计算_26

分布式计算_分布式计算_26

分布式计算_资源调度_28


提交MapReduce程序到YARN执行

分布式计算_资源调度_29

分布式计算_分布式计算_30

分布式计算_分布式计算_31

举报

相关推荐

0 条评论