0
点赞
收藏
分享

微信扫一扫

大数据之-Hadoop3.x_Yarn_资源调度器介绍说明---大数据之hadoop3.x工作笔记0140

mjjackey 2022-01-04 阅读 56


然后我们再来看一下yarn这个资源调度器怎么去用,

yarn是个资源调度器,不光是在hadoop集群中有应用,在我们将来学的

spark,flink等中也有应用.

首先了解一下,yarn基础架构,yarn的工资机制,

MapReduce,和hdfs,yarn是怎么协调工资的,然后

再去了解调度器和调度算法

然后再了解yarn在生产环境下需要配置哪些参数,

然后再学习命令行怎么操作yarn

 

然后再去看如何操作yarn,

生产环境下怎么配置参数

第4点,yarn的tool接口,就是来协调,比如我们MapReduce程序的输入,

输出,args[0],args[1],这个输入输出参数,原来我们是写死的,但实际应用中不可能写死,

这个怎么配置,交给yarn来调度,需要用到tool接口.

技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】:170933152 
CSDN账号:脑瓜凉
开通了个人技术微信公众号:脑瓜凉 有需要的朋友可以添加相互学习
 

举报

相关推荐

0 条评论