这段时间我们学习了yarn,我们来总结一下
首先yarn的工作机制要很清楚:
1.首先我们说有个yarn的客户端,有个resourcemanager
2.yarn的客户端就是我们说的那个waitforcomplecation,他就会,像resourcemanager,去请求,
3.然后resourcemanager就会返回一个信息,就说,没问题,你把你要执行的内容,放到这个路径把,然后返回了个集群路径
4.然后yarn的客户端也就是我们写的程序,被yarnrunner执行的时候,他就会向给的集群路径,放上xml,切片和jar包,
其中xml,是说这个job要按照这个xml的配置去执行,然后,切片决定了,要开启多少个maptask,然后jar包是执行的任务.
5.然后yarnrunner放完了,文件以后就会给resourcemanager发个请求,就说我文件放好了,然后我要开始请求启动一个
mrappmaster来运行任务了.
6.这个时候resourcemanager收到请求以后会把请求放到队列中去,因为同时会有很多请求,到resourcemanager这里
7.然后等在队列中的这个任务,轮到他运行的时候,就会有个nodemanager获取到这个任务,他一看让他去创建一个mrappmaster,他就去创建个mrappmaster,当然他会先创建一个container,然后再去创建mrappmaster,然后这个mrappmaster,他就会去对应的集群地址获取,相应的文件,然后,再根据切片数量去给resourcem
