启动yarn,先看看集群的规划
先启动yarn的老大,ResourceManager
之后再启动nodemanager
成功启动了yarn
我们现在想去看看hdfs实际存储的数据到底放在了哪里?
数据的全路径:
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1418454027-192.168.1.102-1607949404504/current/finalized/subdir0/subdir0
我们在103 104机器上都去这个目录里面查看这个文件,发现都有,而且一摸一样。
因为hadoop默认副本数(replication)=3
这个za
存到hdfs后叫做blk_1073741861
之前叫做wc.input
这是因为hdfs自己存储数据有自己的一套方案。
如果副本数设置成了2,但实际上有三台机器,那么每次执行上传的时候,副本会随机在三台中选择两台。
测试yarn
当前目录:
/opt/module/hadoop-3.1.3
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/atguigu/input /user/atguigu/output
去浏览器查看
我们也可以去linux看文件内容
这就是测试yarn!