0
点赞
收藏
分享

微信扫一扫

hadoop学习从配置yarn到测试hdfs和测试yarn


启动yarn,先看看集群的规划

hadoop学习从配置yarn到测试hdfs和测试yarn_mapreduce


hadoop学习从配置yarn到测试hdfs和测试yarn_hdfs_02

先启动yarn的老大,ResourceManager

之后再启动nodemanager

hadoop学习从配置yarn到测试hdfs和测试yarn_mapreduce_03


hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_04


hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_05

hadoop学习从配置yarn到测试hdfs和测试yarn_mapreduce_06


成功启动了yarn

hadoop学习从配置yarn到测试hdfs和测试yarn_mapreduce_07


hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_08


hadoop学习从配置yarn到测试hdfs和测试yarn_mapreduce_09


hadoop学习从配置yarn到测试hdfs和测试yarn_mapreduce_10


hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_11


hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_12


hadoop学习从配置yarn到测试hdfs和测试yarn_hdfs_13


hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_14


hadoop学习从配置yarn到测试hdfs和测试yarn_hdfs_15


hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_16


我们现在想去看看hdfs实际存储的数据到底放在了哪里?

hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_17


hadoop学习从配置yarn到测试hdfs和测试yarn_mapreduce_18


数据的全路径:

/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1418454027-192.168.1.102-1607949404504/current/finalized/subdir0/subdir0

我们在103 104机器上都去这个目录里面查看这个文件,发现都有,而且一摸一样。

hadoop学习从配置yarn到测试hdfs和测试yarn_mapreduce_19


hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_20


hadoop学习从配置yarn到测试hdfs和测试yarn_hdfs_21


因为hadoop默认副本数(replication)=3

这个za

hadoop学习从配置yarn到测试hdfs和测试yarn_mapreduce_22


hadoop学习从配置yarn到测试hdfs和测试yarn_hdfs_23


hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_24


hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_25

存到hdfs后叫做blk_1073741861

之前叫做wc.input

这是因为hdfs自己存储数据有自己的一套方案。

如果副本数设置成了2,但实际上有三台机器,那么每次执行上传的时候,副本会随机在三台中选择两台。

测试yarn

当前目录:

/opt/module/hadoop-3.1.3

hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_26


hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_27


hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/atguigu/input /user/atguigu/output

hadoop学习从配置yarn到测试hdfs和测试yarn_mapreduce_28


hadoop学习从配置yarn到测试hdfs和测试yarn_hdfs_29


hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_30

去浏览器查看

hadoop学习从配置yarn到测试hdfs和测试yarn_mapreduce_31


hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_32


hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_33


hadoop学习从配置yarn到测试hdfs和测试yarn_mapreduce_34


hadoop学习从配置yarn到测试hdfs和测试yarn_hdfs_35


我们也可以去linux看文件内容

hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_36


hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_37


hadoop学习从配置yarn到测试hdfs和测试yarn_hadoop_38


这就是测试yarn!


举报

相关推荐

0 条评论