0
点赞
收藏
分享

微信扫一扫

hadoop学习-HDFS的详细概述

unadlib 2022-11-18 阅读 120


namenode

datanode

secondarynamenode

讲解HDFS主要研究这三个东西

hadoop客户端的操作就是使用代码去实现上传和下载。

hadoop学习-HDFS的详细概述_hdfs


hadoop学习-HDFS的详细概述_数据_02


hadoop学习-HDFS的详细概述_hdfs_03


一个文件的元数据信息大概是180字节左右。(不管文件多大)

hadoop怕小文件

存储的时候怕,计算分析的时候也怕。

namenode维护的元数据全部在内存中。

对文件的修改最多只支持追加数据。

Hbase对hdfs提高了改操作。

hadoop学习-HDFS的详细概述_数据_04


client一定是先和namenode进行交互,再和datanode交互

读文件或者写文件必须先通过namenode才OK

hadoop学习-HDFS的详细概述_hdfs_05

hadoop学习-HDFS的详细概述_hdfs_06


hadoop学习-HDFS的详细概述_数据_07


2nn并不是nn的备份。2nn的数据肯定没有nn的数据这么全

当nn挂掉的时候,2nn并不能替换nn,只能干着急。紧急情况是:复制2nn的数据给到nn

hadoop学习-HDFS的详细概述_hdfs_08


客户端:准确的说,他不是hdfs的架构一部分。他就算是一个hadoop提供给我们操作hdfs的入口。

hadoop学习-HDFS的详细概述_数据_09


hadoop学习-HDFS的详细概述_数据_10


hadoop学习-HDFS的详细概述_数据_11


128只是切块的一个单位,衡量是否需要切块的标准。实际文件多大,存到hdfs就是多大。

删除hdfs中的文件

hadoop fs -rm -R /user/atguigu/output

hadoop学习-HDFS的详细概述_hdfs_12


hadoop学习-HDFS的详细概述_hadoop_13


hadoop fs -rm -R /tmp

hadoop学习-HDFS的详细概述_数据_14


打开真实的存储数据的那个文件(内容=wc.input)

目录:

/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1418454027-192.168.1.102-1607949404504/current/finalized/subdir0/subdir0

hadoop学习-HDFS的详细概述_hdfs_15


不管是内容还是大小都完全相同

hadoop学习-HDFS的详细概述_数据_16


hadoop学习-HDFS的详细概述_hadoop_17


hadoop学习-HDFS的详细概述_hdfs_18


hadoop学习-HDFS的详细概述_数据_19


hadoop学习-HDFS的详细概述_hadoop_20


hadoop学习-HDFS的详细概述_数据_21


将jdk的压缩包传到hdfs的根目录。

hadoop学习-HDFS的详细概述_hdfs_22


hadoop学习-HDFS的详细概述_hdfs_23


hadoop学习-HDFS的详细概述_hdfs_24


hadoop学习-HDFS的详细概述_hadoop_25


hadoop学习-HDFS的详细概述_hdfs_26


hadoop学习-HDFS的详细概述_数据_27


从磁盘上去看:

hadoop学习-HDFS的详细概述_数据_28


hadoop学习-HDFS的详细概述_hdfs_29


hadoop学习-HDFS的详细概述_数据_30


hadoop学习-HDFS的详细概述_hadoop_31


举报

相关推荐

0 条评论