namenode
datanode
secondarynamenode
讲解HDFS主要研究这三个东西
hadoop客户端的操作就是使用代码去实现上传和下载。
一个文件的元数据信息大概是180字节左右。(不管文件多大)
hadoop怕小文件
存储的时候怕,计算分析的时候也怕。
namenode维护的元数据全部在内存中。
对文件的修改最多只支持追加数据。
Hbase对hdfs提高了改操作。
client一定是先和namenode进行交互,再和datanode交互
读文件或者写文件必须先通过namenode才OK
2nn并不是nn的备份。2nn的数据肯定没有nn的数据这么全
当nn挂掉的时候,2nn并不能替换nn,只能干着急。紧急情况是:复制2nn的数据给到nn
客户端:准确的说,他不是hdfs的架构一部分。他就算是一个hadoop提供给我们操作hdfs的入口。
128只是切块的一个单位,衡量是否需要切块的标准。实际文件多大,存到hdfs就是多大。
删除hdfs中的文件
hadoop fs -rm -R /user/atguigu/output
hadoop fs -rm -R /tmp
打开真实的存储数据的那个文件(内容=wc.input)
目录:
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1418454027-192.168.1.102-1607949404504/current/finalized/subdir0/subdir0
不管是内容还是大小都完全相同
将jdk的压缩包传到hdfs的根目录。
从磁盘上去看: