0
点赞
收藏
分享

微信扫一扫

Hadoop分布式文件系统HDFS原理以及操作(二)

鱼满舱 2022-04-21 阅读 63
hadoop

实验案例:完全分布式环境-验证DataNode上存储的文件分块信息

1.将JDK包从本地文件系统上传至HDFS分布式文件系统

(1) 查看本地文件下jdk文件大小189756259

(2)start-dfs.sh启动集群

 (3)

 (4)查看是否上传成功,逻辑上是原文件大小,物理上已经分块

2.进入DataNode存放文件分块的的Block目录,观察目前HDFS集群中2个DataNode上的JDK文件分块信息

2号DataNode:

 两块加起来大小为jdk总大小。。。。

3号DataNode:

 同一个分块分别有两个副本分别在2号和3号机上。放在本地存储上,通过本地路径可以找到。

默认分块的副本数为3,关于创建副本,当客户端写文件到hdfs的时候,先写文件到本地文件,假设设定的hdfs副本数为3,当缓存的文件达到hdfs block size时,客户端从NameNode检索一个DataNode列表,该列表包含将存储该副本的DataNode列表,客户端刷新数据到列表中第一个DataNode,第一个DataNode以4kb为单位接收数据,将数据写到本地,并且传输到列表中第二个DataNode,第二个也做同样操作。一个DataNode可以从上一个数据管道获取数据,并同时将数据发送到下一个数据管道。

举报

相关推荐

0 条评论