0
点赞
收藏
分享

微信扫一扫

Hadoop面试题---Hdfs的文件快大小和什么有关系

玉新行者 2022-02-11 阅读 20

一、Hdfs的文件块大小

1、HDFS 中的文件在物理磁盘上是通过分块存储的,块的大小可以通过参数配置(dfs.blocksize)来决定,在 Hadoop >= 2.x 版本中是 128M,Hadoop1.x是 64M;

二、一个例子

1、 假如磁盘的寻址时间约为 10ms,即查找到目标 Block 的时间为 10ms
2、根据规定,寻址时间为传输时间的 1%时,为最佳状态。因此传输时间= 10ms / 0.1 = 1s
3、若磁盘的传输速率为 100M/s
4、那么块的大小最佳为 100M。
5、以上例子都取的大概值,根据测算,机械硬盘中块的大小最佳为 128M

三、为什么块的大小不能设置的太大?或者太小?

(1)如果块的大小设置过于大,寻址时间很快,但是数据传输的
时间过于慢,导致程序阻塞等待数据传输,造成性能卡点。
(2)如果块的大小设置的太小,那么会极大的增加寻址时
间。eg:比如块太小,有 100W 个文件,这时寻址需要遍历这 
100W 个文件找到对应的文件,就浪费很多时间。
举报

相关推荐

0 条评论