0
点赞
收藏
分享

微信扫一扫

复习Hadoop之HDFS

河南妞 2022-02-16 阅读 70

HDFS是什么

hdfs是一个分布式文件系统

使用场景

一次写入多次读取,不支持文件的修改

优缺点

  1. 优点
    • 高容错:副本存储策略
    • 适合处理大数据(数据量和文件量)
    • 成本低:可构建在廉价机器上
  2. 缺点
    • 不适合存储大量小文件
    • 不支持修改只能追加
    • 不适合低延迟数据访问

组成架构

  1. NameNode:相当于一本书的目录
    • 处理客户端读写请求
    • 管理数据块的映射信息
    • 管理HDFS的命名空间
    • 配置副本策略
  2. DataNode:
    • 执行读写操作
  3. SecondaryNameNode:
    • 辅助NameNode,定期合并镜像文件和日志文件
    • 可帮助恢复NameNode
  4. Client:
    • 文件切分
    • 和NameNode、DataNode交互
    • 提供命令管理、访问HDFS

文件块大小

  1. Hadoop2.x以后默认是128M
  2. HDFS的块大小不能太大也不能太小,如果太大磁盘的传输时间就会太大,如果太小寻址时间又会很多
  3. 文件块大小主要取决于磁盘的传输速率

HDFS的Shell操作及常见命令

HDFS的Shell操作及常见命令

读写数据流以及机架感知(副本存储节点选择)

读写数据流以及机架感知(副本存储节点选择)

举报

相关推荐

0 条评论