0
点赞
收藏
分享

微信扫一扫

Hadoop之HDFS——【模块一】元数据架构

纽二 03-05 12:30 阅读 5

一、元数据是什么

在HDFS中,元数据主要指的是文件相关的元数据,通过两种形式来进行管理维护,第一种是内存,维护集群数据的最新信息,第二种是磁盘,对内存中的信息进行维护与持久化,由namenode管理维护。从广义的角度来说,因为namenode还需要管理众多的DataNode结点,因此DataNode的位置和健康状态信息也属于元数据。

二、文件的组成

meta:文件的索引,文件和目录是文件系统的基本元素,HDFS将这些元素抽象成INode,每一个文件或目录都对应一个唯一的INode。

block:真实的数据存储的位置,Block是对于文件内容组织而言的,按照固定大小,顺序对文件进行划分并编号,划分好的每一个块就称之为一个Block。

三、namenode的功能

1、管理HDFS命名空间(文件目录树及其目录与文件的元数据),并以fsimage进行持久化保存。

2、处理客户端的访问,并将修改动作记录到edits文件中。

3、在内存中维护数据块的映射信息,即块文件与datanode的对应关系,namenode只在内存中维护此关系,不会永久化到磁盘上,因此在集群刚启动是,namenode中并没有块文件与datanode的对应关系,需要datanode上报自身的块文件信息后,才可以正常工作。

4、实施副本冗余策略,当实际副本数小于配置数时,会启动复制块的线程,直到个数达配置数。

四、namenode的启动过程

  1. 加载预先生成的持久化文件fsimage。
  2. 加载没有完成处理的edit log文件。
  3. 等待DataNode注册和汇报其所包含的block数据,校验meta信息和block数据是否一致。

五、datanode的全量上报过程

  • DataNode启动后通过RPC方式向NameNode注册,注册时携带的信息有:Software Version(当前DataNode版本号) storageInfo(集群信息)DataNodeId(节点自身信息)
  • 全量上报当前DataNode所有的block块信息,包括block ID、所属文件、存储位置等,目的分别是使用NameNode维护集群数据,与meta进行校验。
  1. 维护集群数据:NameNode需要知道集群中每个DataNode上存储了哪些block块以及其所属的文件信息,以便在需要时能够有效地管理和调度这些数据块。DataNode会周期性地向NameNode报告自己所存储的所有block块的信息,包括block ID、所属文件、存储位置等。

  2. 校验meta:在Hadoop集群中,为了确保数据的一致性和完整性,通常会使用Checksum来对数据进行校验。当DataNode上报block块信息时,NameNode会使用这些信息来验证各个DataNode上的block块是否完整、准确,并且与元数据中记录的信息一致。这样可以确保数据在集群中的可靠性。

  3. 例如,当一个DataNode上报block块信息给NameNode时,NameNode会检查这些信息,确保每个block块的ID、所属文件、复本数量等信息都是正确的。同时,NameNode也会对这些block块所在的DataNode进行通信,验证每个block块的Checksum值,以确保数据的完整性和一致性,Checksum是存储在DataNode的块信息中的,与数据一起存储。全量上报的时候,通过RPC一次性将所有的block发送给namenode比较浪费资源,采用限制分批次的方式,一次只能处理100w的block。
  • NameNode收到后,向元数据中记录
  • DataNode每周期上报块信息(默认6小时,可配置)
  • 心跳检测,三秒一次
  • DataNode超过10分钟+30秒没有上报心跳,则NameNode将该节点移出认为该节点不可用

六、FSNamesystem的主要功能

  1. 命名空间管理: FSNamesystem负责维护HDFS的命名空间,包括文件和目录的创建、删除、重命名等操作,以及管理命名空间中的元数据信息。FSDirectory

  2. 数据块管理: FSNamesystem负责管理HDFS中数据块的分配、复制、移动和删除等操作,确保数据块的可靠性和高可用性。BlockManager(维护集群中的数据块信息和数据块状态)

  3. 安全性管理: FSNamesystem负责对HDFS中的文件和目录进行权限控制,验证用户对文件系统的访问权限,并确保数据的安全性。

  4. 故障处理: FSNamesystem能够检测和处理DataNode的故障,及时调整数据块的复制策略,以保证数据的可靠性和完整性。

  5. 元数据持久化:</

举报

相关推荐

0 条评论