问题
单点故障的应对方案:
1.ha
2.多个NN,主备切换
压力过大,内存受限:
1.联邦机制:Federation(元数据分片)
2.多个NN,管理不同的元数据
Hadoop 2.x 只支持一主一备,3.x 才支持多备
Paxos 算法
1. 基于消息传递的一致性算法
2. 该算法覆盖全部场景的一致性
3. 过半通过可以中和一致性和可用性
HA 方案架构图
HA方案:
多台NN主备模式，Active和Standby状态
Active对外提供服务
增加journalnode角色(>3台)，负责同步NN的editlog
最终一致性
增加zkfc角色(与NN同台)，通过zookeeper集群协调NN的主从选举和切换
事件回调机制
DN同时向NNs汇报block清单
hdfs Federation
文件存储平台
