JobPlus知识库 IT 大数据 文章
2.0 Hadoop-HDFS高可用原理

–HDFS存在的问题

•NameNode单点故障,难以应用于在线场景

•NameNode压力过大,且内存受限,影响系统扩展性

–解决单点故障

•HDFS HA:通过主备NameNode解决

•如果主NameNode发生故障,则切换到备NameNode上

ZK:zookeeper     一定要是奇数台     --当NNActive挂了之后选举启用哪台NN Standby

ZKFC:zookeeper FailoverController  --FC Standby可作SecondaryNameNode工作

JN: Journal Node  一定要是奇数台      --共享edits

HA工作机制:

–主备NameNode

–解决单点故障

•主NameNode对外提供服务,备NameNode同步主NameNode元数据,以待切换

•所有DataNode同时向两个NameNode汇报数据块信息

–两种切换选择

•手动切换:通过命令实现主备之间的切换,可以用HDFS升级等场合

•自动切换:基于Zookeeper实现

–基于Zookeeper自动切换方案

•Zookeeper Failover Controller:监控NameNode健康状态,

•并向Zookeeper注册NameNode

•NameNode挂掉后,ZKFC为NameNode竞争锁,获得ZKFC 锁

•的NameNode变为active



如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

¥ 打赏支持
82人赞 举报
分享到
用户评价(0)

暂无评价,你也可以发布评价哦:)

扫码APP

扫描使用APP

扫码使用

扫描使用小程序