1 、简介
为实现以上特性,HDFS包含的各个服务模块都是经过精心设计的,HDFS的服务视图如图。
HDFS的服务视图包含三大部分:核心服务、公共服务和拓展服务。
2、 核心服务
- 1)Namenode。HDFS系统采用中心化设计,即Master/Slave架构。这里的Namenode即是Master,主要作用是管理整个文件系统的meta信息并管理Client对文件的访问。一个HDFS集群可以由多个Namenode组成。2)DataNode。DataNode是HDFS中的Slave角色,主要作用是存储从Client写入的数据,并负责处理来自Client的直接读写请求。DataNode还会处理来自Namenode的指令。一个HDFS集群可以部署成百上千个DataNode节点。
- 3)HA(High Availability,高可用)。HDFS提供了高可用机制。在实际使用中,一个集群会部署两个Namenode节点,一个处于Active状态,另一个处于Standby状态。Active Namenode负责集群中的客户端操作。当集群发生故障,Active节点不可用时,HDFS会快速完成状态转移,原先Standby节点会变成Active状态,原先Active节点会变成Standby状态,从而保障集群正常工作。
- 4)Namespace。随着业务访问量的增大,一个Active Namenode在处理所有Client请求时会存在压力,这时需要对该Namenode