Hadoop是一個(gè)分布式計(jì)算框架,啟動Hadoop集群需要啟動以下幾個(gè)進(jìn)程:
NameNode進(jìn)程:負(fù)責(zé)管理整個(gè)分布式文件系統(tǒng)HDFS的元數(shù)據(jù)信息,如文件目錄結(jié)構(gòu)、權(quán)限、文件塊的副本數(shù)量等。
DataNode進(jìn)程:負(fù)責(zé)存儲HDFS中的數(shù)據(jù)塊,并響應(yīng)客戶端的讀寫請求。
ResourceManager進(jìn)程:負(fù)責(zé)管理整個(gè)集群中的資源,包括計(jì)算資源和存儲資源,協(xié)調(diào)和調(diào)度集群中的作業(yè)。
NodeManager進(jìn)程:負(fù)責(zé)管理每個(gè)節(jié)點(diǎn)上的資源,監(jiān)控節(jié)點(diǎn)的健康狀況,并向ResourceManager報(bào)告節(jié)點(diǎn)的資源使用情況。
Secondary NameNode進(jìn)程:定期從NameNode中備份元數(shù)據(jù)信息,用于恢復(fù)NameNode的故障。
除了以上的核心進(jìn)程外,Hadoop集群還可能包括其他一些進(jìn)程,如JobHistoryServer進(jìn)程、TaskTracker進(jìn)程等。