信息系統(tǒng)項目管理師綜合知識真題考點：Hadoop組成

Hadoop概念：

狹義Hadoop：指的是HDFS、YARN、MAPREDUCE三大組件。

廣義Hadoop：指的是hadoop一系列的生態(tài)圈

1、Hadoop Distributed File System (HDFS)：是一個分布式文件系統(tǒng)。HDFS的文件會被分為很多的Block分散存儲在不同機器上。[為海量的數(shù)據(jù)提供了存儲]

(1)NameNode(nn)：存儲文件的元數(shù)據(jù)，如文件名，文件目錄結(jié)構(gòu)，文件屬性(生成時間、副本數(shù)、文件權(quán)限)，以及每個文件的塊列表和塊所在的DataNode等。

(2)DataNode(dn)：在本地文件系統(tǒng)存儲文件塊數(shù)據(jù)，以及塊數(shù)據(jù)的校驗和。

(3)Secondary NameNode(2nn)：每隔一段時間對NameNode元數(shù)據(jù)備份。

2、Yet Another Resource Negotiator(YARN)：是一種通用的資源管理系統(tǒng)和調(diào)度平臺。[另一種資源協(xié)調(diào)者，是Hadoop的資源管理器]

ResourceManager(RM)：整個集群資源(內(nèi)存、CPU等)的管理者

NodeManager(NM)：單個節(jié)點服務器資源的管理者。

ApplicationMaster(AM)：單個任務運行的管理者。

Container：容器，相當于一臺獨立的服務器，里面封裝了任務運行所需要的資源，如內(nèi)存、CPU、磁盤、網(wǎng)絡等。

3、MapReduce：本身就是用于并行處理大數(shù)據(jù)集的軟件框架。將計算過程分為兩個階段：Map 和Reduce。[為海量的數(shù)據(jù)提供了計算]

(1)Map 階段并行處理輸入數(shù)據(jù)

(2)Reduce 階段對Map 結(jié)果進行匯總

考點相關(guān)真題

相關(guān)閱讀：信息系統(tǒng)項目管理師綜合知識真題考點匯總