系統(tǒng)規(guī)劃與管理師綜合知識真題考點：大數(shù)據(jù)關(guān)鍵技術(shù)

大數(shù)據(jù)關(guān)鍵技術(shù)主要包括：數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)管理、數(shù)據(jù)分析與挖掘

數(shù)據(jù)采集：主要使用的技術(shù)是數(shù)據(jù)抽取工具ETL

數(shù)據(jù)存儲：主要有結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)的存儲與訪問

大數(shù)據(jù)管理：主要使用分布式并行處理技術(shù)，比較常用的有MapReduce

數(shù)據(jù)分析與挖掘：根據(jù)業(yè)務(wù)需求對大數(shù)據(jù)進行關(guān)聯(lián)、聚類、分類等鉆取和分析，并利用圖形、表格加以展示

HDFS(Hadoop分布式文件系統(tǒng))：分布式計算框架，提供存儲與傳輸海量數(shù)據(jù)，優(yōu)點是可以在任何機器上運行，廉價，缺點是不適合太多的磁盤小文件

Hbase(分布式列存數(shù)據(jù)庫)：一個分布式的、面向列的開源數(shù)據(jù)庫，利用HBase技術(shù)可在廉價PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。

MapReduce(分布式計算框架)：是一種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運算，由map端和reduce端組成，鍵值對的形式

Chukwa：一個開源的用于監(jiān)控大型分布式系統(tǒng)的數(shù)據(jù)收集系統(tǒng)。

詳見《系統(tǒng)規(guī)劃與管理師教程》(2017年審定通過版)55-56頁

大數(shù)據(jù)關(guān)鍵技術(shù)考點思維導(dǎo)圖

大數(shù)據(jù)關(guān)鍵技術(shù)考點相關(guān)真題

相關(guān)閱讀：系統(tǒng)規(guī)劃與管理師《綜合知識》真題考點匯總