系統(tǒng)集成項目管理工程師高頻考點：大數(shù)據(jù)關(guān)鍵技術(shù)

[詳細內(nèi)容可查看《系統(tǒng)集成項目管理工程師教程》(第3版)第81-82頁]

★考察次數(shù)：5次

★統(tǒng)計年份：2016年下至2023年上

★相關(guān)真題：2016年下半年、2017年上半年、2017年下半年、2018年上半年、2018年下半年、2019年下半年

★溫馨提示：第三版教材該知識點跟前版教材變化很大，所以以往的真題不需要做

▼考點內(nèi)容：

大數(shù)據(jù)技術(shù)架構(gòu)主要包含：大數(shù)據(jù)獲取技術(shù)、分布式數(shù)據(jù)處理技術(shù)、大數(shù)據(jù)管理技術(shù)、大數(shù)據(jù)應(yīng)用和服務(wù)技術(shù)。

1、大數(shù)據(jù)獲取技術(shù)

大數(shù)據(jù)獲取的研究主要集中在：數(shù)據(jù)采集、整合和清洗三個方面。

對于網(wǎng)絡(luò)流量的采集可以使用DPI或DFI等帶寬管理技術(shù)進行處理。

2、分布式數(shù)據(jù)處理技術(shù)

其核心是將任務(wù)分解成許多小的部分，分配給多臺計算機進行處理，通過并行工作的機制，達到節(jié)約整體計算時間，提高計算效率的目的。

目前，主流的分布式計算系統(tǒng)有：Hadoop、Spark和Storm。

Hadoop常用于離線的、復(fù)雜的大數(shù)據(jù)處理

Spark常用于離線的、快速的大數(shù)據(jù)處理

Storm常用于在線的、實時的大數(shù)據(jù)處理。

3、大數(shù)據(jù)管理技術(shù)

大數(shù)據(jù)管理技術(shù)主要集中在大數(shù)據(jù)存儲、大數(shù)據(jù)協(xié)同和安全隱私等方面。

大數(shù)據(jù)存儲技術(shù)主要有三個方面：

①采用MPP架構(gòu)的新型數(shù)據(jù)庫集群，通過列存儲、粗粒度索引等多項大數(shù)據(jù)處理技術(shù)和高效的分布式計算模式，實現(xiàn)大數(shù)據(jù)存儲。

②圍繞Hadoop衍生出相關(guān)的大數(shù)據(jù)技術(shù)，應(yīng)對傳統(tǒng)關(guān)系型數(shù)據(jù)庫較難處理的數(shù)據(jù)和場景，通過擴展和封裝Hadoop來實現(xiàn)對大數(shù)據(jù)存儲、分析的支撐

③基于集成的服務(wù)器、存儲設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)，實現(xiàn)具有良好的穩(wěn)定性、擴展性的大數(shù)據(jù)一體機。

4、大數(shù)據(jù)應(yīng)用和服務(wù)技術(shù)

大數(shù)據(jù)應(yīng)用和服務(wù)技術(shù)主要包含：分析應(yīng)用技術(shù)和可視化技術(shù)。

大數(shù)據(jù)分析應(yīng)用主要是面向業(yè)務(wù)的分析應(yīng)用。大數(shù)據(jù)分析應(yīng)用技術(shù)以業(yè)務(wù)需求為驅(qū)動。

可視化通過交互式視覺表現(xiàn)的方式來幫助人們探索和理解復(fù)雜的數(shù)據(jù)。大數(shù)據(jù)的可視化技術(shù)主要集中在文本可視化技術(shù)、網(wǎng)絡(luò)(圖)可視化技術(shù)、時空數(shù)據(jù)可視化技術(shù)、多維數(shù)據(jù)可視 化和交互可視化等。