大數(shù)據(jù)及應用
(1)大數(shù)據(jù)存儲管理技術。大數(shù)據(jù)存儲技術首先需要解決的是數(shù)據(jù)海量化和快速增長需求。存儲的硬件架構(gòu)和文件系統(tǒng)的性價比要大大高于傳統(tǒng)技術,存儲容量計劃應可以無限制擴展,且要求有很強的容錯能力和并發(fā)讀寫能力。目前,谷歌文件系統(tǒng)(GFS)和Hadoop的分布式文件系統(tǒng)HDFS奠定了大數(shù)據(jù)存儲技術的基礎。大數(shù)據(jù)存儲技術第二個要解決的是處理格式多樣化的數(shù)據(jù),這要求大數(shù)據(jù)存儲管理系統(tǒng)能夠?qū)Ω鞣N非結(jié)構(gòu)化數(shù)揖;進行高效管理,代表產(chǎn)品如:谷歌BigTable和HadoopHbase等非關系型數(shù)據(jù)庫(NoSQL)。
(2)大數(shù)據(jù)并行分析技術。大數(shù)據(jù)的分析挖掘是數(shù)據(jù)密集型計算,需要巨大的計算能力,對計算單元和存儲單元的數(shù)據(jù)吞吐率要求極高,并要求計算系統(tǒng)有非常好的擴展性和性價比。谷歌的MapReduce是主要的大數(shù)據(jù)分布式并行計算技術之一,而開源的分布式并行計算技術Apache HadoopMapReduce,已經(jīng)成為應用最廣泛的大數(shù)據(jù)計算軟件平臺。
(3)大數(shù)據(jù)分析技術。大數(shù)據(jù)分析技術的發(fā)展需要在兩個方面取得突破,一是對規(guī)模非常龐大的結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)進行高效的深度分析:二是對非結(jié)構(gòu)化數(shù)據(jù)進行分析,將海量復雜多源的語音、圖像和視頻數(shù)據(jù)轉(zhuǎn)化為機器可識別的、具有明確語義的信息,獲取隱性的知識。大數(shù)據(jù)分析的技術路線主要是通過建立人工智能系統(tǒng),使用大量樣本數(shù)據(jù)進行訓練,讓機器模仿人工,獲得從數(shù)據(jù)中提取知識的能力。2006年,科學家根據(jù)人腦認知過程的分層特性,提出增加人工神經(jīng)網(wǎng)絡層數(shù)和神經(jīng)元節(jié)點數(shù)量,加大機器學習的規(guī)模.構(gòu)建深度神經(jīng)網(wǎng)絡,可以提高訓練效果,使得神經(jīng)網(wǎng)絡技術成為機器學習分析技術的熱點,并在語音識別和圖像識別方面取得了很好的效果。
掃碼關注公眾號
溫馨提示:因考試政策、內(nèi)容不斷變化與調(diào)整,信管網(wǎng)網(wǎng)站提供的以上信息僅供參考,如有異議,請以權威部門公布的內(nèi)容為準!
信管網(wǎng)致力于為廣大信管從業(yè)人員、愛好者、大學生提供專業(yè)、高質(zhì)量的課程和服務,解決其考試證書、技能提升和就業(yè)的需求。
信管網(wǎng)軟考課程由信管網(wǎng)依托10年專業(yè)軟考教研傾力打造,官方教材參編作者和資深講師坐鎮(zhèn),通過深研歷年考試出題規(guī)律與考試大綱,深挖核心知識與高頻考點,為學員考試保駕護航。面授、直播&錄播,多種班型靈活學習,滿足不同學員考證需求,降低課程學習難度,使學習效果事半功倍。
相關內(nèi)容