目前，主流的大數(shù)據(jù)平臺包括：Hadoop、Spark。

Hadoop是分布式（根據(jù)網(wǎng)絡(luò)資料理解：分布式與集中式相對應(yīng)，對于大量數(shù)據(jù)計(jì)算，集中于一臺計(jì)算機(jī)中計(jì)算需耗費(fèi)較長時間，通過將計(jì)算分布于多個計(jì)算機(jī)，節(jié)約整體計(jì)算時間）系統(tǒng)基礎(chǔ)架構(gòu)。Hadoop的兩個功能包括：數(shù)據(jù)存儲（HDFS）、數(shù)據(jù)處理（MapReduce）。

Spark是專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用計(jì)算引擎。Spark不提供文件管理系統(tǒng)，沒有數(shù)據(jù)存儲功能；Spark的數(shù)據(jù)計(jì)算基于內(nèi)存實(shí)現(xiàn)，數(shù)據(jù)處理速度快。

一、HDFS（分布式文件存儲）

數(shù)據(jù)通過HDFS放置于一個Hadoop集群中，Hadoop集群通常由幾臺至上千臺的計(jì)算機(jī)組成。根據(jù)課程介紹理解，百度公司最大的Hadoop集群已超過4000臺計(jì)算機(jī)。

數(shù)據(jù)在存儲于HDFS前，被分割成若干數(shù)據(jù)塊，每個數(shù)據(jù)塊儲存于一臺計(jì)算機(jī)中。不同Hadoop版本所分割的數(shù)據(jù)塊大小不同，Hadoop1.0版本中數(shù)據(jù)塊大小為64MB，Hadoop2.0版本中數(shù)據(jù)塊大小為128MB。Hadoop也可以設(shè)置數(shù)據(jù)塊大小（含個人理解）。

圖片來源：學(xué)堂在線《大數(shù)據(jù)導(dǎo)論》

二、MapReduce（分布式數(shù)據(jù)處理架構(gòu)）

MapReduce是分布式計(jì)算框架。開發(fā)人員在運(yùn)用MapReduce處理數(shù)據(jù)時，MapReduce將指定某一Map函數(shù)，將一組鍵值對（根據(jù)網(wǎng)絡(luò)資料理解：鍵值對可以根據(jù)一個值獲得對應(yīng)的一個值）映射成一組新的鍵值對，并指定并發(fā)的Reduce函數(shù)，保證所有Map函數(shù)映射的結(jié)果可以進(jìn)行Reduce規(guī)約（根據(jù)網(wǎng)絡(luò)資料理解：通過某一連接動作將所有元素匯總為一個結(jié)果的過程）運(yùn)算。

圖片來源：學(xué)堂在線《大數(shù)據(jù)導(dǎo)論》

在運(yùn)用MapReduce框架編寫計(jì)算機(jī)程序時，開發(fā)人員只需考慮業(yè)務(wù)邏輯，不需考慮并行管理。

三、MapReduce的WordCount示例

WordCount是統(tǒng)計(jì)文件夾所有文本中某一詞出現(xiàn)的次數(shù)。

其中，WordCount的Map函數(shù)程序代碼如下：

Map(K, V){

For each word w in V

Collect(w,1);

}

WordCount的Map函數(shù)中的K代表文本中的詞，WordCount的Map函數(shù)的功能是將文本中的每個詞與1建立鍵值對，即每個詞對應(yīng)一個“1”。

WordCount的Reduce函數(shù)程序代碼如下：

Reduce(K.V[]){

int count=0;

For each v in V

count+= v;

Collect(K,count);

}

WordCount的Reduce函數(shù)將經(jīng)過WordCount的Map函數(shù)處理的相同詞對應(yīng)的“1”求和，得出某一詞的出現(xiàn)的次數(shù)。

該WordCount示例中，Map和Reduce函數(shù)的具體運(yùn)行如圖一所示：

首先，所有數(shù)據(jù)被整理成單行數(shù)據(jù)，圖一流程圖中具有三個節(jié)點(diǎn)（個人理解：節(jié)點(diǎn)可被認(rèn)為是計(jì)算機(jī)），圖一中的三行數(shù)據(jù)被分行輸入到三個節(jié)點(diǎn)中。

然后，Map函數(shù)運(yùn)行，將每個詞與1建立鍵值對。

Map函數(shù)運(yùn)行結(jié)束后，Shuffle過程運(yùn)行，Shuffle過程是MapReduce內(nèi)設(shè)過程，可將具有相同詞的鍵值對中的“1”集合至一個List（列表）中。如圖一所示，因?yàn)椤癇ear”一詞出現(xiàn)了兩次，所以經(jīng)過Shuffle過程后，“Bear”所對應(yīng)的List為（1,1）。

最后，Reduce函數(shù)運(yùn)行，將Shuffle過程所生成的List求和，完成對某一詞出現(xiàn)的次數(shù)統(tǒng)計(jì)。

圖一，圖片來源：學(xué)堂在線《大數(shù)據(jù)導(dǎo)論》

審核編輯：劉清