整個大數(shù)據(jù)處理的體系，按我的理解可以分為兩個部分，一個是分布式存儲系統(tǒng)、另一個是分布式計算框架。分布式存儲系統(tǒng)主流是HadoopDFS，其他還有Ceph和Swift。分布式計算框架主流是MapReduce，Storm和Spark。

首先說分布式存儲系統(tǒng)HadoopDFS。它是一種本地文件系統(tǒng)之上的更高的抽象，把跨節(jié)點的組成的文件系統(tǒng)看成一個邏輯上的整體。它存儲的思路是，把文件分成一個個block，每個block都有一定量的副本存儲在不同的節(jié)點上，默認數(shù)量是3個，這保證了分布式存儲的數(shù)據(jù)的穩(wěn)定性。

HDFS的架構有NameNode、SecondaryNameNode、DataNode。NameNode節(jié)點主要負責客戶端傳來的讀寫請求，保存文件的metadata。SecondaryNameNode負責幫助NameNode合并editlog。DataNode負責儲存Block，向NameNode匯報block信息、發(fā)送heartbeat。

HDFS寫入文件的時候：客戶端通過RPC向NN調(diào)用create（）方法，NN檢查文件是否存在，不存在并且有權限的話就會創(chuàng)建一個新文件，向客戶端返回一個FSDataOutputStream，用于寫數(shù)據(jù)。

HDFS讀文件的時候，客戶端通過RPC向NN調(diào)用open（）方法，NN獲得每個數(shù)據(jù)塊的位置信息，返回客戶端FSDataInputstream，客戶端調(diào)用其read（）方法讀取數(shù)據(jù)塊。

分布式計算框架中最流行的是MapReduce。它把并行計算、容錯等細節(jié)問題封裝到庫里，程序員只需要編寫map和reduce函數(shù)就可以了。這種模型的靈感來自函數(shù)式編程中的map和reduce原語。Map函數(shù)接受KV值，輸出KV值，reduce函數(shù)接收KEY和相同key構成的value的集合的迭代器，再輸出KV值。

整個執(zhí)行過程是：用戶提交job給調(diào)度系統(tǒng)，每個job包含一系列task，調(diào)度系統(tǒng)將這些任務調(diào)度到集群中多臺可用的機器上。

開始執(zhí)行后，數(shù)據(jù)被分割成M個數(shù)據(jù)片段集合，再調(diào)用map函數(shù)，之后被分區(qū)函數(shù)將結果分成R個不同分區(qū)，之后執(zhí)行Reduce函數(shù)。具體就是：

輸入文件分成M個數(shù)據(jù)片段，每個片段大小是HDFS的blocksize，程序副本也被創(chuàng)建到集群中。

這些程序的副本有一個master，master負責分配任務給其他空閑的worker。

分配了map任務的worker程序讀取數(shù)據(jù)片段，解析成KV對，然后傳遞給自定義的map函數(shù)，再解析出中間KV對，緩存在內(nèi)存中。

分區(qū)函數(shù)把內(nèi)存中的KV對分成R個區(qū)域，周期性寫入文件系統(tǒng)，緩存的KV對在本地磁盤位置傳給master，master再把位置傳給reduceworker。

reduceworker收到位置信息，通過RPC從mapworker所在主機磁盤讀取緩存數(shù)據(jù)。讀取后，通過對key排序使得具有相同key的數(shù)據(jù)聚合在一起，

排序過后，每個key對應的value集合傳給自定義reduce函數(shù)，處理之后，結果追加到所屬分區(qū)的輸出文件中。

map和reduce任務都完成后，master喚醒用戶程序，返回結果。

Spark這個計算框架的兩個優(yōu)勢是內(nèi)存計算和DAG。它的五大特性：

? ? ? ? ?RDD都是由partition組成的

? ? ? ? ?每個split都會有相同的計算函數(shù)

? ? ? ? ?有一系列的依賴關系

? ? ? ? ?對鍵值對類型的RDD可以為他分區(qū)，但我暫時沒用過

? ? ? ? ?移動計算，而不移動數(shù)據(jù)。他會把計算發(fā)到相應數(shù)據(jù)集所在節(jié)點。

整個spark的核心就是RDD，一個RDD中的數(shù)據(jù)可以做partition分區(qū)，對于RDD的操作也只有transformation和action兩種。

一個Spark作業(yè)就是對RDD的一系列操作（transformation和一個action）。作業(yè)又可以分為多個stage，stage的劃分又出現(xiàn)了寬依賴和窄依賴的概念。窄依賴就是父RDD的每個分區(qū)最多被一個子RDD的分區(qū)所用，寬依賴就是子RDD的每個分區(qū)依賴于父RDD的多個分區(qū)或所有分區(qū)。當一個作業(yè)的lineage過長，可以用到緩存管理，persis或者cache一下，加快整個處理速度。