1 引言

大數(shù)據處理系統(tǒng)始終是分析大數(shù)據的基礎，因為大數(shù)據本身具有信息量繁多冗雜、擴展速度極快、信息多樣性且價值密度高等特點，所以要求大數(shù)據處理系統(tǒng)具有極強的專業(yè)性和高效性，能夠合理并有效的處理大規(guī)模的數(shù)據并形成可用的數(shù)據體系[1-3]。目前較為典型的大數(shù)據處理系統(tǒng)有三種。分別為大數(shù)據實時流式處理系統(tǒng)、離線批量處理系統(tǒng)、交互式處理系統(tǒng)以及大數(shù)據可視化處理系統(tǒng)，本文將依次介紹這三種大數(shù)據處理系統(tǒng)的概念及其特點并分析其應用場景。

2 實時流式處理系統(tǒng)及應用場景

（1）流式大數(shù)據概念及其特點。流式大數(shù)據又被稱為實時大數(shù)據，流式處理系統(tǒng)是以分析實時數(shù)據為基礎，是基于實時數(shù)據流的數(shù)據處理，一般處理時間是在數(shù)百毫秒到數(shù)秒之間。

（2）大數(shù)據實時處理系統(tǒng)的技術架構。根據大數(shù)據實時流式處理的特點可以總結出，這種數(shù)據處理系統(tǒng)其實就是數(shù)據的收集、傳輸、處理和展現(xiàn)的過程。其中數(shù)據的處理中涉及數(shù)據的聚合，而且整個過程需要能夠在秒級或毫秒級得到相應的響應。目前針對這一系列特點形成了 Flume + kafka + Storm / Spark + Hbase / Redis 的技術框架。

（3）大數(shù)據實時流式處理系統(tǒng)的應用場景。流式大數(shù)據實時處理系統(tǒng)主要廣泛應用于金融、公安、電信、交通等領域，在金融行業(yè)，流式大數(shù)據實時處理系統(tǒng)在金融風控反欺詐方面發(fā)揮著重要作用，能夠搜集融合眾多專家知識以及機器研究結果的數(shù)百條規(guī)則，作為對每筆交易的風險評估依據，判斷該筆交易是否能夠安全進行。

3 離線處理系統(tǒng)及應用場景

（1）大數(shù)據離線處理系統(tǒng)概念及其特點。根據數(shù)據分析的時效性，我們可以把大數(shù)據分析處理系統(tǒng)分為實時處理和離線處理兩種類型。

（2）大數(shù)據離線處理處理系統(tǒng)的常用工具。相對于在線處理系統(tǒng)所呈現(xiàn)的技術架構，大數(shù)據離線處理系統(tǒng)已經相對成熟，大數(shù)據離線處理的流程通常是利用 Hdfs 存儲數(shù)據，確保數(shù)據有效存儲之后，再利用 MapReduce 進行離線數(shù)據的批量運算，批量計算所得出的數(shù)據如果需要進入數(shù)據倉庫進行存儲，可以直接接入 Hive，用過 Hive 進行展示。① Hdfs 是一種分布式的文件系統(tǒng)，可以對數(shù)據進行多次備份。② MapReduce 是一種批量計算技術框架，同樣是分布式布局，分為兩個階段：Map 階段和 Reduce 階段。③ Hive 中的數(shù)據存儲于文件系統(tǒng)中，并且大部分數(shù)據是使用 Hdfs 來存儲的。Hive 為方便訪問數(shù)據倉庫中的數(shù)據提供了一種方法，HQL 方法，該方法能夠滿足大數(shù)據離線處理中需要對批量處理的數(shù)據結果進行查詢的要求。

（3）大數(shù)據離線處理系統(tǒng)目前較常見的應用場景是，大數(shù)據團隊通過統(tǒng)一計算引擎入口，降低用戶接入門檻。充分利用集群本身數(shù)據，有效促進集群本身的建設，加強對隊列、任務及主機失敗率的監(jiān)控，使用戶能夠自主分析任務性能并進行自主調整。

4 交互可視化處理系統(tǒng)及應用場景

（1）大數(shù)據交互可視化處理的概念及其特點。大數(shù)據交互可視化處理是將大數(shù)據形象化，可視化也就是將數(shù)據呈現(xiàn)出可視效果。大數(shù)據交互可視化處理具有兩個特點：首先表現(xiàn)方式多樣化，包括圖形、地圖、故事情節(jié)圖、結構化插圖等。其次是適用范圍廣泛，具有領域創(chuàng)新性，隨著大數(shù)據的發(fā)展，傳統(tǒng)的數(shù)據表現(xiàn)形式已經不能滿足需要，就要求對數(shù)據進行可視化處理。

（2）大數(shù)據交互可視化處理的主要手段。① D3 經常出現(xiàn)在表格插件中，是目前最受歡迎的可視化庫之一。D3 可以將數(shù)據綁定到 DOM 并將其驅動轉移應用到 Document 之中。同時 D3 是繪制交互桑葚圖的一種非常簡單的工具，桑葚圖也就是桑葚能量分流圖，它作為一種類型獨特的流程圖，一般多用于能源、金融等大數(shù)據的可視化分析。另外，D3 也可以作為對 Sunburst Partition 的可視化工具，主要用來描述用戶群體的路徑點擊狀況。② ECharts 即商業(yè)級數(shù)據圖表，可以在 PC 端和移動設備上流暢運行的純 Javascript 圖表庫，為我們提供生動形象，可交互，可個性定制的大數(shù)據可視化圖表，能夠高效增強用戶體驗效果。③ R 語言是目前功能比較強大的大數(shù)據可視化解決路徑，R 語言基本可以獨立自主地完成數(shù)據處理、可視化分析、建模以及模型分析等工作，同時可以作為配合完成與其他工具的數(shù)據交互。

除此之外，R 語言能夠完成頂尖的制圖工作，不僅可以完成lattcie 包、ggplot2 包的復雜數(shù)據可視化，還可以完成rCharts 包、recharts 包、plotly 包的數(shù)據交互可視化。

（3）大數(shù)據交互可視化處理的應用場景。大數(shù)據作為一個新的研究領域在近幾年受到越來越多的關注，大數(shù)據可視化也正成為一大熱點。以下將介紹三種大數(shù)據交互可視化較典型的應用場景。

第一是應用于社會關系的可視化，隨著移動互聯(lián)網的不斷發(fā)展，互聯(lián)網社會網絡數(shù)據已成為十分重要的數(shù)據資源，社會網絡分析就是利用這些數(shù)據資源分析各種網絡現(xiàn)象。另外，用戶社交性設計在最近幾年的移動端網游中也受到越來越多的關注和重視，用戶社交型設計就需要以數(shù)據交互可視化為基礎，從而建立并美化游戲模式，增強用戶游戲體驗。

第二個應用場景是地理信息的可視化。例如百度遷移圖，就是基于大數(shù)據可視化的地理信息可視化的典型例子，可以通過分析處理動態(tài)數(shù)據，將數(shù)據進行動態(tài)連線處理，從而形成流向圖，一目了然。除此之外也可以利用 Remap 實現(xiàn)天氣預報的功能，也可以實現(xiàn)會議在地圖上的可視化，如中國 2015 年 R 語言會議在各個城市舉行情況的可視化展示。近幾年較為流行的另外一種地理信息可視化方式是城市熱力圖，圖示以不同深淺的顏色來表示各個地區(qū)的實際數(shù)據。

第三是美國大選的大數(shù)據可視化，在美國大選期間，美國媒體產出大量選舉相關的數(shù)據報道，通過對這些大數(shù)據的可視化，選民可以清晰了解選舉動態(tài)。通過以上幾種大數(shù)據可視化的典型例子，我們可以看出，大數(shù)據可視化是一個具有多種可能，且并不難以實現(xiàn)的大數(shù)據處理系統(tǒng)，而且具有極大的發(fā)展空間。

5 結語

大數(shù)據處理系統(tǒng)會隨著大數(shù)據研究的深入以及數(shù)據處理技術的發(fā)展而更加多元更加完善，也將會在更多行業(yè)或領域中被實際應用。大數(shù)據已經深入到我們生活的方方面面，如何能夠更有效更充分挖掘大數(shù)據中的價值仍需要不斷地研究和探索。