大數(shù)據(jù)涉及的技術(shù)領(lǐng)域

1 研究業(yè)務(wù)的技術(shù)特性要求

大數(shù)據(jù)相關(guān)技術(shù)和資源眾多，先從市場研究的業(yè)務(wù)特點(diǎn)來分析其對技術(shù)性的一些要求：

1. 數(shù)據(jù)規(guī)模而言，因為客戶主要偏傳統(tǒng)企業(yè)客戶（非互聯(lián)網(wǎng)類），受其業(yè)務(wù)限制，可分析的大數(shù)據(jù)規(guī)模不會超過百億/TB級，不像互聯(lián)網(wǎng)企業(yè)達(dá)到千億/PB級。

2. 數(shù)據(jù)格式還是以結(jié)構(gòu)化數(shù)據(jù)為主，部分非結(jié)構(gòu)化文本（如互聯(lián)網(wǎng)/社交方面為主）。

3. 處理模式上，因為分析過程是多次迭代和不斷深入，不需要實(shí)時出結(jié)論，所以離線非實(shí)時、批量化/AdHoc結(jié)合的OLAP分析是主要模式。這個和很多互聯(lián)網(wǎng)企業(yè)的實(shí)時大數(shù)據(jù)業(yè)務(wù)要求不同。

4. 分析的屬性維度多樣，經(jīng)常變化，關(guān)注整體特性。所以對數(shù)據(jù)管理中的多字段檢索和匯總統(tǒng)計的能力要求較高。

基于以上的技術(shù)要求，我們來討論研究業(yè)務(wù)適合的技術(shù)理論與資源。

2主要技術(shù)理論

在整個大數(shù)據(jù)相關(guān)技術(shù)體系中，研究公司大數(shù)據(jù)業(yè)務(wù)涉及的技術(shù)領(lǐng)域主要如下：

分布式計算（Distributed computing）

在大數(shù)據(jù)領(lǐng)域，大部分?jǐn)?shù)據(jù)存儲和高速計算都離不開分布式計算。日常生活中，我們一臺電腦可完成所有計算和數(shù)據(jù)存儲，當(dāng)覺得不夠用時，通常是更換更快的CPU和更大硬盤來解決。但當(dāng)計算速度和存儲要求越來越高時（如大數(shù)據(jù)環(huán)境下對TB甚至PB級數(shù)據(jù)管理計算），這種通過提升單臺服務(wù)器性能的集中模式會導(dǎo)致服務(wù)器（如使用該運(yùn)營商話單計費(fèi)、銀行交易系統(tǒng)的小型機(jī)）成本極為昂貴，且最終可能仍然無法滿足要求。另外一種思路，則是將大的計算需求分?jǐn)偟蕉嗯_計算機(jī)一起來完成（如同一個大卡車的載貨被分到很多臺小卡車來運(yùn)輸一樣）。相應(yīng)的分布式計算（包括存儲）就是通過多臺（成千上萬甚至百萬）廉價、低性能服務(wù)器來實(shí)現(xiàn)超高的計算存儲能力。在分布式計算系統(tǒng)中，任何計算和存儲請求，被自動分為多個小的任務(wù)，分?jǐn)偟礁鞣?wù)器上并行完成。同時，數(shù)據(jù)分布在多個服務(wù)器節(jié)點(diǎn)并有備份，這樣即使部分服務(wù)器損壞并不影響系統(tǒng)運(yùn)行。

相比集中模式，分布式計算成本和門檻更低，易擴(kuò)展并具高可靠性。成為近10年來IT體系架構(gòu)最重要的技術(shù)，支撐起了整個互聯(lián)網(wǎng)的數(shù)據(jù)和業(yè)務(wù)，也是云計算和大數(shù)據(jù)的支撐技術(shù)之一。

機(jī)器學(xué)習(xí)（Machine Learning）

如果說分布式計算是IT體系架構(gòu)的明星，那機(jī)器學(xué)習(xí)就是智能數(shù)據(jù)分析的利器了。作為人工智能的核心研究領(lǐng)域之一，機(jī)器學(xué)習(xí)是為了讓計算機(jī)通過經(jīng)驗（先驗知識數(shù)據(jù)）來模仿人類的學(xué)習(xí)能力，從而獲得計算機(jī)系統(tǒng)能力的提升。上世紀(jì)末，隨著統(tǒng)計學(xué)習(xí)理論出現(xiàn)和發(fā)展，機(jī)器學(xué)習(xí)從IT技術(shù)逐步擴(kuò)展為一種交叉學(xué)科，在很多非IT領(lǐng)域也得到廣泛應(yīng)用。雖然相關(guān)算法在理論上需要較多的知識背景，但不要覺得它是多么高大上，比如研究行業(yè)常用到的決策樹、分類（有監(jiān)督學(xué)習(xí)）和聚類（無監(jiān)督學(xué)習(xí)），實(shí)際都是機(jī)器學(xué)習(xí)的算法子集（其他常用的還有Bayes網(wǎng)絡(luò)、支持向量機(jī)和神經(jīng)元網(wǎng)絡(luò)等）?；谟?xùn)練-建模-分類-優(yōu)化的迭代生成模式，使得機(jī)器學(xué)習(xí)在實(shí)際的分析性能和模型適用性方面，具有較大的優(yōu)勢。近兩年來，基于多層神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)（Deep Learning）理論在一些領(lǐng)域（自然語言、音視頻識別）具有突出的表現(xiàn)，有望進(jìn)一步推動機(jī)器學(xué)習(xí)的深入分析能力。

大數(shù)據(jù)領(lǐng)域，機(jī)器學(xué)習(xí)由于其在數(shù)據(jù)分析方面的先天優(yōu)勢能力，當(dāng)仁不讓的成為相關(guān)數(shù)據(jù)分析的核心技術(shù)。該方面的技術(shù)水平成為當(dāng)前衡量大數(shù)據(jù)分析能力的重要標(biāo)志。

自然語言處理（Natural Language Process）

大數(shù)據(jù)的多種數(shù)據(jù)中，非結(jié)構(gòu)化數(shù)據(jù)日趨龐雜和重要，其代表就是自然語言形式的語義內(nèi)容（搜索、新聞、社交媒體、電商評論等），而對其內(nèi)容的分析（如文本挖掘）離不開自然語言處理技術(shù)。相關(guān)學(xué)術(shù)學(xué)科叫計算語言學(xué)，作為計算機(jī)與語言的交叉學(xué)科，它以統(tǒng)計性、量化的方式來研究語言的規(guī)律。自然語言處理涉及分詞、詞法、句法、語法、語義分析等多個層面，相當(dāng)復(fù)雜。而當(dāng)前商業(yè)性應(yīng)用，中文的主要集中在分詞、詞頻統(tǒng)計、關(guān)鍵特征抽取等淺層分析、情感傾向與主題模型（如LDA/PLSA等）和機(jī)器翻譯等方面。傳統(tǒng)研究業(yè)務(wù)中，也可用于開放題/討論文本的自動分析編碼。實(shí)際上，NLP的應(yīng)用領(lǐng)域應(yīng)該可以更大。舉一個有趣的例子，曹雪芹的《紅樓夢》最后40章常被認(rèn)為是高鶚續(xù)作，但相關(guān)觀點(diǎn)的紅學(xué)家/語言學(xué)家并不能有效證明。借助計算語言學(xué)，可對前80章和后40章的內(nèi)容進(jìn)行分析（包括用詞習(xí)慣、句法、文法等等），可得到兩部分文章在行文風(fēng)格的多種量化指標(biāo)，通過其差異就能判斷是否為不同的作者。計算語言學(xué)的理論基礎(chǔ)感覺近年來進(jìn)展不大，但深度學(xué)習(xí)近來的表現(xiàn)有望幫助其在應(yīng)用性能方面有所提升。

數(shù)據(jù)挖掘（Data Mining）

數(shù)據(jù)挖掘在非大數(shù)據(jù)時代（海量數(shù)據(jù)）就已經(jīng)廣泛使用（如CRM的用戶分析、產(chǎn)品關(guān)聯(lián)分析）。嚴(yán)格的說，其并不算是一種技術(shù)，而是一種分析模式：綜合利用機(jī)器學(xué)習(xí)、數(shù)據(jù)庫技術(shù)和自然語言處理等多種技術(shù)方法，從數(shù)據(jù)中獲得相關(guān)的結(jié)果。在大數(shù)據(jù)時代，雖然數(shù)據(jù)的挖掘往往意味著數(shù)據(jù)金礦，但筆者認(rèn)為，挖掘技術(shù)必須與業(yè)務(wù)分析思路緊密結(jié)合，才會發(fā)揮出較大的價值。

其他關(guān)鍵技術(shù)

在大數(shù)據(jù)時代，互聯(lián)網(wǎng)社交媒體數(shù)據(jù)（尤其是用戶間的關(guān)系數(shù)據(jù)）體現(xiàn)出了前所未有的價值。對上億用戶錯綜復(fù)雜的關(guān)系網(wǎng)絡(luò)的快速分析，正是圖計算理論擅長之處。圖計算作為新興的技術(shù)理論，主要聚焦節(jié)點(diǎn)之間關(guān)系的深度研究，其不僅在社交用戶分析上價值很大，在惡意欺詐檢測、生命科學(xué)等領(lǐng)域都有巨大應(yīng)用前景。

而隨著音視頻數(shù)據(jù)的日益普及和傳播，針對此類大數(shù)據(jù)的處理（比如語音識別/圖像、視頻識別分析）技術(shù)，也在大數(shù)據(jù)業(yè)務(wù)中逐步開始使用。這些其實(shí)都是模式識別（Pattern Recognition）技術(shù)的應(yīng)用，核心問題是特征（維度較高）的抽取和相似/匹配性比較。

3主要技術(shù)資源與工具

在前面了解的技術(shù)理論之上，我們進(jìn)一步介紹大數(shù)據(jù)業(yè)務(wù)中可使用的技術(shù)資源和工具。相關(guān)說明按業(yè)務(wù)流程順序展開，以主流、免費(fèi)的開源資源為主

（1）分布式計算框架

分布式計算框架用于完成分布式計算所需的底層任務(wù)管理和調(diào)度等核心工作，是大數(shù)據(jù)計算體系結(jié)構(gòu)的基石。

（2）數(shù)據(jù)管理

數(shù)據(jù)管理主要包括存儲和快速檢索。大數(shù)據(jù)環(huán)境中，研究業(yè)務(wù)相關(guān)的數(shù)據(jù)更多以數(shù)據(jù)庫而不是文件方式存儲，所以這里主要介紹幾類數(shù)據(jù)庫的選擇

（3）處理與計算

市場研究行業(yè)大數(shù)據(jù)業(yè)務(wù)中，分析相關(guān)的數(shù)據(jù)計算技術(shù)是最重要的技術(shù)內(nèi)容，主要集中在以下幾個領(lǐng)域：

并行機(jī)器學(xué)習(xí)(Mahout /Spark MLLib)機(jī)器學(xué)習(xí)本已是數(shù)據(jù)計算利器，而基于分布式的并行機(jī)器學(xué)習(xí)框架則將其能力又大大增強(qiáng)。Mahout中實(shí)現(xiàn)了大量的機(jī)器學(xué)習(xí)算法（包括推薦算法）的并行版本（甚至有并行SVD這種高大上），是當(dāng)前大數(shù)據(jù)機(jī)器學(xué)習(xí)的主要工具包。MLib基于Spark框架，在性能上有優(yōu)勢，也開始受到廣泛的關(guān)注。

自然語言處理在中文自然語言處理領(lǐng)域，當(dāng)前可用的免費(fèi)開放資源并不多（分詞資源較多），一些開放資源主要來自學(xué)術(shù)院校（清華、中科院、復(fù)旦和哈工大等，相關(guān)內(nèi)容不便列出，請自行查找），但在效果上面向工業(yè)應(yīng)用尚有不足。當(dāng)前常見方式是借助專業(yè)技術(shù)企業(yè)/院校合作獲得深入分析能力。

圖計算(GraphLab/Spark GraphX)如果有圖計算相關(guān)的需求可考慮采用這些開源資源。前者是當(dāng)前最主流的圖計算框架，實(shí)現(xiàn)了圖數(shù)據(jù)的存儲和基礎(chǔ)計算邏輯。后者GraphX是Spark體系下的圖計算新貴。 R語言R語言作為統(tǒng)計性功能強(qiáng)大的計算語言，在傳統(tǒng)研究行業(yè)具有較大應(yīng)用前景。同時其在可視化和開源支持方面也有一定優(yōu)勢。如今R對Hadoop的支持也比較完善。對于熟悉R語言的研究公司，可從R語言更快切入大數(shù)據(jù)的計算領(lǐng)域。

（4）研究分析

在分析階段，考慮研究員將成為重要的角色，此時資源聚焦在研究員可以使用的各種工具上。以下是相關(guān)的一些內(nèi)容：

Hive/Impala/Spark Sql分布式的大數(shù)據(jù)（數(shù)據(jù)倉庫）的分析工具，支持以傳統(tǒng)關(guān)系數(shù)據(jù)庫Sql語句進(jìn)行大數(shù)據(jù)內(nèi)容的檢索，大大降低了研究分析人員的大數(shù)據(jù)分析門檻，是適合數(shù)據(jù)分析/研究人員的最佳工具。Hive最早由Facebook開源，應(yīng)用最廣，但性能最差。Impala在性能與穩(wěn)定性的平衡較好，但限制較多。Spark Sql作為最新的工具，性能最強(qiáng)，但穩(wěn)定性尚待完善。

TableAU 企業(yè)級大數(shù)據(jù)分析工具，多應(yīng)用于世界500強(qiáng)企業(yè)內(nèi)部業(yè)務(wù)分析，不過其是商業(yè)付費(fèi)軟件。其優(yōu)點(diǎn)是大數(shù)據(jù)下的可視化和方便性，研究人員使用比較容易。就實(shí)際應(yīng)用體會上，感覺更適合企業(yè)級內(nèi)部數(shù)據(jù)、億級以下的結(jié)構(gòu)化大數(shù)據(jù)的場景。分析維度主要是統(tǒng)計性維度，可分析深度相對不足。

SPSS Modeler IBM的商用數(shù)據(jù)挖掘工具，對大數(shù)據(jù)支持能力不如TableAU（與其計算復(fù)雜度相關(guān)），其特點(diǎn)是提供專業(yè)的數(shù)據(jù)挖掘算法，研究中適合做深度/非統(tǒng)計性研究。

Gephi可視化分析如果要做一些傳播關(guān)系的圖形化分析，那不妨考慮Gephi。其支持多種可視化分析圖生成。不過在較大數(shù)據(jù)量（比如2萬節(jié)點(diǎn)以上）時性能下降較快，所以最好對數(shù)據(jù)預(yù)先做相關(guān)平滑和剪枝。

可視化開發(fā)框架數(shù)據(jù)可視化是大數(shù)據(jù)的一個特色，但這里放到研究分析來說明，是因為可視化技術(shù)的價值是幫助更有效的分析，不是花哨的展示。當(dāng)前國內(nèi)百度EChart（2.0以上版本）的易用性和功能相對不錯（就是感覺樣式配色不夠?qū)I(yè)），國外基于D3框架的應(yīng)用更能體現(xiàn)可視化的價值（效果強(qiáng)大，但開發(fā)比較麻煩）。桌面辦公軟件中，微軟GeoFlow支持Excel的Bing地圖可視化。其他還有很多各有特色的可視化框架，不再一一介紹了。

經(jīng)過以上內(nèi)容，想必研究同行們對大數(shù)據(jù)相關(guān)技術(shù)已經(jīng)有了基本的認(rèn)識。如果要想在大數(shù)據(jù)業(yè)務(wù)服務(wù)中發(fā)揮自身價值，研究人員除了轉(zhuǎn)變方法論思路外，還要注意提升自身的技術(shù)能力。 傳統(tǒng)研究業(yè)務(wù)中，研究員太依賴DP和其他IT人員進(jìn)行數(shù)據(jù)計算處理，自身沒有任何技術(shù)能力。大數(shù)據(jù)業(yè)態(tài)下，技術(shù)性分析與傳統(tǒng)研究將緊密結(jié)合，技術(shù)手段的使用程度深入影響數(shù)據(jù)洞察的深度。研究員如果熟悉相關(guān)技術(shù)手段（至少分析工具的使用），將會極大擴(kuò)展自身的分析能力。既熟悉大數(shù)據(jù)處理技術(shù)，又懂得研究業(yè)務(wù)思路的復(fù)合人才—數(shù)據(jù)科學(xué)家，將是未來數(shù)據(jù)分析業(yè)務(wù)的王者。