2012注定是不平凡的一年，瑪雅人將世界末日定在這一年的12月21日，然而這一天也許并不意味著結(jié)束，而是重生。正如2012對于大數(shù)據(jù)的意義一樣，經(jīng)過一年的歷練，IT業(yè)界將在2013年迎來大數(shù)據(jù)元年。

　　一、2012年度回顧：大數(shù)據(jù)蓄勢待發(fā)迎接元年

　　（一）2012年大數(shù)據(jù)呈現(xiàn)新特征

　　大數(shù)據(jù)不是剛剛出現(xiàn)的概念，“大數(shù)據(jù)”最早可以追溯到Apache的開源項目Nutch，當時大數(shù)據(jù)用來描述更新網(wǎng)絡(luò)搜索索引所需批量處理或分析的大量數(shù)據(jù)集。隨著谷歌MapReduce和GoogleFile System（GFS）的發(fā)布，大數(shù)據(jù)不僅僅用來描述大量的數(shù)據(jù)，還涵蓋了處理數(shù)據(jù)的速度。

　　業(yè)界對大數(shù)據(jù)最普遍的認知是它的4V特征，即海量的數(shù)據(jù)規(guī)模（volume）、快速的數(shù)據(jù)流轉(zhuǎn)和動態(tài)的數(shù)據(jù)體系（velocity）、多樣的數(shù)據(jù)類型（variety）和巨大的數(shù)據(jù)價值（value）。2012年作為大數(shù)據(jù)產(chǎn)業(yè)蓄勢待發(fā)的一年，大數(shù)據(jù)呈現(xiàn)以下新特征：

　　1.數(shù)據(jù)量增長更加迅速。隨著社交網(wǎng)絡(luò)和移動互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式增長，甚至過去三年里產(chǎn)生的數(shù)據(jù)量超越了以往四萬年的數(shù)據(jù)量。國內(nèi)最大的微博——新浪微博在今年第三季度宣布注冊用戶已超過4億，用戶平均每天發(fā)布超過10億條微博內(nèi)容，活躍用戶中有60%通過移動終端登錄，所有來自移動終端的原創(chuàng)內(nèi)容中，有40%的微博分享照片。根據(jù)IDC今年一項研究顯示，未來10年全球數(shù)據(jù)量將以40%的速度增長，到2020年將達到35ZB（Zettabyte），大數(shù)據(jù)將迎來ZB時代。然而這僅僅是個開始，未來數(shù)據(jù)量將達到什么級別，我們無法想象。

　　2.數(shù)據(jù)在企業(yè)中的地位日益突出。數(shù)據(jù)是企業(yè)最寶貴的資源。當前，企業(yè)最迫切的就是希望能從大數(shù)據(jù)中挖掘商業(yè)價值，以保持其在市場中的競爭力。隨著數(shù)據(jù)挖掘、數(shù)據(jù)分析和商業(yè)智能技術(shù)的不斷深入，企業(yè)決策越來越依賴于數(shù)據(jù)。大數(shù)據(jù)將會創(chuàng)造一個新的經(jīng)濟領(lǐng)域，該領(lǐng)域的全部任務(wù)就是將信息或數(shù)據(jù)轉(zhuǎn)化為經(jīng)濟利益。分析的數(shù)據(jù)越全面，分析結(jié)果就越接近于真實，才能更好的指導企業(yè)運營。。企業(yè)中的數(shù)據(jù)既包括結(jié)構(gòu)化數(shù)據(jù)，也包括非結(jié)構(gòu)化數(shù)據(jù)，且非結(jié)構(gòu)化數(shù)據(jù)的比例越來越高。IDC在報告中指出，利用大數(shù)據(jù)的商業(yè)價值：領(lǐng)軍企業(yè)與其他企業(yè)之間最大的顯著差別在于新數(shù)據(jù)類型的引入，那些沒有引入新的分析技術(shù)和新的數(shù)據(jù)類型的企業(yè)，不太可能成為其行業(yè)的領(lǐng)軍者。

　　3.大數(shù)據(jù)人才缺口巨大。大數(shù)據(jù)時代更需要復(fù)合型人才，能夠幫助組織在大量信息中挖掘有價值的數(shù)據(jù)，并將數(shù)據(jù)轉(zhuǎn)化為深入的認知和精準預(yù)測的模型。大數(shù)據(jù)人才須具備綜合性素質(zhì)：他們通常是統(tǒng)計學家并且精通數(shù)據(jù)建模，同時知道如何在可用數(shù)據(jù)中使用最佳的算法，這極具技術(shù)含量。據(jù)Gartner預(yù)測，到2015年，全球?qū)⑿略?40萬個與大數(shù)據(jù)相關(guān)的工作崗位，且會有25%的組織設(shè)立首席數(shù)據(jù)官職位。今年7月，阿里巴巴集團成為國內(nèi)第一家任命首席數(shù)據(jù)官的企業(yè)，業(yè)內(nèi)也普遍看好數(shù)據(jù)人才的未來。

　　4.企業(yè)對大數(shù)據(jù)的投入增加。2012年大數(shù)據(jù)市場的增長速度明顯快于整個IT市場，據(jù)Gartner的最新統(tǒng)計，大數(shù)據(jù)市場銷售額將在2012年增長21.4%，達到340億美元。在今年大數(shù)據(jù)總開支中，只有43億美元或12.6%的資金是直接由新的大數(shù)據(jù)功能產(chǎn)生的，而大部分的開支仍流向比較傳統(tǒng)的解決方案，以滿足企業(yè)對速度、多樣性和數(shù)據(jù)容量的需求。目前企業(yè)對大數(shù)據(jù)的投入還停留在基礎(chǔ)設(shè)施建設(shè)階段，想要真正將數(shù)據(jù)轉(zhuǎn)化為價值，還需繼續(xù)在數(shù)據(jù)分析和展現(xiàn)等環(huán)節(jié)加大投入。

　?。ǘ㊣T巨頭進軍大數(shù)據(jù) 新興企業(yè)不斷涌現(xiàn)

　　大數(shù)據(jù)帶來的商業(yè)機遇被越來越多的廠商看重，傳統(tǒng)IT廠商陸續(xù)推出大數(shù)據(jù)產(chǎn)品及解決方案，引入多年技術(shù)積累和客戶資源;同時大數(shù)據(jù)新興企業(yè)不斷涌現(xiàn)，大有超越前者之勢。

　　1.IT巨頭進軍大數(shù)據(jù)。以IBM、Oracle、SAP、Intel、微軟為代表的老牌IT廠商將業(yè)務(wù)觸角伸向大數(shù)據(jù)產(chǎn)業(yè)，推出軟件、硬件及軟硬件一體化的行業(yè)解決方案。這其中既包括對Hadoop等開源大數(shù)據(jù)技術(shù)的集成，也包括各大廠商獨有的創(chuàng)新技術(shù)。

　　收購也是IT巨頭進入大數(shù)據(jù)市場的敲門磚。今年4月，虛擬化巨頭VMware收購大數(shù)據(jù)分析的初創(chuàng)企業(yè)Cetas，提供Hadoop平臺上的分析服務(wù)，從而開啟VMware大數(shù)據(jù)之旅。另外，大數(shù)據(jù)收購案例還包括Teradata收購高級分析和管理各種非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域的市場領(lǐng)導者和開拓者Aster Data，IBM收購商業(yè)分析公司Netezza等。

　　這些老牌IT廠商技術(shù)實力不俗，產(chǎn)品線豐富，在各個領(lǐng)域發(fā)揮重要作用。進軍大數(shù)據(jù)市場，既增加了雄厚的技術(shù)底蘊，也能夠讓客戶更容易的接受他們的產(chǎn)品或解決方案，逐漸成為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的主力軍。

　　2.新興企業(yè)不斷涌現(xiàn)。與那些老牌IT廠商不同，大數(shù)據(jù)市場還吸引了許多新興企業(yè)的加盟。面對大數(shù)據(jù)帶來的無限商機，初創(chuàng)公司開始挖掘大數(shù)據(jù)的商業(yè)價值，推出別具一格的產(chǎn)品或解決方案。

　　在這些新興企業(yè)中，有業(yè)內(nèi)比較熟悉的基于Apache Hadoop的大數(shù)據(jù)分析解決方案的提供商Datameer、大數(shù)據(jù)分析公司Connotate、大數(shù)據(jù)技術(shù)初創(chuàng)公司ClearStory Data等，其中大數(shù)據(jù)公司Splunk于今年4月在納斯達克成功上市。

　　新興企業(yè)擁有獨特的技術(shù)優(yōu)勢，是傳統(tǒng)IT企業(yè)所不具有的。相對于IT巨頭，新興企業(yè)更能夠從細化的角度服務(wù)企業(yè)，向企業(yè)提供更專業(yè)的大數(shù)據(jù)服務(wù)。因此，在充滿機遇的大數(shù)據(jù)市場，新興企業(yè)完全有可能超越IT巨頭，在短時間內(nèi)獲得市場的認可。

　　二、關(guān)鍵詞盤點：回顧大數(shù)據(jù)走過的2012年

　　2012年，大數(shù)據(jù)產(chǎn)業(yè)蓄勢待發(fā)，涌現(xiàn)出大批新產(chǎn)品與解決方案，同時也有許多熱點事件歷歷在目。接下來筆者將對2012年大數(shù)據(jù)領(lǐng)域的熱點事件進行盤點，回顧與大數(shù)據(jù)共同走過的2012年。

　?。ㄒ唬╆P(guān)鍵詞：一體機

　　年初，隨著Oracle大數(shù)據(jù)機的正式發(fā)布，一體機成為數(shù)據(jù)整體解決方案的代名詞。這種軟硬件結(jié)合的方式簡化了企業(yè)管理和應(yīng)用的難度，上線和部署也很簡單。IDC預(yù)測，在未來幾年里，數(shù)據(jù)倉庫一體機、NoSQL一體機以及其它一些將多種技術(shù)結(jié)合的一體化設(shè)備將進一步快速發(fā)展。

　　但業(yè)內(nèi)對此存在一定爭議，有研究機構(gòu)指出，大數(shù)據(jù)一體機價格昂貴且架構(gòu)不靈活，用戶完全可以自己搭建大數(shù)據(jù)基礎(chǔ)架構(gòu)。放下爭議不說，先來看看市面上的幾款大數(shù)據(jù)一體機：

　　?2012年1月，Oracle正式發(fā)布大數(shù)據(jù)機。Oracle大數(shù)據(jù)機是一個硬、軟件集成系統(tǒng)，融合了Cloudera公司的Distribution Including Apache Hadoop和Cloudera Manager，以及一個開源R。該系統(tǒng)采用Oracle Linux操作系統(tǒng)，配備有Oracle NoSQL數(shù)據(jù)庫社區(qū)版本和Oracle HotSpot Java虛擬機。

　　值得一提的是Oracle大數(shù)據(jù)機中的Cloudera Manager軟件，是業(yè)界首個針對Apache Hadoop（CDH）的端到端管理應(yīng)用程序。Cloudera Manager能提供一些非常重要的Hadoop集群管理功能：自動化的Hadoop部署，通過一個用戶界面進行集中式的管理，還可以對相關(guān)配置進行管理。有分析師指出，Hadoop對于企業(yè)用戶來說的技術(shù)門檻稍微有些高，因此像Cloudera Enterprise或者Cloudera Manager這樣的管理軟件可以很好地幫助企業(yè)用戶對Hadoop進行管理。

　　?2012年10月IBM InterConnect 2012大會上，IBM攜全新的PureData產(chǎn)品系列亮相大數(shù)據(jù)一體機市場。IBM PureData作為一款全新的數(shù)據(jù)服務(wù)交付平臺，與它的前輩PureSystems一樣，整合了基礎(chǔ)架構(gòu)、統(tǒng)一平臺管理和專家知識體系。

　　面向復(fù)雜數(shù)據(jù)處理任務(wù)，IBM開發(fā)出針對特定工作負載的三款產(chǎn)品，分別為PureData System for Transactions、PureData System for Analytics 和PureData System for Operational Analytics，可分別應(yīng)用于OLTP（聯(lián)機事務(wù)處理）、OLAP（聯(lián)機分析處理）和大數(shù)據(jù)分析操作。其中，PureData System for Analytics能夠提供超越傳統(tǒng)數(shù)據(jù)系統(tǒng)十倍、乃至百倍的速度，以及是上一代Netezza技術(shù)20倍的面向查詢的并發(fā)與吞吐能力，值得關(guān)注。

　　除此之外，微軟并行數(shù)據(jù)倉庫一體機、浪潮大數(shù)據(jù)一體機以及Etu Hadoop一體機等，都在今年陸續(xù)發(fā)布或推廣，大數(shù)據(jù)迎來一體機的時代。

　　（二）關(guān)鍵詞：內(nèi)存計算

　　隨著內(nèi)存價格的下降，內(nèi)存計算開始引領(lǐng)新的熱潮，以SAP HANA為首的內(nèi)存計算平臺、內(nèi)存數(shù)據(jù)庫等內(nèi)存相關(guān)技術(shù)使計算速度由量變轉(zhuǎn)向質(zhì)變，即將開啟新的時代。

　　今年7月份舉行的SAP中國商業(yè)同略會和12月份舉行的SAP TechEd這兩次重要的大會上，SAP把重點都放在了HANA上。SAP HANA將數(shù)據(jù)放在內(nèi)存中處理，與內(nèi)存數(shù)據(jù)庫的功能極為相似，但它又不完全是一個數(shù)據(jù)庫。SAP HANA可以用來加速現(xiàn)有的解決方案，包括BI和OLAP等，但是它真正的強項是用SAP HANA開發(fā)全新的應(yīng)用。

　　目前全球已有150多家客戶基于HANA創(chuàng)業(yè)，上海寰融就是這樣一家初創(chuàng)企業(yè)，它以SAP HANA平臺為基礎(chǔ)搜集金融數(shù)據(jù)進行深入分析，為客戶提供相關(guān)金融服務(wù)。借助HANA平臺，這些初創(chuàng)企業(yè)將創(chuàng)新帶給他們的客戶，提升自身價值。

　　在SAP HANA內(nèi)存計算平臺的帶動下，SAP的其他產(chǎn)品也獲得巨大飛躍，尤其是Sybase數(shù)據(jù)庫產(chǎn)品。Oracle ACE總監(jiān)蓋國強在其微博中表示，Sybase憑借SAP HANA再燃生機。SAP收購了Sybase之后，整合產(chǎn)品優(yōu)勢使得Sybase重燃生機，在2011年的市場份額上Sybase獲得了顯著增長。SAP隨后推出的HANA產(chǎn)品對Oracle展開競爭，相信SAP借產(chǎn)品優(yōu)勢必然能夠讓Sybase獲得再一次的成長機遇。

　　Oracle也有一款類似的產(chǎn)品，即商業(yè)智能機Oracle Exalytics。業(yè)界經(jīng)常拿這兩款產(chǎn)品進行比較，兩家廠商也經(jīng)常因為這種比較而相互抨擊。據(jù)了解，Oracle Exalytics和SAP HANA有三個共同點：1、都使用內(nèi)存數(shù)據(jù)庫技術(shù);2、都是軟硬件集成化設(shè)備;3、都用來處理分析工作負載。除上述的幾點之外，兩個產(chǎn)品其實并沒有可比性。

　　那么兩款產(chǎn)品如何選擇呢？專業(yè)人士建議，如果企業(yè)正在使用Oracle的產(chǎn)品，并且想要對Oracle數(shù)據(jù)庫中添加一個智能緩存的話，那么應(yīng)該選擇Exalytics。但如果想要一個新的數(shù)據(jù)庫，并想要超過原有Oracle性能10倍或者100倍，那么SAP HANA絕對是首選。

　　在內(nèi)存計算領(lǐng)域，微軟也開始行動了。在今年11月份舉辦的SQL PASS大會上，微軟也透露了SQL Server內(nèi)存數(shù)據(jù)庫的內(nèi)幕信息。這個名為“Hekaton”的新項目，是一個針對交易型應(yīng)用系統(tǒng)的SQL Server內(nèi)存數(shù)據(jù)庫功能。據(jù)悉，Hekaton以及之前發(fā)布的xVelocity列存儲功能將在下一版本的SQL Server數(shù)據(jù)庫平臺中正式亮相。

　　三、2013年展望：大數(shù)據(jù)發(fā)展十大趨勢分析

　　2012年大數(shù)據(jù)發(fā)展如火如荼，大有趕超云計算之勢。如果把今年比作大數(shù)據(jù)落地生根的一年，那么2013年將迎來其茁壯成長，甚至開花結(jié)果的一年。有預(yù)測稱，大數(shù)據(jù)市場將以每年40%的速度增長，2012年大數(shù)據(jù)市場規(guī)模約為50億美元，2013年將翻倍。2013年大數(shù)據(jù)發(fā)展有哪些新趨勢呢？不管是IDC、Gartner還是國內(nèi)大數(shù)據(jù)研究機構(gòu)都給出了各自的答案，筆者在這里總結(jié)一下各方觀點，并談?wù)勛约旱南敕ā?/p>

　　預(yù)測1：開源大數(shù)據(jù)商業(yè)化

　　隨著閉源軟件在數(shù)據(jù)分析領(lǐng)域的地盤不斷縮小，老牌IT廠商正在改變商業(yè)模式，向開源靠攏，并加大專業(yè)服務(wù)和系統(tǒng)集成方面的力度，幫助客戶向開源的、面向云的分析產(chǎn)品遷移，主要是Hadoop和R兩類技術(shù)。與人們的傳統(tǒng)理解不同，大數(shù)據(jù)市場開源的盛行不會抑制市場的商業(yè)機會，相反開源將會給基礎(chǔ)架構(gòu)硬件、應(yīng)用程序開發(fā)工具、應(yīng)用、服務(wù)等各個方面的相關(guān)領(lǐng)域帶來更多的機會。

　　預(yù)測2：Hadoop將加速發(fā)展

　　做為大數(shù)據(jù)領(lǐng)域的代表技術(shù)，許多企業(yè)都把明年的計劃放在Hadoop上。預(yù)測稱用戶對Hadoop的優(yōu)化將更注重硬件，同時，對企業(yè)友好的Hadoop技術(shù)市場將達到前所未有的高峰。從整體上說，不僅是Hadoop本身本會得到迅猛的發(fā)展，同時Hadoop在多個數(shù)據(jù)中心中的配置和無縫集成技術(shù)也將成為熱門。Hadoop的專業(yè)知識正在飛速增長，但是這方面優(yōu)秀的人才仍然很缺乏。

　　預(yù)測3：大數(shù)據(jù)復(fù)雜度降低

　　大數(shù)據(jù)技術(shù)的落地將會有兩個特點：一個是對MapReduce依賴越來越少，另外一個是會把Hadoop技術(shù)深入的應(yīng)用到企業(yè)的軟件架構(gòu)中。針對第一個特點，像Cloudera的Impala和微軟的PolyBase這樣的軟件會得到充分發(fā)展，他們繞開了MapReduce，直接對存在HDFS中的數(shù)據(jù)進行處理。針對第二個特點，大規(guī)模的使用Hadoop是個必然趨勢，漸漸的就會形成行業(yè)的標準，進而成為更有價值的軟件基礎(chǔ)，而不僅是自己內(nèi)部使用。

　　預(yù)測4：打包的大數(shù)據(jù)行業(yè)分析應(yīng)用

　　隨著大數(shù)據(jù)逐漸走向各個行業(yè)，基于行業(yè)的大數(shù)據(jù)分析應(yīng)用需求也日益增長。未來幾年中針對特定行業(yè)和業(yè)務(wù)流程的分析應(yīng)用將會以預(yù)打包的形式出現(xiàn)，這將為大數(shù)據(jù)技術(shù)供應(yīng)商打開新的市場。這些分析應(yīng)用內(nèi)容還會覆蓋很多行業(yè)的專業(yè)知識，也會吸引大量行業(yè)軟件開發(fā)公司的投入。（IDC）

　　預(yù)測5：大數(shù)據(jù)細分市場

　　大數(shù)據(jù)相關(guān)技術(shù)的發(fā)展，將會創(chuàng)造出一些新的細分市場。例如，以數(shù)據(jù)分析和處理為主的高級數(shù)據(jù)服務(wù)，將出現(xiàn)以數(shù)據(jù)分析作為服務(wù)產(chǎn)品提交的分析即服務(wù)（Analyze as a Service）業(yè)務(wù);將多種信息整合管理，創(chuàng)造對大數(shù)據(jù)統(tǒng)一的訪問和分析的組件產(chǎn)品;基于社交網(wǎng)絡(luò)的社交大數(shù)據(jù)分析;甚至會出現(xiàn)大數(shù)據(jù)技能的培訓市場，教授數(shù)據(jù)分析課程等。（IDC）

　　預(yù)測6：大數(shù)據(jù)推動公司間的并購

　　大數(shù)據(jù)概念覆蓋范圍非常廣，包括非結(jié)構(gòu)化數(shù)據(jù)從存儲、處理到應(yīng)用的各個環(huán)節(jié)，與大數(shù)據(jù)相關(guān)的軟件廠商也非常多，但是又沒有哪一家廠商可以覆蓋大數(shù)據(jù)的各個方面。因此，在未來幾年中，大型IT廠商將為了完善自己的大數(shù)據(jù)產(chǎn)品線進行并購，首當其沖的將是信息管理分析軟件廠商、預(yù)測分析和數(shù)據(jù)展現(xiàn)廠商等。

　　預(yù)測7：大數(shù)據(jù)分析的革命性方法出現(xiàn)

　　在大數(shù)據(jù)分析上，將出現(xiàn)革命性的新方法。就像計算機和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)可能是新一波技術(shù)革命。從前的很多算法和基礎(chǔ)理論可能會產(chǎn)生理論級別的突破。（CCF）

　　預(yù)測8：大數(shù)據(jù)與云計算：深度融合

　　大數(shù)據(jù)處理離不開云計算技術(shù)，云計算為大數(shù)據(jù)提供彈性可擴展的基礎(chǔ)設(shè)施支撐環(huán)境以及數(shù)據(jù)服務(wù)的高效模式，大數(shù)據(jù)則為云計算提供了新的商業(yè)價值，大數(shù)據(jù)技術(shù)與云計算技術(shù)必有更完美的結(jié)合。同樣的，云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興計算形態(tài)，既是產(chǎn)生大數(shù)據(jù)的地方，也是需要大數(shù)據(jù)分析方法的領(lǐng)域。（CCF）

　　預(yù)測9：大數(shù)據(jù)一體機陸續(xù)發(fā)布

　　自云計算和大數(shù)據(jù)概念被提出后，針對該市場推出的軟硬件一體化設(shè)備就層出不窮。在未來幾年里，數(shù)據(jù)倉庫一體機、NoSQL一體機以及其它一些將多種技術(shù)結(jié)合的一體化設(shè)備將進一步快速發(fā)展。

　　預(yù)測10：大數(shù)據(jù)安全令人擔憂

　　大數(shù)據(jù)的不斷增加，對數(shù)據(jù)存儲的物理安全性要求會越來越高，從而對數(shù)據(jù)的多副本與容災(zāi)機制提出更高的要求。網(wǎng)絡(luò)和數(shù)字化生活使得犯罪分子更容易獲得關(guān)于人的信息，也有了更多不易被追蹤和防范的犯罪手段，可能會出現(xiàn)更高明的騙局。（CCF）

　　總結(jié)

　　2012年的大數(shù)據(jù)領(lǐng)域，Hadoop成為絕對的主角。隨著大數(shù)據(jù)基礎(chǔ)設(shè)施的不斷完善，數(shù)據(jù)分析和商業(yè)智能工具將逐漸成為大數(shù)據(jù)的主力軍。無論是IT巨頭還是新興企業(yè)都覺察到了大數(shù)據(jù)帶來的前所未有的機遇，讓我們做好一切準備，迎接2013大數(shù)據(jù)元年的到來。


?