隨著互聯(lián)網(wǎng)的飛速發(fā)展， 特別是近年來(lái)社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)和云計(jì)算的飛速發(fā)展和大量應(yīng)用， 人們所接觸和關(guān)注的數(shù)據(jù)量出現(xiàn)爆炸式增長(zhǎng)， 使得數(shù)據(jù)的極大豐富和復(fù)雜成為當(dāng)今社會(huì)的重要特征。對(duì)大數(shù)據(jù)分析和處理的技術(shù)也隨之建立完善并豐富起來(lái)。主要介紹大數(shù)據(jù)的概念和特點(diǎn)，分析了實(shí)現(xiàn)大數(shù)據(jù)處理的關(guān)鍵技術(shù)和大數(shù)據(jù)的應(yīng)用領(lǐng)域，列舉了幾種大數(shù)據(jù)在現(xiàn)實(shí)生活中的典型應(yīng)用。

　　首先， 全球數(shù)據(jù)量出現(xiàn)爆炸式增長(zhǎng)， 數(shù)據(jù)成了當(dāng)今社會(huì)增長(zhǎng)最快的資源之一。根據(jù)國(guó)際數(shù)據(jù)公司IDC 的監(jiān)測(cè)統(tǒng)計(jì)，即使在遭遇金融危機(jī)的2009 年，全球信息量也比2008年增長(zhǎng)了62%，達(dá)到80 萬(wàn)PB（1PB等于10GB），到2011年全球數(shù)據(jù)總量已經(jīng)達(dá)到1.8ZB （1ZB 等于1 萬(wàn)億GB），并且以每?jī)赡攴环乃俣蕊w速增長(zhǎng)，預(yù)計(jì)到2020 年全球數(shù)據(jù)量總量將達(dá)到40ZB，10 年間增長(zhǎng)20 倍以上，到2020 年，地球上人均數(shù)據(jù)預(yù)計(jì)將達(dá)5247GB。在數(shù)據(jù)規(guī)模急劇增長(zhǎng)的同時(shí)， 數(shù)據(jù)類型也越來(lái)越復(fù)雜， 包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等多種類，其中采用傳統(tǒng)數(shù)據(jù)處理手段難以處理的非結(jié)構(gòu)化數(shù)據(jù)已接近數(shù)據(jù)總量的75%。

　　如此增長(zhǎng)迅速、龐大繁雜的數(shù)據(jù)資源， 給傳統(tǒng)的數(shù)據(jù)分析、處理技術(shù)帶來(lái)了巨大的挑戰(zhàn)。為了應(yīng)對(duì)這樣的新任務(wù)， 與大數(shù)據(jù)相關(guān)的大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學(xué)和大數(shù)據(jù)應(yīng)用等迅速成為信息科學(xué)領(lǐng)域的熱點(diǎn)問(wèn)題， 得到了一些國(guó)家政府部門(mén)、經(jīng)濟(jì)領(lǐng)域以及科學(xué)領(lǐng)域有關(guān)專家的廣泛關(guān)注。雖然大數(shù)據(jù)日益升溫，但與大多數(shù)信息學(xué)領(lǐng)域的問(wèn)題一樣， 大數(shù)據(jù)的基本概念及特點(diǎn)， 大數(shù)據(jù)要解決核心問(wèn)題，目前尚無(wú)統(tǒng)一的認(rèn)識(shí)，大數(shù)據(jù)的獲取、存儲(chǔ)、處理、分析等諸多方面仍存在一定的爭(zhēng)議， 大數(shù)據(jù)概念有過(guò)度炒作的嫌疑。歐洲的一些企業(yè)甚至認(rèn)為大數(shù)據(jù)就是海量數(shù)據(jù)存儲(chǔ)，僅將大數(shù)據(jù)視作是可以獲取更多信息的平臺(tái)。本文分析當(dāng)前流行的幾種大數(shù)據(jù)的概念， 討論其異同，從大數(shù)據(jù)據(jù)有的典型特征角度描述大數(shù)據(jù)的概念和特點(diǎn)，從整體上分析大數(shù)據(jù)要解決的相關(guān)性分析、實(shí)時(shí)處理等核心問(wèn)題， 在此基礎(chǔ)上， 最后討論大數(shù)據(jù)可能要面臨的多種挑戰(zhàn)。

　　大數(shù)據(jù)的概念和特點(diǎn)

　　大數(shù)據(jù)是個(gè)較為抽象的概念，正如信息學(xué)領(lǐng)域但是面對(duì)以視頻、圖片、文字等非結(jié)構(gòu)化數(shù)據(jù)為主大多數(shù)新興概念樣，大數(shù)據(jù)至今尚無(wú)確切、統(tǒng)的定義。來(lái)自維基百科的定義為：大數(shù)據(jù)指數(shù)量巨大、類型復(fù)雜的數(shù)據(jù)集合，現(xiàn)有的數(shù)據(jù)庫(kù)管理工具或傳統(tǒng)的數(shù)據(jù)處理應(yīng)用難以對(duì)其進(jìn)行處理。這些挑戰(zhàn)包括如捕獲、手機(jī)、存儲(chǔ)、搜索、共享、傳遞、分析與可視化等。IDC 在對(duì)大數(shù)據(jù)作出的定義為：大數(shù)據(jù)一般會(huì)涉及2 種或2 種以上數(shù)據(jù)形式。它要收集超過(guò)100TB的數(shù)據(jù)，并且是高速、實(shí)時(shí)數(shù)據(jù)流；或者是從小數(shù)據(jù)開(kāi)始，但數(shù)據(jù)每年會(huì)增長(zhǎng)60%以上。這個(gè)定義給出了量化標(biāo)準(zhǔn)， 但只強(qiáng)調(diào)數(shù)據(jù)量大，種類多，增長(zhǎng)快等數(shù)據(jù)本身的特征。研究機(jī)構(gòu)Gartner 給出了這樣的定義：大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。