什么是大數(shù)據(jù)

大數(shù)據(jù)（big data），指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

麥肯錫全球研究所給大數(shù)據(jù)出的定義是：一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征。

大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。

從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘。但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)、虛擬化技術(shù)。

隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)（Big data）也吸引了越來(lái)越多的關(guān)注。分析師團(tuán)隊(duì)認(rèn)為，大數(shù)據(jù)（Big data）通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過(guò)多時(shí)間和金錢。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。大數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過(guò)時(shí)間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、云計(jì)算平臺(tái)、互聯(lián)網(wǎng)和可擴(kuò)展的存儲(chǔ)系統(tǒng)。

這一切都始于數(shù)字時(shí)代到來(lái)后我們所產(chǎn)生的數(shù)據(jù)量的指數(shù)激增。這主要是因?yàn)橛?jì)算機(jī)、因特網(wǎng)和技術(shù)能夠從我們生活的真實(shí)世界中獲取信息，并將其轉(zhuǎn)化為數(shù)字?jǐn)?shù)據(jù)。在2017年，當(dāng)我們上網(wǎng)時(shí)、當(dāng)我們攜帶配備GPS的智能手機(jī)時(shí)、當(dāng)我們通過(guò)社交媒體或聊天應(yīng)用程序與我們的朋友溝通時(shí)、以及我們?cè)谫?gòu)物時(shí)，我們會(huì)生成數(shù)據(jù)。你可以說(shuō)，我們所做的涉及數(shù)字交易的一切都會(huì)留下數(shù)字足跡，這幾乎是我們生活的一切。

除此之外，機(jī)器生成的數(shù)據(jù)量也在快速增長(zhǎng)。當(dāng)我們的“智能”家庭設(shè)備彼此通信或與他們的家庭服務(wù)器通信時(shí)，數(shù)據(jù)就會(huì)生成和共享。世界各地的工廠和工廠的工業(yè)機(jī)械越來(lái)越多地配備了傳感器來(lái)收集和傳輸數(shù)據(jù)。很快，自動(dòng)駕駛的汽車將走上街頭，將他們所到之處周圍的環(huán)境實(shí)時(shí)、四維的地圖發(fā)送回家。