從“大數據”一詞的正式出現距今已經將近40年的時間，現如今，互聯網成為大數據三大來源之一，是獲取、傳播和擴散相關信息的重要渠道。作為主要數據類型，如今的網絡大數據都有哪些特點？本文將通過傳統(tǒng)數據與網絡數據的對比，探討網絡大數據的特征。

傳統(tǒng)數據和網絡大數據的區(qū)別

結構化數據和非結構化數據

傳統(tǒng)行業(yè)更多的是結構化數據，存儲在數據庫里，可以用二維表結構來邏輯表達實現的數據，像以應用oracle、Sql Server等數據庫的制造型企業(yè)的ERP系統(tǒng)。而網絡大數據更多的是非結構化數據，就是不能以二維形態(tài)描述的，例如所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等等，像是醫(yī)療影像系統(tǒng)、教育視頻點播、視頻監(jiān)控、國土GIS、 設計院、文件服務器（ PDM/FTP）、媒體資源管理等具體應用。

數據的體量

互聯網擁有海量的數據，由于互聯網行業(yè)的特點，每時每刻都會產生海量的數據，它的數據往往是PB級的， 1個PB有多大呢？它相當于2的50次方個字節(jié)。如果你對此沒有概念，那么簡單來說，《史記》約有52萬多漢字，1個PB能夠存儲至少10億部《史記》， 以百度、騰訊、阿里為代表的企業(yè)。傳統(tǒng)的一個生產制造工廠三個月制造的數據也不到100G。這是天大的一個差別。

數據分析的目的不同

互聯網行業(yè)會對這些網絡大數據做數據分析，挖掘，無論是過去的數據還是即時的數據，數據不再是靜止和陳舊的，任何被遺忘在服務器中的數據，都可能被重新利用，從而發(fā)現其中與我們、與行為、與現象的相關性，比如：

谷歌公司每天都會收到來自全球超過30億條的搜索指令，經過多年數據的累計，谷歌公司建立了“咳嗽“，“發(fā)熱”等搜索關鍵字與流感地區(qū)的聯系，于是在2009年谷歌成功地在美國預測了冬季流感的傳播，并且精確到地區(qū)和州等等。而傳統(tǒng)行業(yè)則不會過多去關注過去的數據，一般月底會盤點 ，出一些財務的數據分析報表，歷史的數據會存放于備份庫里，有問題才會去查找。

數據獲取方式的質變

數據獲取方式的質變是大數據能夠產生的核心要素。對傳統(tǒng)數據的獲取方式多是以人工的方式獲取數據，最大的特點是手動輸入數據。傳統(tǒng)記錄數據的方式只能是小范圍的，少量的和準確度欠佳的。而現在的數據獲取方式大多是通過URL傳輸和API接口，大體上數據獲取的方式有這樣幾類：爬蟲抓取、用戶留存、用戶上傳、數據交易和數據共享。

價值差異

網絡大數據與傳統(tǒng)數據的核心差異在于其價值的不可估量。傳統(tǒng)數據的價值體現在信息傳遞與表征，是對現象的描述與反饋，讓人通過數據去了解數據。而網絡大數據是對現象發(fā)生過程的全記錄，通過數據不僅能夠了解對象，還能分析對象，掌握對象運作的規(guī)律，挖掘對象內部的結構與特點，甚至能了解對象自己都不知道的信息。

在數據大爆炸的互聯網時代，數據的類型也是復雜多樣的，包括結構化數據、半結構化數據、非結構化數據。結構化最常見，就是具有模式的數據。非結構化數據是數據結構不規(guī)則或不完整，沒有預定義的數據模型，包括所有格式的辦公文檔、文本、圖片、XML， HTML、各類報表、圖像和音頻/視頻信息等等。 網絡大數據采集，是大數據分析的入口，所以是相當重要的一個環(huán)節(jié)。

傳統(tǒng)數據采集的不足

傳統(tǒng)的數據采集來源單一，且存儲、管理和分析數據量也相對較小，大多采用關系型數據庫和并行數據倉庫即可處理。對依靠并進行計算提升數據處理速度方面而言，傳統(tǒng)的并行數據庫技術追求高度一致性和容錯性，根據CAP理論，難以保證其可用性和擴展性。

契合時代的數據采集方法：網絡數據采集

網絡大數據采集是指通過網絡爬蟲或網站公開API等方式從網站上獲取數據信息。該方法可以將非結構化數據從網頁中抽取出來，將其存儲為統(tǒng)一的本地數據文件，并以結構化的方式存儲。它支持圖片、音頻、視頻等文件或附件的采集，附件與正文可以自動關聯。除了網絡中包含的內容之外，對于網絡流量的采集可以使用DPI或DFI等帶寬管理技術進行處理。

互聯網極大地改變了人們的生活，大量、高速、多變的信息每天都圍繞在人們身邊，我們需要更好的處理方式，去應對這種隨時隨地的變化。作為成都本土專業(yè)的DaaS服務商（數據即服務） ，我們推出網絡大數據采集系統(tǒng)，集數據采集、數據管理分析、數據交換共享為一體，實現數據從采集，處理到應用的全生命周期管理。為政府、醫(yī)療、交通、旅游、金融、教育、企業(yè)等多個領域提供高效的大數據整體應用解決方案 。

責任編輯：ct