工業(yè)大數(shù)據(jù)一般如何進行處理呢?我畫了一個相對通用的架構圖來解釋一下:
工業(yè)大數(shù)據(jù)在業(yè)務邏輯大的分層上和互聯(lián)網(wǎng)大數(shù)據(jù)類似,一般都分為三部分,數(shù)據(jù)采集層、數(shù)據(jù)處理層和數(shù)據(jù)展現(xiàn)層,當然,具體到一個實際案例中,或者說根據(jù)不同的應用場景,可以劃分為更多的層次,比如數(shù)據(jù)處理可以分為元數(shù)據(jù)管理層、數(shù)據(jù)交互層、數(shù)據(jù)分析層等等,如果你有興趣,可以把大數(shù)據(jù)劃分為N層。在分層的同時,還有許多同等重要的事情,例如安全保障、運維服務、測試規(guī)范等等,要都說清楚,基本也就搞不清楚工業(yè)大數(shù)據(jù)是怎么回事了。所以我們今天只討論通用的、簡化的、適用于一般場景的架構,而且僅僅是業(yè)務和邏輯層面的,技術層面的我們后面再詳細說明。
工業(yè)大數(shù)據(jù)系統(tǒng)非常重要的,也是基礎的層次是數(shù)據(jù)采集。沒有數(shù)據(jù)采集,所有的強大的、華麗的、技術非常NB的各種東東只能躲在黑暗里哭泣,英雄無用武之地。在這一層,也是工業(yè)大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)差異非常大的一層,互聯(lián)網(wǎng)大樹的數(shù)據(jù)采集主要靠用戶的各種操作,例如網(wǎng)頁瀏覽、系統(tǒng)登錄、信息的互動、鼠標的點擊等,而工業(yè)大數(shù)據(jù)的數(shù)據(jù)來源更加多種多樣,最基本的是用于采集各類工業(yè)信號的傳感器,通過傳感器的采集,可以獲得機器設備的運行狀態(tài)、環(huán)境的指標、操作人的操作行為等各類信息。除通過傳感器采集的信息,還包括現(xiàn)場的視頻信息,各類圖像設備拍攝的圖片(例如,巡檢人員用手持設備拍攝的設備、環(huán)境信息圖片),語音及聲音信息(例如,操作人員的通話、設備運轉的音量等),遙感遙測信息等等,這些信息都是通過各類設備傳輸?shù)?。除此之外,還有操作人員手工錄入的各類信息,采集軟件抓取的企業(yè)內(nèi)網(wǎng)的信息、互聯(lián)網(wǎng)上與企業(yè)相關的信息等等。這些信息共同構成了數(shù)據(jù)采集的來源。
數(shù)據(jù)采集領域也是自動化和信息化交叉最多的領域,其實也是一般IT從業(yè)人員比較頭疼的領域,跨學科嘛,哈!
數(shù)據(jù)采集結束后,就進入了數(shù)據(jù)處理階段,這一階段,軟件人員就可以大顯身手了,大部分技術都和互聯(lián)網(wǎng)大數(shù)據(jù)技術差不太多。通常,我們會對采集到的數(shù)據(jù)先進行一定程度的處理,各類工業(yè)協(xié)議需要解析、視頻流需要解碼、語音需要識別等等,識別處理好后再對數(shù)據(jù)進行規(guī)范、清洗,洗刷刷完成后,干凈數(shù)據(jù)才好用。需要立即處理的數(shù)據(jù),例如報警、監(jiān)測等,直接送到實時處理系統(tǒng)中進行處理,不著急的非急診數(shù)據(jù)請進入倉庫,按照類型存起來先。然后慢慢分析加工。存儲可能會用到多種數(shù)據(jù)庫,包括工業(yè)實時數(shù)據(jù)庫、關系型數(shù)據(jù)庫、地理數(shù)據(jù)庫、分布式數(shù)據(jù)庫、非關系型數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫等,這些數(shù)據(jù)庫的整合、管理、鏈接又是工業(yè)大數(shù)據(jù)的一個難題,這個我們放到后面詳細談。今天先聊宏觀。
洗干凈、切成塊、冷凍好的紅燒肉,啊,不是,存儲好的工業(yè)數(shù)據(jù)如此之海量,怎么推送給用戶就成為數(shù)據(jù)可視化層要干的事情了。數(shù)據(jù)可視化最近也比較火,原先做報表的,現(xiàn)在都號稱大數(shù)據(jù)可視化公司了,其實,單純的大數(shù)據(jù)可視化是沒有意義的,沒有對工業(yè)業(yè)務的深入理解,很難做出讓客戶的滿意的可視化結果??梢暬ㄔS多方式,如報表、二維地圖、三維地圖、三維模型、短信、手機APP、微信、大屏等等,總之,通過一切手段讓用戶看到自己想看的數(shù)據(jù)即可。
-
互聯(lián)網(wǎng)
+關注
關注
55文章
11288瀏覽量
108263 -
大數(shù)據(jù)
+關注
關注
64文章
8997瀏覽量
142477 -
工業(yè)大數(shù)據(jù)
關注
0文章
72瀏覽量
8125
原文標題:工業(yè)大數(shù)據(jù)通用業(yè)務架構
文章出處:【微信號:gongkongBBS,微信公眾號:工控網(wǎng)智造工程師】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
工業(yè)大數(shù)據(jù)
工業(yè)大數(shù)據(jù)分析平臺的應用價值探討
什么是工業(yè)大數(shù)據(jù)?工業(yè)大數(shù)據(jù)應用的“3B”挑戰(zhàn)
工業(yè)大數(shù)據(jù)技術綜述
制造大數(shù)據(jù)和大數(shù)據(jù)制造,工業(yè)大數(shù)據(jù)有什么特點?
工業(yè)大數(shù)據(jù)挖掘的利器——Spark MLlib

評論