不可否認(rèn)，大數(shù)據(jù)已經(jīng)在 21 世紀(jì)掀起一場(chǎng)驚濤駭浪。很多人懷揣著成為數(shù)據(jù)科學(xué)家的夢(mèng)想進(jìn)入數(shù)據(jù)科學(xué)世界，上期我們提到了數(shù)據(jù)分析。其實(shí)，數(shù)據(jù)分析是一個(gè)數(shù)據(jù)消費(fèi)的過(guò)程，在數(shù)據(jù)消費(fèi)之前的數(shù)據(jù)準(zhǔn)備工作，叫做數(shù)據(jù)工程。

數(shù)據(jù)是由許多數(shù)據(jù)源產(chǎn)生的，像生產(chǎn)執(zhí)行系統(tǒng)MES，各種輔助生產(chǎn)的應(yīng)用系統(tǒng)，產(chǎn)線的設(shè)備。這些數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)我們把它叫做原始數(shù)據(jù)。

為了讓業(yè)務(wù)決策者使用這些數(shù)據(jù)，需要對(duì)其進(jìn)行采集，清理，轉(zhuǎn)換，存儲(chǔ)，組合，聚合，處理過(guò)后的數(shù)據(jù)才是有價(jià)值的數(shù)據(jù)。

設(shè)計(jì)和實(shí)現(xiàn)這些數(shù)據(jù)處理的過(guò)程叫做數(shù)據(jù)工程。

數(shù)據(jù)的采集，清洗，轉(zhuǎn)換處理，是整個(gè)數(shù)據(jù)工程的關(guān)鍵，通常我們可以用ETL（Extract-Transform-Load）技術(shù)來(lái)實(shí)現(xiàn)。

隨著工廠的發(fā)展，各生產(chǎn)線，各部門(mén)都會(huì)搭建自己的應(yīng)用系統(tǒng)方便開(kāi)展自己的業(yè)務(wù)，隨著數(shù)字化建設(shè)的不斷深入，由于業(yè)務(wù)系統(tǒng)之間各自為政，相互獨(dú)立造成的數(shù)據(jù)孤島現(xiàn)象尤為普遍，業(yè)務(wù)不集成，數(shù)據(jù)不共享，給工廠進(jìn)行數(shù)據(jù)的報(bào)表開(kāi)發(fā)，數(shù)據(jù)分析，數(shù)據(jù)挖掘帶來(lái)了巨大困難。

通過(guò)ETL可以連接數(shù)據(jù)孤島，將分離的業(yè)務(wù)數(shù)據(jù)整合在一起，統(tǒng)一的采集，處理，共享。

數(shù)據(jù)倉(cāng)庫(kù)是工廠的數(shù)據(jù)中心，所有系統(tǒng)產(chǎn)生的原始數(shù)據(jù)都流向數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)的存儲(chǔ)，標(biāo)準(zhǔn)化，組合都在數(shù)據(jù)倉(cāng)庫(kù)中完成，最終把有價(jià)值的數(shù)據(jù)提供給各大數(shù)據(jù)應(yīng)用系統(tǒng)。

可以說(shuō)數(shù)據(jù)倉(cāng)庫(kù)不產(chǎn)生數(shù)據(jù)，也不消費(fèi)數(shù)據(jù)，只是數(shù)據(jù)的搬運(yùn)工。

總的來(lái)說(shuō)，如果把數(shù)據(jù)消費(fèi)過(guò)程比作一盤(pán)美味的酸辣土豆絲，那數(shù)據(jù)工程就是個(gè)做菜的過(guò)程，土豆、蔥姜蒜、干紅辣椒、鹽、糖、醋這些原材料就是原始數(shù)據(jù)；去菜場(chǎng)買(mǎi)菜就好比數(shù)據(jù)采集；數(shù)據(jù)清理就是洗土豆，削皮；數(shù)據(jù)轉(zhuǎn)換就好比土豆切成絲，姜蔥蒜切末，辣椒切斷。然后準(zhǔn)備工作做好以后就開(kāi)始炒菜，放入蔥姜蒜末，辣椒段和土豆絲，炒菜過(guò)程中會(huì)加入適量的醋，鹽，糖調(diào)味，這就好比在對(duì)數(shù)據(jù)做組合，聚合處理。而這一切都是發(fā)生在數(shù)據(jù)倉(cāng)庫(kù)這個(gè)大廚房。最后呈現(xiàn)就是一盤(pán)美味的酸辣土豆絲啦！

據(jù)統(tǒng)計(jì)，一個(gè)數(shù)據(jù)分析的項(xiàng)目接近80%的時(shí)間會(huì)花在準(zhǔn)備數(shù)據(jù)上，這就是數(shù)據(jù)工程的意義所在。

工業(yè)大數(shù)據(jù)時(shí)代，在制造業(yè)產(chǎn)品的全生命周期從市場(chǎng)規(guī)劃、設(shè)計(jì)、制造、銷(xiāo)售、維護(hù)等過(guò)程都會(huì)產(chǎn)生大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

而智能工廠利用物聯(lián)網(wǎng)、人工智能、云計(jì)算、大數(shù)據(jù)技術(shù)提高服務(wù)和生產(chǎn)，其本質(zhì)是實(shí)現(xiàn)了人、機(jī)器、設(shè)備、IT系統(tǒng)的通過(guò)數(shù)據(jù)互聯(lián)互通。

產(chǎn)生的數(shù)據(jù)越來(lái)越多，數(shù)據(jù)采集和集成的需求也越來(lái)越多，負(fù)責(zé)數(shù)據(jù)采集和集成的數(shù)據(jù)工程在向智能工廠邁進(jìn)的數(shù)字化轉(zhuǎn)型中扮演著舉足輕重的角色。