什么是數(shù)據(jù)集成？

狹義的數(shù)據(jù)集成定義是指將不同源的數(shù)據(jù)組合成一個統(tǒng)一視圖。而更廣義的解釋是：數(shù)據(jù)集成是數(shù)據(jù)庫之間移動數(shù)據(jù)的過程 - 內(nèi)部，外部或兩者。這里，數(shù)據(jù)庫包括生產(chǎn)DBS，數(shù)據(jù)倉庫（DWS）以及生成和存儲數(shù)據(jù)的第三方工具和系統(tǒng)。

我們簡單整理了數(shù)據(jù)集成的相關(guān)技術(shù)釋義，包括iPAAS, iPAAS，CDP，ETL，ELT，以及反向ETL。同時，所有集成工具都使用相同的底層技術(shù)API

1.IPAAS或Integration Platform作為服務(wù)：數(shù)據(jù)在云應(yīng)用程序之間移動直接在IPAAS中沒有發(fā)生轉(zhuǎn)換

2.CDP或客戶數(shù)據(jù)平臺：數(shù)據(jù)通過中心集線器在云應(yīng)用程序之間移動，可實(shí)現(xiàn)適度的轉(zhuǎn)換功能

3.ETL或提取，轉(zhuǎn)換和加載：數(shù)據(jù)從云應(yīng)用程序通過內(nèi)置于ETL工具中的強(qiáng)大轉(zhuǎn)換圖層移動到數(shù)據(jù)倉庫

4.ELT或提取，加載和變換：數(shù)據(jù)從云應(yīng)用程序移動到數(shù)據(jù)倉庫直接發(fā)布，通過SQL在倉庫中發(fā)生轉(zhuǎn)換和數(shù)據(jù)建模。這里的主要區(qū)別在于，使用ETL，在將數(shù)據(jù)裝入倉庫之前發(fā)生轉(zhuǎn)換，而在ELT中，隨后發(fā)生轉(zhuǎn)換。

IPAAS或Integration平臺作為服務(wù)

促進(jìn)開發(fā)、執(zhí)行和集成流治理同任何本地（on-premises）以及基于云的流程、服務(wù)、應(yīng)用和數(shù)據(jù)連接的一套云服務(wù)，可以在獨(dú)立的或者多個交叉的組織中進(jìn)行"。

IPAAS的優(yōu)點(diǎn)，它們隱藏了優(yōu)秀Web應(yīng)用程序背后的大部分語法復(fù)雜性。中央集線器可以配置不同的模塊，這些模塊可以連接不同的工具，然后將結(jié)果提供給其他服務(wù)或應(yīng)用程序。

IPAAS的缺點(diǎn)，但是開發(fā)人員需要創(chuàng)建數(shù)據(jù)到達(dá)時如何進(jìn)行轉(zhuǎn)換的描述，要求用戶采用傳統(tǒng)的編程語言編寫函數(shù)，以便對數(shù)據(jù)進(jìn)行過濾和操作。

CDP或客戶數(shù)據(jù)平臺

1.統(tǒng)一客戶數(shù)據(jù)，統(tǒng)一客戶身份

CDP客戶數(shù)據(jù)平臺可以解決用戶場景斷點(diǎn)和分散問題，實(shí)現(xiàn)數(shù)據(jù)通融。

2.多場景的客群分析，深度洞察客戶

針對不同的運(yùn)營階段和業(yè)務(wù)場景，CDP可以提供不同的客戶行為數(shù)據(jù)分析模型，對目標(biāo)人群或全量客戶的留存情況/參與度進(jìn)行洞察，及時發(fā)現(xiàn)影響客戶增長的關(guān)鍵因素，指導(dǎo)市場決策、產(chǎn)品改進(jìn)、促進(jìn)用戶轉(zhuǎn)化等。

ETL或提取，轉(zhuǎn)換和加載

ETL是一種傳統(tǒng)的數(shù)據(jù)集成過程。首先從一方數(shù)據(jù)庫和第三方來源提取數(shù)據(jù)（主要是SaaS工具，用于銷售，營銷和支持），以滿足分析師和數(shù)據(jù)科學(xué)家的需求，最后裝入數(shù)據(jù)倉庫。

轉(zhuǎn)型特別是資源 - 激勵和耗時，這顯著影響提取和數(shù)據(jù)加載之間所需的時間。

但是，由于倉儲技術(shù)和生態(tài)系統(tǒng)的進(jìn)步，ETL正在被ELT所取代，ELT相對會更快，更靈活。

ELT或提取，加載和變換

ELT是ETL的現(xiàn)代方法，這在很大程度上提高效率，因?yàn)樵茢?shù)據(jù)倉庫的發(fā)展，在ELT范例下，數(shù)據(jù)從源系統(tǒng)中提取并加載到倉庫中而不會發(fā)生任何轉(zhuǎn)換。事實(shí)上，現(xiàn)代ELT工具甚至沒有提供內(nèi)置的轉(zhuǎn)換功能，但與DBT這樣的服務(wù)很好地集成了用于處理數(shù)據(jù)倉庫內(nèi)的轉(zhuǎn)換層的DBT。ELT快速，實(shí)惠，最重要的是，不需要編碼，所有這些都是從ETL到ELT的轉(zhuǎn)變。

目前我國目前數(shù)據(jù)集成的主流是ETL ,但是作為一種傳統(tǒng)技術(shù)，在未來使用ELT作為數(shù)據(jù)集成架構(gòu)的將會越來越多。

審核編輯 黃昊宇