在如今數(shù)據(jù)被稱為新經(jīng)濟(jì)時(shí)代的石油的大背景下，數(shù)據(jù)管道是什么？處于什么位置？其技術(shù)和演進(jìn)趨勢(shì)又是怎么樣的？

2022年7月12日，在CSDN云原生系列在線峰會(huì)第13期“現(xiàn)代數(shù)據(jù)棧峰會(huì)”上，針對(duì)這些連續(xù)發(fā)問(wèn)，下秒數(shù)據(jù)CEO蔡致暖對(duì)數(shù)據(jù)管道1.0至3.0的迭代過(guò)程及技術(shù)特點(diǎn)進(jìn)行了詳細(xì)介紹。

數(shù)據(jù)管道和ETL

數(shù)據(jù)管道是一種重要的數(shù)據(jù)基礎(chǔ)設(shè)施，ETL管道是最常用的數(shù)據(jù)管道。

數(shù)據(jù)基礎(chǔ)設(shè)施是底座，數(shù)據(jù)管道作為數(shù)據(jù)庫(kù)及數(shù)據(jù)倉(cāng)庫(kù)的最佳拍檔，也是一種重要的數(shù)據(jù)基礎(chǔ)設(shè)施。

在了解數(shù)據(jù)管道具體是什么之前，首先要了解什么是ETL管道。ETL管道是從其源系統(tǒng)/數(shù)據(jù)庫(kù)中提取數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換，然后將其加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)庫(kù)中，從中獲取業(yè)務(wù)見(jiàn)解。

數(shù)據(jù)管道包含ETL管道，因?yàn)閷?duì)于數(shù)據(jù)管道來(lái)說(shuō)，數(shù)據(jù)的目的地不一定是數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)，也可以是其他的應(yīng)用程序，并且支持整個(gè)組織的數(shù)據(jù)編排、管理和使用。

數(shù)據(jù)管道中的步驟通常包括提取、轉(zhuǎn)換、組合、驗(yàn)證、可視化以及其他此類(lèi)數(shù)據(jù)分析過(guò)程。如果沒(méi)有數(shù)據(jù)管道，這些過(guò)程需要大量耗時(shí)而繁瑣的手動(dòng)步驟，并給人為錯(cuò)誤留下空間。數(shù)據(jù)管道的最佳類(lèi)比是傳送帶，它能高效、準(zhǔn)確地將數(shù)據(jù)傳送到流程的每一步。例如，數(shù)據(jù)管道可幫助數(shù)據(jù)從SaaS應(yīng)用高效地流向數(shù)據(jù)倉(cāng)庫(kù)等。

為什么說(shuō)數(shù)據(jù)管道是重要的數(shù)據(jù)基礎(chǔ)設(shè)施？

現(xiàn)如今企業(yè)數(shù)據(jù)孤島變得普遍，各類(lèi)SaaS應(yīng)用的使用頻率越來(lái)越高。數(shù)據(jù)管道解決的是如何自動(dòng)化地把不同來(lái)源的數(shù)據(jù)傳遞給組織中的人、系統(tǒng)、應(yīng)用程序，并將數(shù)據(jù)轉(zhuǎn)化為業(yè)務(wù)價(jià)值。數(shù)據(jù)管道扮演的不僅僅是一個(gè)數(shù)據(jù)傳送帶的作用，它還需要把不同來(lái)源的數(shù)據(jù)，經(jīng)過(guò)技術(shù)手段變成業(yè)務(wù)價(jià)值再傳送出去，最終讓組織方便地使用數(shù)據(jù)。

數(shù)據(jù)管道1.0：ETL技術(shù)和數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)管道1.0的關(guān)鍵詞是ETL與數(shù)據(jù)倉(cāng)庫(kù)，基于傳統(tǒng)ETL技術(shù)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的的過(guò)程可劃分為五步：

定義數(shù)據(jù)項(xiàng)目及相關(guān)業(yè)務(wù)需求；

確定項(xiàng)目的相關(guān)數(shù)據(jù)源；

定義特定業(yè)務(wù)問(wèn)題所需的數(shù)據(jù)模型（Schema）；

構(gòu)建ETL管道（提取、轉(zhuǎn)換和加載函數(shù)）；

進(jìn)行數(shù)據(jù)分析并獲得業(yè)務(wù)見(jiàn)解。

其關(guān)鍵特征在于，數(shù)據(jù)在加載到數(shù)據(jù)倉(cāng)庫(kù)之前需進(jìn)行轉(zhuǎn)換。這是因?yàn)樵?0世紀(jì)90年代，存儲(chǔ)、計(jì)算和帶寬十分昂貴，因此在將數(shù)據(jù)裝入倉(cāng)庫(kù)之前減少數(shù)據(jù)量至關(guān)重要。

傳統(tǒng)ETL技術(shù)的局限性

隨著數(shù)據(jù)處理技術(shù)的不斷演進(jìn)，傳統(tǒng)ETL技術(shù)難以適應(yīng)業(yè)務(wù)的發(fā)展，有較多弊端顯現(xiàn)：

不夠靈活、伸縮性差，一旦業(yè)務(wù)規(guī)則變化，管道需重新設(shè)計(jì)；

需持續(xù)維護(hù)，開(kāi)發(fā)工程師要深度參與，維護(hù)成本高；

技術(shù)復(fù)雜，可以使用各種不同的編程語(yǔ)言。

案例解析——業(yè)務(wù)邏輯稍復(fù)雜，維護(hù)成本奇高無(wú)比

上圖是一個(gè)典型的使用Kettle構(gòu)建的數(shù)據(jù)管道，涉及節(jié)點(diǎn)數(shù)量20余。在業(yè)務(wù)變化和需求修改增多的情況下，數(shù)據(jù)管道的復(fù)雜度和維護(hù)成本都會(huì)奇高無(wú)比。

數(shù)據(jù)管道2.0：ELT和云計(jì)算/大數(shù)據(jù)

數(shù)據(jù)管道2.0的主要目標(biāo)依舊是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，其關(guān)鍵詞是ELT與云計(jì)算/大數(shù)據(jù)。

在2.0階段，我們將ETL技術(shù)更換為ELT技術(shù)，這是因?yàn)殡S著大數(shù)據(jù)與云計(jì)算的發(fā)展，存儲(chǔ)、計(jì)算和帶寬成本大幅下降，組織可以在數(shù)據(jù)倉(cāng)庫(kù)中加載大量未轉(zhuǎn)換的數(shù)據(jù)，而不必?fù)?dān)心成本和限制。

ELT管道從源系統(tǒng)中提取數(shù)據(jù)并將其直接加載到數(shù)據(jù)倉(cāng)庫(kù)中，無(wú)需進(jìn)行轉(zhuǎn)換。數(shù)據(jù)入庫(kù)后針對(duì)特定業(yè)務(wù)，基于SQL或DBT（SQL擴(kuò)展）等工具進(jìn)行轉(zhuǎn)換和建模。

ELT解決了傳統(tǒng)ETL技術(shù)的痛點(diǎn)

ELT更加靈活，每個(gè)數(shù)據(jù)源的數(shù)據(jù)都可以存入庫(kù)中，EL過(guò)程不涉及業(yè)務(wù)轉(zhuǎn)化，可以實(shí)現(xiàn)標(biāo)準(zhǔn)化，進(jìn)而可以按需擴(kuò)展數(shù)據(jù)源、按需建模；

ELT更加普適，轉(zhuǎn)換和建模不再依賴編程語(yǔ)言，入庫(kù)后使用SQL即可；

ELT更加健壯，轉(zhuǎn)換層的故障（如上游架構(gòu)或下游數(shù)據(jù)模型更改時(shí)）不會(huì)阻止數(shù)據(jù)加載。

數(shù)據(jù)管道3.0：連接器和API經(jīng)濟(jì)

雖然數(shù)據(jù)管道2.0已經(jīng)實(shí)現(xiàn)了將數(shù)據(jù)都存入數(shù)據(jù)倉(cāng)庫(kù)中，但轉(zhuǎn)換和建模依然對(duì)技術(shù)具有高要求。以往做數(shù)據(jù)集成多以數(shù)據(jù)庫(kù)或文件為目標(biāo)，但隨著近年來(lái)SaaS應(yīng)用的普及，組織使用不同的應(yīng)用及工具開(kāi)展?fàn)I銷(xiāo)和經(jīng)營(yíng)活動(dòng)，

數(shù)據(jù)集成的技術(shù)門(mén)檻并沒(méi)有因?yàn)镋LT的到來(lái)而降低。

數(shù)據(jù)管道3.0——基于連接器和API經(jīng)濟(jì)，自動(dòng)化價(jià)值數(shù)據(jù)的流動(dòng)

實(shí)際上，數(shù)據(jù)管道3.0及數(shù)據(jù)管道2.0的ELT都是現(xiàn)代數(shù)據(jù)棧的組成部分。相較數(shù)據(jù)管道2.0，數(shù)據(jù)管道3.0主要在兩個(gè)方面做出了改變。

數(shù)據(jù)連接器的標(biāo)準(zhǔn)化和商品化：ELT為數(shù)據(jù)連接器的標(biāo)準(zhǔn)化打下了堅(jiān)實(shí)基礎(chǔ)，將問(wèn)題轉(zhuǎn)換為如何使數(shù)據(jù)連接器更易于構(gòu)建；

數(shù)據(jù)分析結(jié)果不應(yīng)該封閉在數(shù)據(jù)倉(cāng)庫(kù)或BI工具中，應(yīng)該通過(guò)API或數(shù)據(jù)編排自動(dòng)化，推動(dòng)組織中價(jià)值數(shù)據(jù)的流動(dòng)，如反向ETL。

數(shù)據(jù)管道3.0的主要特征

用戶特征

用戶無(wú)需關(guān)注技術(shù)，通過(guò)簡(jiǎn)單的配置就可以完成數(shù)據(jù)的連接處理分析，降低對(duì)開(kāi)發(fā)人員的依賴；

彈性的工作負(fù)載，按用量付費(fèi)。

技術(shù)特征

連接器標(biāo)準(zhǔn)化，數(shù)據(jù)集成可重用，大幅降低數(shù)據(jù)集成的成本及技術(shù)門(mén)檻；

轉(zhuǎn)換、建模以數(shù)據(jù)倉(cāng)庫(kù)和SQL為中心。

生態(tài)特征

易與其他工具（包括傳統(tǒng)ETL工具）集成；

利用社區(qū)的力量來(lái)構(gòu)建與維護(hù)連接器和模板化的數(shù)據(jù)模型。

總結(jié)

數(shù)據(jù)管道是一項(xiàng)重要的數(shù)據(jù)基礎(chǔ)設(shè)施，使用智能數(shù)據(jù)管道技術(shù)，能夠幫助組織將所有應(yīng)用程序、數(shù)據(jù)庫(kù)、事件和文件等數(shù)據(jù)信息提取到數(shù)據(jù)倉(cāng)庫(kù)中，并快速將分散的數(shù)據(jù)轉(zhuǎn)化為數(shù)據(jù)集、API、自動(dòng)化流程等開(kāi)箱即用的數(shù)據(jù)服務(wù)，釋放數(shù)據(jù)的價(jià)值。

審核編輯 黃昊宇