數(shù)據(jù)提取、轉(zhuǎn)換與加載(ETL，Extract-Transform-Load)工具能夠使組織內(nèi)的不同數(shù)據(jù)更易于訪問(wèn)、更有意義、也更能被其他數(shù)據(jù)系統(tǒng)所使用。通常情況下，面對(duì)由此產(chǎn)生的自寫代碼、自建系統(tǒng)的相關(guān)成本和復(fù)雜性時(shí)，企業(yè)會(huì)直接去選擇購(gòu)置ETL工具。

第一種選擇：您可以根據(jù)自身的情況，選擇各種開(kāi)源的ETL工具(請(qǐng)參考https://www.alooma.com/blog/open-source-etl-tools-comparison)，來(lái)進(jìn)行自行搭建。不過(guò)您往往會(huì)發(fā)現(xiàn)自己需要有更多的功能、靈活性與技術(shù)支持。

第二種選擇：與現(xiàn)有供應(yīng)商合作，選擇一種能夠很好地處理當(dāng)前數(shù)據(jù)源和數(shù)據(jù)流的解決方案。此處所說(shuō)的現(xiàn)有供應(yīng)商，一般是一些大品牌的廠商。

第三種選擇：最新的ETL平臺(tái)。這些通常是基于云端的解決方案，能夠?yàn)楝F(xiàn)有數(shù)據(jù)源到云端數(shù)據(jù)倉(cāng)庫(kù)的各種數(shù)據(jù)提供端到端的ETL支持。它們也是針對(duì)日益增長(zhǎng)的、基于網(wǎng)絡(luò)的大數(shù)據(jù)流量所構(gòu)建的。

本文將深入分析各種現(xiàn)有ETL工具的優(yōu)、缺點(diǎn)，并快速瀏覽各種最新的ETL平臺(tái)。

現(xiàn)有ETL工具概述

現(xiàn)有的ETL工具通常由業(yè)界知名公司(微軟，IBM等)所設(shè)計(jì)，因此其預(yù)裝的客戶群也比較龐大。

這些工具一般由一整套的工具所組成，并且能夠針對(duì)具體的問(wèn)題被予以定制。由于許多公司將其數(shù)據(jù)存儲(chǔ)在傳統(tǒng)的單一數(shù)據(jù)庫(kù)和系統(tǒng)之中，因此這些工具的制造商能夠提供用相應(yīng)的數(shù)據(jù)遷移工具，并支持現(xiàn)有的批處理方法。

常見(jiàn)的ETL工具

下面雖不是一份完整的清單，但它涵蓋了主要的工具產(chǎn)品。

1.IBM InfoSphere Information Server

作為一款ETL工具，IBM InfoSphere Information Server是IBM Information Platforms Solutions套件和IBM InfoSphere的一部分。它使用圖形符號(hào)來(lái)構(gòu)建數(shù)據(jù)的整合方案，并具備各種版本(包括服務(wù)器版，企業(yè)版和MVS版)。

2.Informatica PowerCenter

Informatica PowerCenter是一款ETL產(chǎn)品套件的總稱，它包括PowerCenter客戶端工具、服務(wù)器和存儲(chǔ)數(shù)據(jù)庫(kù)。

該軟件將數(shù)據(jù)存儲(chǔ)在庫(kù)中，以便客戶端工具和服務(wù)器能夠訪問(wèn)到。各種操作一般在服務(wù)器上被執(zhí)行，其服務(wù)器分別連接到源與目標(biāo)系統(tǒng)上以獲取數(shù)據(jù)，然后通過(guò)各種轉(zhuǎn)換，最終將數(shù)據(jù)加載到目標(biāo)系統(tǒng)之中。

3.iWay軟件

Information Builders的iWay集成套件具有將應(yīng)用程序與數(shù)據(jù)相集成的功能。客戶可以使用它們來(lái)管理結(jié)構(gòu)化、與非結(jié)構(gòu)化的信息。該套件包括有iWay數(shù)據(jù)遷移器、iWay服務(wù)管理器和iWay通用適配器框架。

4.Microsoft SQL Server Integration Services

Microsoft SQL Server集成服務(wù)(SSIS)是一個(gè)高性能的數(shù)據(jù)集成方案平臺(tái)，它包含了用于數(shù)據(jù)倉(cāng)庫(kù)的各種ETL包。

5.OpenText

OpenText集成中心是一個(gè)具有整合能力的平臺(tái)，各個(gè)企業(yè)能夠通過(guò)它來(lái)提取、增強(qiáng)、改造、整合數(shù)據(jù)，并且可以將數(shù)據(jù)內(nèi)容從一個(gè)或多個(gè)存儲(chǔ)庫(kù)遷移到任何新的目標(biāo)之上。

6.Oracle GoldenGate

Oracle GoldenGate是一款比較全面的軟件包，它能夠?qū)崿F(xiàn)在異構(gòu)的IT環(huán)境中進(jìn)行實(shí)時(shí)的數(shù)據(jù)集成與復(fù)制。

7.Pervasive軟件

Pervasive的數(shù)據(jù)集成平臺(tái)是一款企業(yè)級(jí)的數(shù)據(jù)集成軟件方案，它能夠幫助公司在任何類型的數(shù)據(jù)源和應(yīng)用程序之間建立起連接。同時(shí)，它還能支持各種實(shí)時(shí)集成的場(chǎng)景。

8.Pitney Bowes軟件

Pitney Bowes能夠提供大量針對(duì)數(shù)據(jù)集成的工具和解決方案。其Sagent Data Flow是一款靈活的整合引擎，它能夠采集不同來(lái)源的數(shù)據(jù)，并提供一套全面的數(shù)據(jù)轉(zhuǎn)換工具，以增強(qiáng)其核心的業(yè)務(wù)價(jià)值。

9.SAP Business Objects Data Services

以前被稱為Business Objects Data Integrator的SAP業(yè)務(wù)對(duì)象數(shù)據(jù)服務(wù)(BODS)是一款可被用于數(shù)據(jù)集成、質(zhì)量控制、分析和處理的ETL工具。它能夠幫助您將可信的數(shù)據(jù)整合并轉(zhuǎn)換到各個(gè)數(shù)據(jù)倉(cāng)庫(kù)的系統(tǒng)之中， 以產(chǎn)生分析報(bào)告。

10.SAS Data Management

SAS數(shù)據(jù)管理建立在SAS平臺(tái)之上，它是SAS投向ETL市場(chǎng)的一個(gè)工具。該平臺(tái)由一個(gè)包含了(20多種)SAS工具和服務(wù)的大型套件所組成。

11.Sun Java Composite Application Platform Suite

Sun的ETL與數(shù)據(jù)集成工具是大型Java復(fù)合應(yīng)用程序平臺(tái)套件(CAPS)中的一部分。它是Oracle公司的一款標(biāo)準(zhǔn)化企業(yè)服務(wù)總體套件(Enterprise Service Bus software suite)。Java CAPS的組件能夠整合現(xiàn)有應(yīng)用程序，并能在面向服務(wù)的架構(gòu)環(huán)境中提供新的業(yè)務(wù)服務(wù)。

12.SYBASE

Sybase ETL包括Sybase ETL Development和Sybase ETL Server。

Sybase ETL Development是一款用于創(chuàng)建和設(shè)計(jì)數(shù)據(jù)轉(zhuǎn)換項(xiàng)目與作業(yè)的GUI工具。該工具提供了一個(gè)完整的模擬與調(diào)試環(huán)境，旨在加速ETL轉(zhuǎn)換流程的開(kāi)發(fā)。Sybase ETL Development包含有一臺(tái)用于控制實(shí)際處理流程的ETL開(kāi)發(fā)服務(wù)器，它能夠連接到各個(gè)數(shù)據(jù)庫(kù)，并執(zhí)行相關(guān)過(guò)程。

Sybase ETL Server是一種可擴(kuò)展的分布式網(wǎng)格引擎，它使用轉(zhuǎn)換流(由Sybase ETL Development所設(shè)計(jì))來(lái)連接到各個(gè)數(shù)據(jù)源，通過(guò)提取數(shù)據(jù)，然后將數(shù)據(jù)加載到目標(biāo)之上。

13.Syncsort

SyncSort的云解決方案能夠訪問(wèn)并整合來(lái)自各種來(lái)源的數(shù)據(jù)，從而于將數(shù)據(jù)遷移到各個(gè)云端的存儲(chǔ)數(shù)據(jù)庫(kù)之中。

現(xiàn)有ETL工具的局限性

現(xiàn)有工具最大的局限性在于：它們被設(shè)計(jì)為“批量進(jìn)行工作”，即：采集數(shù)據(jù)、上傳數(shù)據(jù)、采集更多的數(shù)據(jù)、再上傳之。這種批量加載數(shù)據(jù)在某些情況下的確適用，但是在某些單獨(dú)的方法上會(huì)存在一些問(wèn)題。

數(shù)據(jù)批處理與轉(zhuǎn)換工具很難實(shí)現(xiàn)跨平臺(tái)的數(shù)據(jù)源采集，特別是在涉及到變更數(shù)據(jù)捕獲(CDC，Change Data Capture)的情況時(shí)。當(dāng)上傳批量數(shù)據(jù)出現(xiàn)問(wèn)題時(shí)，您需要跟蹤問(wèn)題、排除故障并盡快重新提交作業(yè)。而這種批量處理方式是非常致命的，因?yàn)槿绻跀?shù)據(jù)倉(cāng)庫(kù)中存在著超過(guò)24小時(shí)的、被API調(diào)用與分配的數(shù)據(jù);或者需要同時(shí)備份傳入的數(shù)據(jù)，那么這些CDC信息就可能因此而丟失或被覆蓋，從而造成巨大的問(wèn)題。

而面對(duì)越來(lái)越多的數(shù)據(jù)流和其他類型的數(shù)據(jù)源時(shí)，尤其是在需要盡快提供最新數(shù)據(jù)的需求下，這些批處理的工具集就更加不適合了。

最新ETL工具的概述

最新的ETL工具套件是以實(shí)時(shí)流量數(shù)據(jù)處理和云計(jì)算為基礎(chǔ)所構(gòu)建的。它們與先進(jìn)的云端數(shù)據(jù)倉(cāng)庫(kù)有著很好的集成，并能夠支持持續(xù)增長(zhǎng)的數(shù)據(jù)源和數(shù)據(jù)流。

如今的趨勢(shì)是：基于云的ETL服務(wù)。它們通常能夠提供對(duì)實(shí)時(shí)數(shù)據(jù)、智能模式檢測(cè)等方面的支持。

隨著對(duì)實(shí)時(shí)數(shù)據(jù)訪問(wèn)需求的出現(xiàn)，諸如Kafka之類的最新模型，都能夠?qū)崿F(xiàn)基于數(shù)據(jù)流的處理和分布式的消息隊(duì)列。以Alooma為代表的公司，通過(guò)新的技術(shù)提供了基于SaaS平臺(tái)和本地的解決方案。面對(duì)數(shù)據(jù)流，最新的ETL平臺(tái)能夠在完成加載的數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部，進(jìn)行不同級(jí)別的轉(zhuǎn)換，并通過(guò)Python、Java等代碼以實(shí)現(xiàn)完全控制。

而對(duì)于數(shù)據(jù)的完整性，最新的ETL平臺(tái)通過(guò)強(qiáng)大的內(nèi)置安全網(wǎng)絡(luò)，能夠?qū)崿F(xiàn)各種錯(cuò)誤的處理和報(bào)告。

常見(jiàn)的最新ETL平臺(tái)和工具

下面列出了常見(jiàn)的最新ETL平臺(tái)和工具：

1.Alooma

Alooma是一個(gè)為云服務(wù)構(gòu)建的企業(yè)數(shù)據(jù)管道(data pipeline)平臺(tái)。Alooma能夠提供一種現(xiàn)代的、可擴(kuò)展的、基于云端的ETL解決方案，它可以實(shí)時(shí)地將來(lái)自任何數(shù)據(jù)源的數(shù)據(jù)匯集到任何一個(gè)數(shù)據(jù)倉(cāng)庫(kù)之中。

錯(cuò)誤處理：處理、監(jiān)控/報(bào)告、整流(restreaming)

轉(zhuǎn)換：支持Python轉(zhuǎn)換的ETL

2.Confluent

Confluent是一個(gè)基于Apache Kafka的全面數(shù)據(jù)流平臺(tái)。它能夠在數(shù)據(jù)流中發(fā)布、訂閱、存儲(chǔ)并處理數(shù)據(jù)。Confluent提供了其平臺(tái)的開(kāi)源版本。

錯(cuò)誤處理：僅監(jiān)控

轉(zhuǎn)換：ETL，Kafka Streams API

3.Fivetran

Fivetran是一款SaaS類型的數(shù)據(jù)集成工具。它能夠從不同的云服務(wù)、數(shù)據(jù)庫(kù)和商業(yè)智能(BI)工具中提取數(shù)據(jù)，并將其加載到數(shù)據(jù)倉(cāng)庫(kù)之中。

錯(cuò)誤處理：僅監(jiān)控

轉(zhuǎn)型：有限的ELT

4.FlyData

FlyData是一款SaaS類型的數(shù)據(jù)遷移工具。它可用于管理MySQL、PostgreSQL、MariaDB、Percona的數(shù)據(jù)加載過(guò)程，并以CSV/TSV/JSON的格式記錄到Amazon的Redshift數(shù)據(jù)倉(cāng)庫(kù)之中。

錯(cuò)誤處理：緩沖式處理

轉(zhuǎn)型：有限的ELT

5.Matillion

Matillion能夠提供云端數(shù)據(jù)的集成。它是一款專為Amazon Redshift、Google BigQuery和Snowflake構(gòu)建的ETL工具。

錯(cuò)誤處理：僅通過(guò)代碼支持，但并非內(nèi)置

轉(zhuǎn)換：圖形化構(gòu)建的ETL

6.SnapLogic

SnapLogic提供了數(shù)據(jù)集成平臺(tái)即服務(wù)(data integration platform-as-a-service)的工具，可用于連接各種云端數(shù)據(jù)源、SaaS應(yīng)用和本地的商業(yè)軟件應(yīng)用。

錯(cuò)誤處理：支持，但并非內(nèi)置

轉(zhuǎn)換：圖形化構(gòu)建的ETL

7.Stitch Data

Stitch是一款云端優(yōu)先(cloud-first)的、開(kāi)發(fā)者專用工具，可用于快速地移動(dòng)數(shù)據(jù)。

錯(cuò)誤處理：手動(dòng)，記錄在拒絕表(rejection table)中

轉(zhuǎn)型：有限的準(zhǔn)ETL

8.StreamSets

StreamSets是原生云(cloud-native)的產(chǎn)品集合，可用于控制數(shù)據(jù)漂移，以及與數(shù)據(jù)、數(shù)據(jù)源、數(shù)據(jù)基礎(chǔ)架構(gòu)、數(shù)據(jù)處理有關(guān)的變化問(wèn)題。

錯(cuò)誤處理：有錯(cuò)誤記錄處理

轉(zhuǎn)換：代碼類和GUI的ETL

9.Striim

Striim(發(fā)音為“stream”)是一個(gè)實(shí)時(shí)的流媒體分析和數(shù)據(jù)集成平臺(tái)。

錯(cuò)誤處理：僅監(jiān)控

轉(zhuǎn)換：內(nèi)置和具有Java功能的ETL