十年前就在使用SAP的客戶(hù)詢(xún)問(wèn)我當(dāng)時(shí)突然出現(xiàn)的新事物：大數(shù)據(jù)。五年前，變成了數(shù)據(jù)湖和機(jī)器學(xué)習(xí)?，F(xiàn)在一切都是關(guān)于數(shù)據(jù)集成，當(dāng)然還有人工智能。有時(shí)處理數(shù)據(jù)的基本方法已經(jīng)改變或者發(fā)展。有時(shí)只是名字的改變。例如，在過(guò)去十年中，數(shù)據(jù)湖演變成數(shù)據(jù)網(wǎng)格（Data Meshes)，當(dāng)你想到它時(shí)，它只不過(guò)是一個(gè)相互連接的稍微復(fù)雜的數(shù)據(jù)湖。

那么有一個(gè)問(wèn)題:如何集成SAP數(shù)據(jù)？

十年前很熱門(mén)的一個(gè)話(huà)題現(xiàn)在仍然很熱門(mén):如何將SAP數(shù)據(jù)與Hadoop集群或企業(yè)多云集成?每個(gè)超大規(guī)模云廠商都有一個(gè)現(xiàn)成的答案，但是如果您是SAP客戶(hù)，您不會(huì)對(duì)其中的每一個(gè)都100%滿(mǎn)意。這就是為什么我們創(chuàng)建了解決方案SNP Glue。

近期的Glue系列文章，我們將深入探討將SAP與您選擇的云技術(shù)集成所面臨的挑戰(zhàn)，以及我們?nèi)绾螒?yīng)對(duì)這些挑戰(zhàn)。我們將自己的技術(shù)構(gòu)建為中間件是有充分理由的，從各種SAP數(shù)據(jù)源的增量捕獲到性能和靈活性。

第一篇文章中，我將介紹背景，而在后續(xù)的文章中，將詳細(xì)介紹云廠商以及SNP Glue與它們進(jìn)行技術(shù)集成的功能。

為什么要將SAP與云數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)湖集成?

現(xiàn)在最顯而易見(jiàn)的答案是“這樣你就可以在這些數(shù)據(jù)上釋放現(xiàn)代人工智能的力量”……

然而，公平地說(shuō)，雖然這在某種程度上可能是正確的，但現(xiàn)實(shí)往往要簡(jiǎn)單得多!

在SNP，我們看到兩種客戶(hù)案例:

第一種是單一集成場(chǎng)景，就像一個(gè)專(zhuān)門(mén)的應(yīng)用程序來(lái)幫助用戶(hù)處理供應(yīng)鏈的單一方面。或者儀表盤(pán)?；蛘咭愿叨冗x擇性的方式向外部審計(jì)人員提供數(shù)據(jù)。

第二個(gè)是大規(guī)模的SAP集成，每個(gè)生產(chǎn)系統(tǒng)中幾乎所有SAP應(yīng)用程序表都需要對(duì)云中的數(shù)據(jù)湖可用。

用例是多重的，包括報(bào)告、指示板、審計(jì)、供應(yīng)鏈優(yōu)化、預(yù)測(cè)性維護(hù)、減少客戶(hù)流失等等。顯然，在SAP數(shù)據(jù)副本上實(shí)現(xiàn)這樣的用例(其中一些個(gè)人數(shù)據(jù)可能因GDPR原因而匿名!)有許多優(yōu)點(diǎn)，最明顯的是避免對(duì)SAP的任何性能影響。其他優(yōu)點(diǎn)是更容易混合來(lái)自多個(gè)數(shù)據(jù)源的數(shù)據(jù)，并為AI/ML使用云特定功能。

顯然，當(dāng)一項(xiàng)技術(shù)能夠很好地?cái)U(kuò)展到第二種情況時(shí)，您也可以覆蓋第一種情況。然而，考慮到SAP ERP的巨大范圍，集成的技術(shù)需要非常強(qiáng)大。

這樣的軟件需要涵蓋這些不同的方面和特性。最明顯的是實(shí)現(xiàn)真正的可擴(kuò)展性。SNP Glue可以將數(shù)以萬(wàn)計(jì)的SAP表從多個(gè)SAP生產(chǎn)系統(tǒng)復(fù)制到云中，從而使數(shù)據(jù)可用于廣泛的用例。初始滿(mǎn)載和增量，理想情況下以大規(guī)模并行的方式。使用SNP Glue, SNP客戶(hù)完全可以實(shí)現(xiàn)這一點(diǎn)，例如，近乎實(shí)時(shí)地從一長(zhǎng)串SAP系統(tǒng)(包括ERP和BW)中復(fù)制50,000個(gè)SAP表到云中的數(shù)據(jù)湖。

如果沒(méi)有良好的CDC(更改數(shù)據(jù)捕獲)，即增量復(fù)制，您將需要定期執(zhí)行全負(fù)載。數(shù)據(jù)將不斷過(guò)時(shí)。CDC可以針對(duì)不同的SAP數(shù)據(jù)源使用不同的技術(shù)來(lái)實(shí)現(xiàn)，例如，數(shù)據(jù)庫(kù)觸發(fā)器適用于ERP，但不適用于SAP BW。

為了獲得良好的性能并最大程度地減少數(shù)據(jù)在必須經(jīng)過(guò)的不同躍點(diǎn)鏈中的潛在“故障點(diǎn)”，您需要將目標(biāo)定位在 SAP 數(shù)據(jù)源和數(shù)據(jù)存儲(chǔ)（例如 Snowflake）之間建立直接的連接。通過(guò)減少中間人、潛在的故障點(diǎn)，從而使集成變得更加穩(wěn)固。

根據(jù)數(shù)據(jù)源、SAP模塊或應(yīng)用程序以及場(chǎng)景，您需要區(qū)分“應(yīng)用程序集成”和“數(shù)據(jù)集成”。應(yīng)用程序集成將更多地在源端由事件驅(qū)動(dòng)(例如通過(guò)SAP Business Events、SAP bapi)，而在接收端由事件代理驅(qū)動(dòng)(例如Kafka)。對(duì)于數(shù)據(jù)集成場(chǎng)景，您需要考慮使用原始SAP表來(lái)擴(kuò)展集成解決方案并覆蓋盡可能多的領(lǐng)域。

SAP數(shù)據(jù)-關(guān)鍵且復(fù)雜

SAP數(shù)據(jù)往往是“特殊的”。在技術(shù)層面和應(yīng)用層面都是如此。例如，一旦您必須根據(jù)貨幣鍵將小數(shù)點(diǎn)插入SAP金額字段，而貨幣鍵在同一數(shù)據(jù)庫(kù)表中找不到，您就會(huì)知道我所說(shuō)的“技術(shù)困難”是什么意思。集成解決方案不僅需要擴(kuò)展和執(zhí)行，還需要能夠覆蓋這些技術(shù)(不用說(shuō)，SNP Glue就可以)。此外，對(duì)于任何SAP集成解決方案，我建議不要忘記與數(shù)據(jù)目錄集成的必要性。

在應(yīng)用程序級(jí)別，SAP 數(shù)據(jù)的性質(zhì)在結(jié)構(gòu)化數(shù)據(jù)（例如 SAP ERP 表）、非結(jié)構(gòu)化數(shù)據(jù)（例如 SAP 存檔或 SAP 過(guò)賬附件）、非 ERP 數(shù)據(jù)（例如 SAP BW 查詢(xún)）或直接訪(fǎng)問(wèn) SAP 事務(wù)代碼輸出之間差異很大。一個(gè)好的集成解決方案應(yīng)該能夠處理許多這些數(shù)據(jù)源，而不僅僅是表。

ETL to ELT

最后，對(duì)于大規(guī)模場(chǎng)景，您還需要從古老的 ETL 范式（提取-轉(zhuǎn)換-加載）更改為 ELT 范式，其中數(shù)據(jù)首先遷移（提取和加載），然后才轉(zhuǎn)換（即過(guò)濾、清理、豐富、與其他源相結(jié)合等）。但是，這并不意味著 SAP 集成解決方案中不需要任何 ETL 功能。例如，在提取數(shù)據(jù)時(shí)應(yīng)該可以直接屏蔽一些個(gè)人數(shù)據(jù)（同樣，不用說(shuō)，SNP Glue 不僅如此，而且通過(guò)原生SAP 集成還可以做到這一點(diǎn)）。

SNP Glue涵蓋了所有類(lèi)型的數(shù)據(jù)目標(biāo)。我們的解決方案最初是為了將SAP與基于Hadoop的數(shù)據(jù)湖集成而構(gòu)建的，現(xiàn)已發(fā)展到涵蓋anyDB和anyCloud：

anyDB, i.e. Oracle, SAP DB, SAP ASE, SAP IQ, Microsoft SQL Server, DB2, DB4, DB6, …

anyCloud, i.e. AWS (e.g. redshift), Azure (e.g. Azure SQL), GCP (e.g. BigQuery), and Snowflake

anyTargets, 更多數(shù)據(jù)源和數(shù)據(jù)目標(biāo)平臺(tái)將在下期介紹中闡述

最后，關(guān)于如何安裝和部署SNP Glue。這相當(dāng)簡(jiǎn)單：SNP Glue 部署為基于 ABAP 的插件，適用于所有類(lèi)型的 SAP 部署：

經(jīng)典的SAP本地部署安裝

托管SAP以及基于私有云的SAP 安裝

SAP Rise

與此同時(shí)，我們正在推出其他功能，以最小的SAP占用空間添加基于云原生的本機(jī)部署，以及原生非SAP功能，以便能夠利用SAP Netweaver以外的數(shù)據(jù)源，具有極大的靈活性和可擴(kuò)展性。

審核編輯 黃宇