本期虹科云課堂直播課程即將接近尾聲。3月10日，“【虹科云課堂】虹科Flow——數(shù)據(jù)管道的可觀察性解決方案”直播課程圓滿結(jié)束，感謝大家的觀看與支持。虹小科為大家整理了課后筆記，請查收

導語

虹科云課堂

前面兩節(jié)直播給大家介紹過我們的pulse和torch，pulse是一款計算性能監(jiān)控產(chǎn)品，可以幫助企業(yè)消除計劃外停機，降低基礎(chǔ)設(shè)施成本并提高效率，torch是管理數(shù)據(jù)質(zhì)量的一款產(chǎn)品，它超越數(shù)據(jù)監(jiān)控，能對靜態(tài)數(shù)據(jù)、動態(tài)數(shù)據(jù)進行自動分類、編目和管理業(yè)務(wù)規(guī)則，跨數(shù)據(jù)湖、存儲庫監(jiān)控企業(yè)數(shù)據(jù)，助力企業(yè)數(shù)字化轉(zhuǎn)型。那么今天給大家介紹一款產(chǎn)品，F(xiàn)low，它是關(guān)于數(shù)據(jù)管道的可觀察性解決方案。

那么它如何幫助企業(yè)優(yōu)化數(shù)據(jù)管道性能呢？我們先不說答案，把文章看完，你就明白了，最后我們會總結(jié)這個問題的答案。

本文圍繞3部分展開

虹科云課堂

1、Flow產(chǎn)品介紹

2、Flow介紹功能詳解

（數(shù)據(jù)可觀察性相關(guān)概念可見之前直播）

01

F產(chǎn)品介紹

虹科云課堂

這里列舉了一些企業(yè)平時可能會遇到的業(yè)務(wù)挑戰(zhàn)，首先是不可靠的數(shù)據(jù)管道和爆炸式增長的成本，為了滿足企業(yè)內(nèi)部數(shù)據(jù)供應的持續(xù)爆炸式增長，供應商發(fā)布了各種工具，使數(shù)據(jù)管道的創(chuàng)建比以往任何時候都更加容易。因此，現(xiàn)代數(shù)據(jù)架構(gòu)迅速膨脹，在短時間內(nèi)變得越來越大、越來越復雜。新形式的數(shù)據(jù)管道也更容易出現(xiàn)問題。例如，如果出現(xiàn)硬件或網(wǎng)絡(luò)故障，實時事件流很容易丟失數(shù)據(jù)。第二個數(shù)據(jù)工程師依賴于耗時的手動數(shù)據(jù)操作和故障排除過程，花費太多時間查找和修復錯誤，陷入與數(shù)據(jù)準備和管道相關(guān)的手動重復流程。

第三個是數(shù)據(jù)和業(yè)務(wù)策略的制定不準確，數(shù)據(jù)管道中斷、數(shù)據(jù)損壞和其他問題可能會在更多地方以更高的速度發(fā)生。追蹤根本原因和修復問題可能非常耗時。這讓數(shù)據(jù)工程師沒有時間來擴展或優(yōu)化業(yè)務(wù)線要求的更具戰(zhàn)略性的數(shù)據(jù)計劃。還有就是在典型的大型企業(yè)中，數(shù)據(jù)處理的紀律性不足。由于缺乏對可用數(shù)據(jù)的可見性和理解，企業(yè)數(shù)據(jù)在大多數(shù)關(guān)鍵決策過程中都沒有得到有效利用。

最后一個是數(shù)據(jù)投資的回報較低，如今大多數(shù)公司都運行著龐大的混合基礎(chǔ)設(shè)施。他們將數(shù)據(jù)存儲在本地、托管服務(wù)器和 SaaS 云中。他們使用老式 SQL 關(guān)系數(shù)據(jù)庫、新式 NoSQL 鍵值存儲和尖端云數(shù)據(jù)倉庫（如 Snowflake）提供數(shù)據(jù)。使用 Kafka 流式傳輸實時數(shù)據(jù)，并從 Databricks 湖庫中提供 ML 應用程序，所有這些都以成為數(shù)據(jù)驅(qū)動的數(shù)字企業(yè)的名義。然而，他們部署的云原生數(shù)據(jù)應用程序越先進，其基礎(chǔ)設(shè)施就越復雜。云成本是動態(tài)的，使預測變得不穩(wěn)定，基于利用率的定價，也使得預算比服務(wù)器等資本投資或托管虛擬機典型的固定月費更難。近乎無限的可擴展性和即用即付定價相結(jié)合，使云成本高度波動。以至于現(xiàn)在管理 IT 成本和最大限度地提高投資回報率非常困難。

那么我們應該如何才能利用好數(shù)據(jù)做出正確、并且控制我們的成本和回報率的決策呢，可以試試利用Flow幫助我們。

Flow 是一種軟件開發(fā)工具包，可讓團隊觀察數(shù)據(jù)管道的健康狀況和性能。Flow 通過集成和監(jiān)控現(xiàn)有工作流平臺的性能，幫助數(shù)據(jù)工程師解決管道問題并優(yōu)化資源。該工具利用開源工作流平臺，如 Apache Airflow，并使用 API、數(shù)據(jù)源和轉(zhuǎn)換工具來構(gòu)建自定義工作流。

數(shù)據(jù)質(zhì)量問題和管道故障的一個主要原因是這些管道內(nèi)的轉(zhuǎn)換。今天的大多數(shù)數(shù)據(jù)架構(gòu)都是不透明的——你無法知道里面發(fā)生了什么。轉(zhuǎn)型正在發(fā)生，但當事情不如預期時，數(shù)據(jù)工程師并沒有太多的背景來解釋原因。

太多的 DataOps 團隊花費太多時間嘗試在沒有上下文的情況下診斷問題。而且，如果您遵循您的第一直覺并使用軟件應用程序性能管理工具 (APM) 來監(jiān)控 DataOps 管道，那么它很少會奏效。

管道測試框架允許數(shù)據(jù)工程師測試二進制語句。例如，列中的所有值是否唯一，或者模式是否匹配某個表達式。當測試失敗時，數(shù)據(jù)被標記為“壞”。有了這些信息，數(shù)據(jù)工程團隊可以診斷出質(zhì)量較差的數(shù)據(jù)并采取必要的步驟來解決問題。在管道中的不同步驟重復測試，這使數(shù)據(jù)工程師可以很容易地清楚地看到數(shù)據(jù)在管道的哪個階段/層破壞，并找到最合適的人來解決問題。

Flow通過提供對底層數(shù)據(jù)管道的全面可見性，幫助企業(yè)優(yōu)化業(yè)務(wù)流程性能、降低成本并最大限度地提高數(shù)據(jù)投資回報。由于它預先與 Pulse 和 Torch 集成，因此數(shù)據(jù)團隊不僅可以評估數(shù)據(jù)管道的完整性，還可以通過統(tǒng)一的用戶界面發(fā)現(xiàn)影響性能的底層數(shù)據(jù)處理或數(shù)據(jù)質(zhì)量問題。

數(shù)據(jù)管道可觀察性研究支持分析的數(shù)據(jù)管道的性能、可用性和利用率。數(shù)據(jù)工程師使用數(shù)據(jù)管道可觀察性產(chǎn)品來優(yōu)化數(shù)據(jù)交付以及支持管道的容器、存儲、計算和網(wǎng)絡(luò)資源的性能。

Flow可以幫助企業(yè)追蹤數(shù)據(jù)的生命周期，并且能夠監(jiān)控管道中的數(shù)據(jù)交互、數(shù)據(jù)模式和業(yè)務(wù)事件等等。它有以下三個特點，首先他能提高數(shù)據(jù)的可見性，跨混合數(shù)據(jù)湖和倉庫監(jiān)控數(shù)據(jù)，以確保質(zhì)量和可靠性。第二個特點是它能提高管道效率和可靠性，在問題影響性能之前預測并解決問題。最后一個特點是它使數(shù)據(jù)管道與業(yè)務(wù)目標保持一致，通過識別和消除瓶頸來降低數(shù)據(jù)管道成本，并針對資源、成本和時間等方面去優(yōu)化數(shù)據(jù)管道性能，并且進行自動化操作，以更少的資源管理數(shù)以千計的數(shù)據(jù)管道。

接下來看一下Flow的應用場景，第一個是電信、金融服務(wù)、能源、物聯(lián)網(wǎng)和電子商務(wù)行業(yè)以及任何依賴大量靜止數(shù)據(jù)和動態(tài)數(shù)據(jù)以滿足運營和分析需求的企業(yè)，第二個是使用 Airflow, Amazon Kinesis, Amazon Redshift, Amazon Web Services-Kafka, Apache HBase, Apache Spark的公司都可以考慮采用flow來檢測我們的數(shù)據(jù)管道并確?？缁旌蠑?shù)據(jù)湖和倉庫的數(shù)據(jù)可靠性。

今天，數(shù)據(jù)工程師、分析師和數(shù)據(jù)科學家花費數(shù)小時和數(shù)天來調(diào)試數(shù)據(jù)管道問題。數(shù)據(jù)精度錯誤也可能被忽視，在解釋儀表板時需要人工判斷。錯過的 SLA 可能會導致難以發(fā)現(xiàn)和修復根本原因。現(xiàn)有的監(jiān)控系統(tǒng)可以幫助解決黑白問題，即基于癥狀的警報適用于明確定義的問題，例如對失敗的作業(yè)或零行表的警報。大多數(shù)現(xiàn)實世界的問題都屬于灰色區(qū)域，現(xiàn)有的監(jiān)控解決方案是不夠的，因為無法預測每一種故障模式或系統(tǒng)可能出現(xiàn)異常行為的每一種可能方式。例如，數(shù)據(jù)倉庫超載導致作業(yè)完成延遲——依賴作業(yè)錯誤地開始處理數(shù)據(jù)，導致結(jié)果稍有不正確。任何監(jiān)控事件都不會生成警報，但最終結(jié)果是數(shù)據(jù)不準確。

可觀察性不僅僅是對監(jiān)控的重新命名?？捎^察性側(cè)重于提供對系統(tǒng)行為的高度精細的洞察以及豐富的上下文?？捎^察性側(cè)重于分布式跟蹤以生成用于調(diào)試的結(jié)構(gòu)化事件。

Flow功能詳解

虹科云課堂

02

我們希望幫助組織建成可靠的數(shù)據(jù)管道，我們希望幫助他們更快地擴展和創(chuàng)新，我們也希望幫助他們提高效率，降低他們的成本，所以基本上在流程中的兩個部分，首先是可見性，然后第二個是能夠查看不同的管道，能夠做交易，或者查看一個管道和另一個管道之間的交易，然后是成本效益分析。你想確保運行速度快或準時，你想確保管道中的數(shù)據(jù)是健康的，質(zhì)量好的，所以這是唯一一個真正將性能和質(zhì)量結(jié)合到管道健康狀況的單一視圖中的產(chǎn)品，所以粉紅色的氣泡顯示管道中發(fā)生的過程，綠色的盒子顯示數(shù)據(jù)。我們可以在一個視圖中向你展示處理過程的健康狀況和數(shù)據(jù)的健康狀況，然后基本上可以讓你向下鉆研，查看數(shù)據(jù)質(zhì)量的Torch，查看處理過程的性能，所以這是在高層次上。關(guān)于我們的管道，我想說的是，有些產(chǎn)品可以讓你在靜態(tài)視圖中查看線路或管道，但我們在每次運行管道時都會捕捉到圍繞管道的每個執(zhí)行的指標。

這里有一個管道視圖，我們?yōu)楣艿烂看芜\行的歷史記錄，當你運行時，當你看一個特定數(shù)據(jù)管道的執(zhí)行過程，我們可以告訴你這是如何執(zhí)行的，在整個過程中每一步的時間是什么，總體上是什么。我們還可以讓你進行比較，所以如果你想知道為什么今天比昨天花的時間長，可以讓你弄清楚流程中或管道中的什么地方。它的流程或你知道什么是可能運行得更快或不同的，它也有助于你在設(shè)計時，所以如果你設(shè)計，如果你正在尋找2個不同的架構(gòu)和2個不同的管道與不同的技術(shù)，也可能是兩種不同的云，比如一個在阿里云一個在華為云，你可以比較，看哪一個表現(xiàn)更好，哪一個更快和在哪些領(lǐng)域，哪一個性能更好，哪一個運行成本更低，這些都可以幫助你優(yōu)化你的設(shè)計，以及從性能的角度解決任何問題，然后你可以深入到任何特定的過程，看看這個過程是在哪里執(zhí)行的，圍繞這個過程做進一步的分析。通過比較一種架構(gòu)與另一種架構(gòu)的價格和性能以及每種架構(gòu)的相應遷移成本來優(yōu)化設(shè)計。這也有助于權(quán)衡增加新技術(shù)的好處和技術(shù)蔓延的壞處。這使你能夠合理調(diào)整現(xiàn)代化的短期投資，以獲得長期的收益，同時最大限度地減少技術(shù)蔓延。

如果你想點擊任何特定的資產(chǎn)，我們會告訴你它是什么時候被剖析的，如果它有數(shù)據(jù)質(zhì)量應用或和解政策，基本上確保數(shù)據(jù)從a點到b點。我們讓你全面了解該資產(chǎn)的健康狀況，然后我們還讓你深入了解數(shù)據(jù)質(zhì)量，所以這是流量的一個快速視圖，基本上是你的管道的運營視圖的綜合視圖，能夠看到每個執(zhí)行，能夠看到處理或計算性能健康，質(zhì)量健康，并能夠深入了解每個過程。

Flow提供的價值和關(guān)鍵功能如圖所示，

第一個是它能消除數(shù)據(jù)停機時間，在問題影響性能或?qū)е掠媱澩庵袛嘀埃A測和預防這些問題。通過監(jiān)控 SLA/SLO 并輕松、即時地識別異常，并跟蹤每個數(shù)據(jù)交易、握手和轉(zhuǎn)換，實現(xiàn)實時監(jiān)控數(shù)據(jù)模式、分布和業(yè)務(wù)事件；第二個是他能優(yōu)化數(shù)據(jù)工程生產(chǎn)力，自動化管道檢測，并通過數(shù)據(jù)傳輸、轉(zhuǎn)換、數(shù)據(jù)移動和復制生成高保真的遙測數(shù)據(jù)。flow可以立即識別和修復數(shù)據(jù)管道問題，即時創(chuàng)建和跟蹤自定義業(yè)務(wù)事件，并且與開箱即用的流行 ETL 工具集成；然后是它簡化數(shù)據(jù)管道操作，使用統(tǒng)一控制臺進行監(jiān)控、調(diào)查和補救。最后一個是它可以與流行的工具和平臺集成，輕松連接與常用的ETL和ELT工具，定制管道建立在Databricks,Snowpipe,Hive,Spark,and orchestration engines, such as Airflow and Oozie之上。

剛剛有說到一個問題，動態(tài)的云成本讓我們的數(shù)據(jù)回報率比較低，那么應該如何解決這種問題呢，首先我們需要為數(shù)據(jù)工程師提供多維數(shù)據(jù)可觀察性平臺比如說Flow，讓他們能夠精細地了解云數(shù)據(jù)成本。讓數(shù)據(jù)團隊繼續(xù)快速行動，同時保持在既定的財務(wù)范圍內(nèi)。

第二步是讓成本優(yōu)化成為數(shù)據(jù)工程文化中的一流指標。成本優(yōu)化必須從設(shè)計階段開始。在工程階段之后，它不能被動地完成。

第三步是通過使用數(shù)據(jù)可觀察性，節(jié)省調(diào)查支出異常的時間。這可以提供自動化的根本原因分析，以確定潛在的成本驅(qū)動因素，例如服務(wù)類型、特定的倉庫計算成本等。假如公司需要遷移數(shù)據(jù)到云上，我們通過比較一種架構(gòu)與另一種架構(gòu)的價格和性能以及每種架構(gòu)的相應遷移成本來優(yōu)化設(shè)計。這也有助于權(quán)衡添加新技術(shù)的好處與技術(shù)蔓延的不利因素。這使您能夠適當調(diào)整現(xiàn)代化的短期投資以獲得長期收益，同時最大限度地減少技術(shù)蔓延。

第四步是通過電子郵件、Slack 和其他渠道的自動警報，讓數(shù)據(jù)運營團隊（DataOps） 隨時了解意外成本事件。

最后讓數(shù)據(jù)團隊與其業(yè)務(wù)線、FinOps、IT 等方面的合作伙伴安排定期財務(wù)審查。就有關(guān)云數(shù)據(jù)合同、預算和預測的所有事項進行溝通。

介紹一下虹科數(shù)據(jù)可觀察性方案的特點：

第一個就是它可以快速、無縫地連接到你現(xiàn)有的堆棧，不需要修改你的管道，編寫新的代碼，或使用特定的編程語言。能夠快速實現(xiàn)價值和最大的測試覆蓋率，不需要進行大量投資。

第二個就是它監(jiān)控你的靜態(tài)數(shù)據(jù)，不需要從當前存儲的地方提取數(shù)據(jù)。也就是說這個解決方案具有良好的性能、可擴展性和成本效益。它還能確保你滿足最高級別的安全和合規(guī)要求。

它配置簡單，實際上不需要設(shè)置閾值。它使用ML模型來自動學習你的系統(tǒng)環(huán)境和數(shù)據(jù)。并且使用異常檢測技術(shù)，讓你知道什么時候可能會出現(xiàn)問題。它不僅考慮到個別指標，而且考慮到你的數(shù)據(jù)的整體視圖和任何特定問題的潛在影響，從而最大限度地減少錯誤的警報。你不需要花費資源去配置和維護復雜的規(guī)則。

它不需要事先對需要監(jiān)測的內(nèi)容和方式進行映射。它可以幫助你識別關(guān)鍵資源、關(guān)鍵依賴關(guān)系和關(guān)鍵不變量，這樣你就可以用很少的人力精力獲得廣泛的可觀察性。

它提供了豐富的上下文，能夠快速分流和排除故障。

它通過公開關(guān)于數(shù)據(jù)資產(chǎn)的豐富信息來防止問題的發(fā)生，這樣我們就可以主動地進行修改。

03

虹科方案為企業(yè)帶來的好處

虹科云課堂

通過我們這幾次的直播，我們可以了解到企業(yè)在數(shù)字轉(zhuǎn)型關(guān)鍵期面臨的一些問題是可以通過我們的產(chǎn)品去解決的，這邊也有一頁PPT去總結(jié)我們這三個產(chǎn)品能夠為企業(yè)提供的好處。

我們的產(chǎn)品可以從這四個層面對企業(yè)數(shù)據(jù)系統(tǒng)進行優(yōu)化調(diào)整，它是監(jiān)控和管理當今復雜數(shù)據(jù)存儲和管道的一種全方位方法。它有助于預測、預防和自動解決數(shù)據(jù)性能問題及其相關(guān)的人工智能和分析工作負載。它使用自動化和機器學習來關(guān)聯(lián)多個服務(wù)器、節(jié)點、集群、容器和應用程序中的數(shù)千個事件。

我們的解決方案提供了靜態(tài)數(shù)據(jù)數(shù)據(jù)和動態(tài)數(shù)據(jù)數(shù)據(jù)、數(shù)據(jù)處理以及數(shù)據(jù)傳輸管道的360度視圖。它創(chuàng)建解決方案并提供優(yōu)化，以保持數(shù)據(jù)性能的準確性、一致性和可用性，因此數(shù)據(jù)操作和工程團隊可以輕松滿足其所有SLA。

真正的數(shù)據(jù)可觀察性工具超越了傳統(tǒng)的數(shù)據(jù)編目和質(zhì)量工具，通過監(jiān)控更廣泛的數(shù)據(jù)風險，包括動態(tài)數(shù)據(jù)。他們還將更多任務(wù)自動化以減少手動工作，并使用機器學習來提高他們的檢測能力——例如數(shù)據(jù)移動、結(jié)構(gòu)變化（模式漂移）和數(shù)據(jù)趨勢（數(shù)據(jù)漂移）等領(lǐng)域?？傊?，數(shù)據(jù)可觀察性工具可以提供比其前輩更強大、更高效、更智能的數(shù)據(jù)管理能力。

我們不能忘記數(shù)據(jù)管道管理領(lǐng)域，數(shù)據(jù)可觀察性工具在該領(lǐng)域是無可匹敵的。他們可以通過在整個過程中提供持續(xù)的數(shù)據(jù)驗證來使管道更易于管理。它們還可以提高遷移到云的速度，降低數(shù)據(jù)存儲和處理成本，同時實現(xiàn)您的 SLA。換句話說，減少云時代數(shù)據(jù)管道的管理時間和成本。

云科技事業(yè)部

虹科電子

虹科在工業(yè)、制造業(yè)領(lǐng)域深耕了長達20年，隨著云技術(shù)的全面發(fā)展和數(shù)字化工廠的逐步落地，虹科參與了越來越多的云主題的業(yè)務(wù)，從最初的所有數(shù)據(jù)先統(tǒng)一采集上云，到后續(xù)的邊緣計算再上云，到現(xiàn)在的全面業(yè)務(wù)優(yōu)化、洞察研究、成本優(yōu)化等，虹科的云科技事業(yè)部已經(jīng)為行業(yè)的用戶實操并積累了豐富的解決方案和應用場景。它們包括：資源監(jiān)控、安全保障、多云的互聯(lián)互通、應用和數(shù)據(jù)牽引等。虹科云科技團隊在不斷順應國家策略，從技術(shù)創(chuàng)新、標準制定、豐富生態(tài)、安全保障、節(jié)能減排等五個方面，不斷創(chuàng)造出更好的產(chǎn)品，幫助工業(yè)制造業(yè)的用戶實現(xiàn)數(shù)字化轉(zhuǎn)型、實現(xiàn)基于數(shù)據(jù)的降本增效。

虹科云科技工程師團隊不斷參與美國和歐洲產(chǎn)業(yè)內(nèi)先進的專家培訓，學習和實踐創(chuàng)新的技術(shù)手段、操作性強的應用案例，并不斷引入到國內(nèi)的項目中完成落地和推廣，這讓我們團隊充滿了自豪感與使命感，賦予了我們當今時代極大的技術(shù)價值、工作成就感。