上周，【虹科云課堂】數(shù)據(jù)管理與可視化解決方案前兩期課程圓滿結(jié)束，感謝大家的觀看與支持。虹小科為大家整理了課后筆記，本篇文章為第二次直播課后筆記，請查收

導(dǎo)語

虹科云課堂

上周二我們已經(jīng)了解了什么是數(shù)據(jù)可觀察性，它能夠在混合多云環(huán)境中提供端到端的可觀察性的解決方案，數(shù)據(jù)可觀察性可以將現(xiàn)代數(shù)據(jù)系統(tǒng)的數(shù)據(jù)、計算和管道層中的事件關(guān)聯(lián)起來，以提供對企業(yè)數(shù)據(jù)管道的健康和可靠性的全面可見性。

Datadog 和 New Relic 等應(yīng)用程序性能管理 (APM) 工具為開發(fā)人員提供了基礎(chǔ)設(shè)施問題的透明度。在 APM 工具出現(xiàn)之前，只有管理員負(fù)責(zé)處理性能問題。

然而數(shù)據(jù)可觀察性可以說是建立在APM的基礎(chǔ)之上的，是由APM演變過來的，它的重點是開發(fā)數(shù)據(jù)的多維視圖，包括性能、質(zhì)量及其對堆棧其他組件的影響。數(shù)據(jù)可觀察性的總體目標(biāo)是查看數(shù)據(jù)對業(yè)務(wù)需求和目標(biāo)的支持程度。

最后一個是它如何幫助企業(yè)降本增效？

那我們先不說答案，把文章看完，你就明白了，最后我們會總結(jié)這個問題的答案。

本文圍繞3部分展開

虹科云課堂

1、Pulse產(chǎn)品介紹

2、Pulse介紹功能詳解

（數(shù)據(jù)可觀察性具體概念可見3月1日直播）

01

Pulse產(chǎn)品介紹

虹科云課堂

首先來看一下產(chǎn)品介紹，這里列舉了一些企業(yè)平時可能會遇到的問題，第一個是數(shù)據(jù)系統(tǒng)可能會發(fā)生意外的中斷或減速，系統(tǒng)的不穩(wěn)定導(dǎo)致了耗時的操作問題和日常運維排錯，同時也會對業(yè)務(wù)產(chǎn)生影響，這種操作問題可能會導(dǎo)致開發(fā)人員效率低下，項目進(jìn)度會被嚴(yán)重影響。

第三個就是企業(yè)中需要大量的計算節(jié)點，在大規(guī)模高訪問量業(yè)務(wù)下現(xiàn)有的數(shù)據(jù)系統(tǒng)性能無法跟上其快速擴(kuò)展的業(yè)務(wù)需求，當(dāng)業(yè)務(wù)訪問處于高峰期時，系統(tǒng)負(fù)載過高，訪問速度慢，甚至服務(wù)器可能會崩潰，企業(yè)會經(jīng)歷比較長的(MTTR)平均修復(fù)時間、頻繁的中斷和性能瓶頸。

第四個就是不良的數(shù)據(jù)導(dǎo)致企業(yè)收入降低。在過去的一年中，大概有五分之一的公司因數(shù)據(jù)不良而失去收入和客戶。比如保險行業(yè)，與 10 年甚至 5 年前相比，保險公司正在通過越來越多的關(guān)鍵工作流獲取越來越多的第三方數(shù)據(jù)。第三方數(shù)據(jù)（即保單索賠、財務(wù)信息和 PPI）通常是手動匯總的，增加了錯誤的可能性。對于保險業(yè)而言，丟失或錯誤的數(shù)據(jù)可能會對業(yè)務(wù)產(chǎn)生重大影響，導(dǎo)致收入損失、業(yè)務(wù)決策失誤以及缺乏客戶信任。

最后一個就是公司有限的人才和技術(shù)資源來處理日益復(fù)雜的快速變化的技術(shù)。公司創(chuàng)建了數(shù)據(jù)運營團(tuán)隊，并迅速為他們配備了數(shù)據(jù)架構(gòu)師、數(shù)據(jù)工程師、數(shù)據(jù)管理員等。然而，為了在保持?jǐn)?shù)據(jù)流動的同時獲得對快速增長的數(shù)據(jù)基礎(chǔ)設(shè)施的控制權(quán)，大多數(shù)企業(yè)數(shù)據(jù)運營團(tuán)隊對手頭的管理工具做出了隨意的選擇，比如選擇數(shù)據(jù)監(jiān)控工具或APM或者混著用免費的開源工具，但問題是技術(shù)發(fā)展如此之快，業(yè)務(wù)需求變化如此之快，管理如此多的工具浪費時間而效率低下，并且用警報轟炸管理人員，卻沒有提供提前解決潛在問題的方法。

那么，面對這些問題，我們推出pulse這個產(chǎn)品，Pulse 是一種數(shù)據(jù)可觀察性和計算性能監(jiān)控工具。它能夠提高跨混合數(shù)據(jù)湖和倉庫的企業(yè)分析和人工智能系統(tǒng)的可見性。Pulse將來自混合系統(tǒng)的信息整理成一個整體視圖，使數(shù)據(jù)團(tuán)隊能夠?qū)栴}作出快速反應(yīng)，預(yù)測和預(yù)防未來的問題，避免重新處理數(shù)據(jù)，優(yōu)化現(xiàn)有資源，快速擴(kuò)展，并有效管理成本。改善數(shù)據(jù)處理的可靠性、規(guī)模和成本。

當(dāng)通過管道的數(shù)據(jù)流受到破壞時，它會阻止用戶獲取所需信息，從而導(dǎo)致根據(jù)不完整或不正確的信息做出決策。同時在各種云平臺、技術(shù)和應(yīng)用程序之間監(jiān)控數(shù)據(jù)流對組織來說是一項重大挑戰(zhàn)。為了在性能問題對業(yè)務(wù)產(chǎn)生負(fù)面影響之前識別和解決它們，組織需要能夠提供管道宏觀視圖的數(shù)據(jù)可靠性工具。那么pulse就是這種工具，它提供全面、實時且可操作的策略，它使用外部輸出了對系統(tǒng)內(nèi)部狀態(tài)的度量。通過一個用戶友好的UI界面就可以看到端到端的管道，這使管理人員能夠看到問題發(fā)生在哪里，影響到什么，以及問題來自哪里。

那么是誰在用Pulse呢？

Pulse 為開發(fā)人員、數(shù)據(jù)科學(xué)家和運營人員提供關(guān)于數(shù)據(jù)的集成可見。Pulse將跨基礎(chǔ)設(shè)施、應(yīng)用程序和數(shù)據(jù)層的事件關(guān)聯(lián)起來，并且在一個單一的儀表板管理界面就能綜合多個層次和工作負(fù)載的信號，以提供對單個組件、數(shù)據(jù)管道和系統(tǒng)性能的全面了解。這種方法可以幫助眾多團(tuán)隊通過預(yù)測、識別和修復(fù)數(shù)據(jù)問題來確?？煽啃?。

現(xiàn)在都說企業(yè)要實現(xiàn)數(shù)字化轉(zhuǎn)型，成為數(shù)據(jù)驅(qū)動的公司，那獲得良好的數(shù)據(jù)是第一步，比如說銀行保險業(yè)要數(shù)字化轉(zhuǎn)型，但是可能會遇到與傳統(tǒng)經(jīng)營管理方式的新型風(fēng)險，比如數(shù)據(jù)安全、網(wǎng)絡(luò)安全、隱私保護(hù)和數(shù)據(jù)合規(guī)使用等等，面對這些數(shù)據(jù)問題，這時候就需要pulse了，它能加速企業(yè)數(shù)字化轉(zhuǎn)型,提高數(shù)據(jù)系統(tǒng)的可靠性、可擴(kuò)展性和恢復(fù)能力。

預(yù)測和預(yù)防問題，pulse可以識別數(shù)據(jù)問題的早期預(yù)警跡象，快速查明根本原因，并自動化預(yù)防性維護(hù)，以避免業(yè)務(wù)中斷，加快云遷移和性能驗證，將新技術(shù)采用率提高50%，滿足SLA，減少MTTR，增加新的MTBF（平均無故障時間）指標(biāo)，會以周和月為單位。

接下來我們看一下它的特點：首先它可以實時監(jiān)控和分析數(shù)百個作業(yè)以找出異常值。Pulse與所有現(xiàn)代數(shù)據(jù)系統(tǒng)集成，包括 Amazon EMR,Redshift, Apache HBase, Hive,Spark等等，收集每個軟件平臺對應(yīng)的指標(biāo)進(jìn)行趨勢分析和異常檢測。

第二個是它使用整個應(yīng)用程序歷史記錄有效地調(diào)試應(yīng)用程序，這就是相當(dāng)我們寫代碼遇到錯誤去調(diào)試代碼一樣的，它根據(jù)應(yīng)用程序正確運行時的歷史記錄、日志什么通過比較去排除問題出現(xiàn)在哪里。

第三個是消除計劃外停機(jī)，減少平均修復(fù)時間（MTTR），pulse能減少問題的發(fā)生，因為它能實時監(jiān)控和分析應(yīng)用程序的運行，自然就可以在問題發(fā)生之前及時去解決異常和通知告警，然后就可以減少MTTR。

第四特點是接收符合系統(tǒng)需求的建議，pulse能夠讓客戶去自定義一些標(biāo)準(zhǔn)規(guī)則，并且判斷這些規(guī)則是否能讓系統(tǒng)性能更好。

第五個特點是本地集成到數(shù)據(jù)引擎中提取數(shù)據(jù)，pulse與各種平臺的原生功能集成，以優(yōu)化這些平臺內(nèi)的數(shù)據(jù)流程。它與各種數(shù)據(jù)庫引擎原生集成并生成基于原生 SQL 的指令，然后將這些指令下推到處理引擎以在數(shù)據(jù)庫中執(zhí)行。

第六個特點是基于Javascript的儀表盤來管理數(shù)據(jù)系統(tǒng)，使用統(tǒng)一的控制臺去管理來自多個應(yīng)用程序和環(huán)境的不同來源的信息，它為管理層提供了對關(guān)鍵 IT 績效指標(biāo)和指標(biāo)的可見性，以調(diào)整業(yè)務(wù)目標(biāo)并將運營指標(biāo)與業(yè)務(wù)優(yōu)先級聯(lián)系起來。

接下來看一下pulse的應(yīng)用場景：

第一個是屬于電信、金融服務(wù)、能源、物聯(lián)網(wǎng)、電子商務(wù)行業(yè)和任何依賴大量靜止數(shù)據(jù)和動態(tài)數(shù)據(jù)以滿足運營和分析需求的企業(yè)。

如今，數(shù)據(jù)在端點和金融服務(wù)架構(gòu)的核心基礎(chǔ)設(shè)施中都以指數(shù)速度增長。隨著網(wǎng)絡(luò)托管轉(zhuǎn)移到云或邊緣點，生成的數(shù)據(jù)量將增加 4-5 倍，并且隨著微服務(wù)組件各自創(chuàng)建自己的數(shù)據(jù)而變得更加復(fù)雜。現(xiàn)有技術(shù)已經(jīng)逐漸無法提供即時快速的響應(yīng)的。如果沒有適合的監(jiān)控系統(tǒng)，事件會在更長的時間內(nèi)未被發(fā)現(xiàn)和解決，如果不能快速響應(yīng)，將會導(dǎo)致客戶流失，所以十分需要一種技術(shù)工具來幫助監(jiān)控企業(yè)數(shù)據(jù)系統(tǒng)并解決出現(xiàn)的任何問題。

數(shù)據(jù)可觀察性不僅能保證良好的客戶體驗，同時它也能讓CFO財務(wù)總監(jiān)實時訪問財務(wù)數(shù)據(jù)和高級分析，提供對關(guān)鍵數(shù)據(jù)的持續(xù)和不間斷的訪問，因為他是業(yè)務(wù)決策者，數(shù)據(jù)驅(qū)動的決策對于任何企業(yè)的成功都是不可或缺的，因此有必要能夠觀察系統(tǒng)中任何地方發(fā)生的事情，無論其架構(gòu)多么復(fù)雜。

所有公司都可以使用數(shù)據(jù)可觀察性，無論其數(shù)字或數(shù)據(jù)能力如何。與特定于供應(yīng)商的解決方案不同，數(shù)據(jù)可觀察性建立在與技術(shù)無關(guān)的原則之上。而且一種良好的數(shù)據(jù)可觀察性方法實際上將使用機(jī)器學(xué)習(xí)和自動化，通過消除手動驗證數(shù)據(jù)的需要，使您的公司更容易訪問和擴(kuò)展可靠的數(shù)據(jù)。

第二個是擁有過30TB+的數(shù)據(jù)和500核的處理能力的公司。

第三個是希望采用和擴(kuò)展先進(jìn)的開源數(shù)據(jù)技術(shù)的組織。

接著看一下pulse的整體架構(gòu)。Pulse 從各種系統(tǒng)收集日志、存儲它們，并在統(tǒng)一的管理平臺顯示洞察和分析。代理運行不同的平臺，例如 Spark、Hive、Tez 或 HBase。對于每個平臺，Pulse 會收集多個指標(biāo)。例如，為Spark收集Yarn 指標(biāo)，為Hive收集時間序列數(shù)據(jù)，為Tez收集App 數(shù)據(jù)。收集這些指標(biāo)利用AI進(jìn)行趨勢分析和異常檢測，成功的異常檢測依賴于對時間序列數(shù)據(jù)的分析，這些數(shù)據(jù)由一系列隨時間變化的值組成，并且實時、準(zhǔn)確。由于時間序列數(shù)據(jù)包含可用于對未來進(jìn)行有根據(jù)的猜測的信息，異常檢測系統(tǒng)使用這些信息來發(fā)現(xiàn)異常并發(fā)出警報。時間序列數(shù)據(jù)異常檢測還可用于以下指標(biāo)：網(wǎng)頁瀏覽量、每日活躍用戶、移動應(yīng)用安裝、每個潛在客戶成本等等。了解異常檢測系統(tǒng)可以識別的異常值類型對于從生成的分析中獲得最大價值至關(guān)重要。一旦您的異常檢測系統(tǒng)提醒您存在問題或機(jī)會，你就可以做出正確的決定。

將來自指標(biāo)的數(shù)據(jù)收集在以下三個服務(wù)之一中，例如數(shù)據(jù)庫、時序數(shù)據(jù)或日志索引，并通過 docker 容器進(jìn)行部署。

Pulse功能詳解

虹科云課堂

02

總結(jié)一下pulse的關(guān)鍵功能，首先它可以監(jiān)控實時的數(shù)據(jù)，通過創(chuàng)建警報來監(jiān)控基礎(chǔ)設(shè)施組件的關(guān)鍵模塊，例如 CPU、內(nèi)存、數(shù)據(jù)庫運行狀況和 HDFS，使數(shù)據(jù)和基礎(chǔ)設(shè)施層更易于觀察。在組織內(nèi)的各個級別實現(xiàn)實時決策。

第三個是它能加速數(shù)據(jù)的消耗，優(yōu)化查詢和算法性能，識別瓶頸和多余的開銷，它還可以幫助數(shù)據(jù)團(tuán)隊提高數(shù)據(jù)管道的可靠性、優(yōu)化 HDFS 性能、整合 Kafka 集群并降低總體數(shù)據(jù)成本。

第四個是它可以優(yōu)化數(shù)據(jù)操作、容量和數(shù)據(jù)工程，將部署配置和資源與業(yè)務(wù)需求對齊，監(jiān)控和預(yù)測共享資源的成本，并以對數(shù)據(jù)使用和熱點的深度可見性管理管道數(shù)據(jù)流。

第五個是它可以與很多關(guān)鍵數(shù)據(jù)系統(tǒng)集成，可以輕松地連接到 Databricks、Spark、Kafka、Hadoop以及其他流行的開源發(fā)行版、數(shù)據(jù)倉庫、查詢引擎和云平臺。

Pulse與底層數(shù)據(jù)庫系統(tǒng)集成，通過特定的技術(shù)連接器收集來自基礎(chǔ)設(shè)施、應(yīng)用程序和數(shù)據(jù)層的數(shù)據(jù)，并將其存儲在其特定領(lǐng)域的數(shù)據(jù)存儲中。然后，實時操作數(shù)據(jù)通過專有的Pulse Dashplots進(jìn)行可視化，它能將所有層的數(shù)據(jù)元素集中起來，用于操作監(jiān)控。它還簡化了對你的性能指標(biāo)進(jìn)行深入了解的過程，如查詢次數(shù)、復(fù)制狀態(tài)、內(nèi)存使用、合并操作等。最重要的是，這個集成具有對警報、日志集成的自動操作等全生命周期的支持。

03

數(shù)據(jù)可觀察性是如何幫助企業(yè)降本增效

虹科云課堂

回顧直播開頭，我們留下了一個問題，數(shù)據(jù)可觀察性是如何幫助企業(yè)降本增效呢？相信大家現(xiàn)在已經(jīng)有了答案。那我在這里總結(jié)了一下：第一個它幫助系統(tǒng)是消除計劃外停機(jī)，能夠預(yù)測和預(yù)防sev 1級別的問題，它能自動化預(yù)防性維護(hù)、性能調(diào)整和問題修復(fù)，減少了整個系統(tǒng)維護(hù)的成本，第二個是它可以讓數(shù)據(jù)系統(tǒng)基礎(chǔ)設(shè)施實現(xiàn)彈性伸縮負(fù)載均衡，自動化工作負(fù)載分析，加快持續(xù)創(chuàng)新，執(zhí)行快速測試，并加強(qiáng) CI/CD （持續(xù)集成和持續(xù)交付或持續(xù)部署）流程以快速支持新技術(shù)，通過讓開發(fā)人員專注于業(yè)務(wù)問題，而不是處理與計算、數(shù)據(jù)質(zhì)量或數(shù)據(jù)管道相關(guān)的運營問題。節(jié)省了開發(fā)人員的時間和精力并提高了他們的生產(chǎn)力，技術(shù)+人才+專注=提高工作效率；第三個是降低基礎(chǔ)設(shè)施成本，通過卸載不必要的、過度配置的軟件來降低成本，并使基礎(chǔ)設(shè)施成本與業(yè)務(wù)需求保持一致。降低數(shù)據(jù)處理成本并實現(xiàn)實時分析的目標(biāo)。

云科技事業(yè)部

虹科電子

虹科在工業(yè)、制造業(yè)領(lǐng)域深耕了長達(dá)20年，隨著云技術(shù)的全面發(fā)展和數(shù)字化工廠的逐步落地，虹科參與了越來越多的云主題的業(yè)務(wù)，從最初的所有數(shù)據(jù)先統(tǒng)一采集上云，到后續(xù)的邊緣計算再上云，到現(xiàn)在的全面業(yè)務(wù)優(yōu)化、洞察研究、成本優(yōu)化等，虹科的云科技事業(yè)部已經(jīng)為行業(yè)的用戶實操并積累了豐富的解決方案和應(yīng)用場景。它們包括：資源監(jiān)控、安全保障、多云的互聯(lián)互通、應(yīng)用和數(shù)據(jù)牽引等。虹科云科技團(tuán)隊在不斷順應(yīng)國家策略，從技術(shù)創(chuàng)新、標(biāo)準(zhǔn)制定、豐富生態(tài)、安全保障、節(jié)能減排等五個方面，不斷創(chuàng)造出更好的產(chǎn)品，幫助工業(yè)制造業(yè)的用戶實現(xiàn)數(shù)字化轉(zhuǎn)型、實現(xiàn)基于數(shù)據(jù)的降本增效。

虹科云科技工程師團(tuán)隊不斷參與美國和歐洲產(chǎn)業(yè)內(nèi)先進(jìn)的專家培訓(xùn)，學(xué)習(xí)和實踐創(chuàng)新的技術(shù)手段、操作性強(qiáng)的應(yīng)用案例，并不斷引入到國內(nèi)的項目中完成落地和推廣，這讓我們團(tuán)隊充滿了自豪感與使命感，賦予了我們當(dāng)今時代極大的技術(shù)價值、工作成就感。