2023年8月至2024年5月，華為云GaussDB助力國家統(tǒng)計局順利完成第五次全國經(jīng)濟普查（簡稱“五經(jīng)普”）單位清查和普查登記數(shù)據(jù)采集處理工作。在此期間，全國200多萬名普查員通過手持終端設(shè)備，依托華為云GaussDB對全國范圍內(nèi)的1億多普查對象進行普查數(shù)據(jù)采集與處理，為國家宏觀經(jīng)濟決策提供了重要基礎(chǔ)數(shù)據(jù)。

千挑萬選，落定GaussDB

打造全局“一朵云”

“五經(jīng)普”是一項重要的國情國力調(diào)查，肩負著摸清我國經(jīng)濟家底、推動高質(zhì)量發(fā)展的重要任務(wù)。國家統(tǒng)計局歷時三年建設(shè)的統(tǒng)計云技術(shù)平臺，作為統(tǒng)計云建設(shè)工程的關(guān)鍵支撐，在統(tǒng)計數(shù)據(jù)的采集、審核、驗收及匯總等關(guān)鍵業(yè)務(wù)場景中，首次在“五經(jīng)普”實現(xiàn)了大規(guī)模的應(yīng)用。

“五經(jīng)普”在數(shù)據(jù)采集方式上進行了革新，通過部署在統(tǒng)計云技術(shù)平臺上的國家統(tǒng)計局數(shù)據(jù)采集處理系統(tǒng)直接進行數(shù)據(jù)填報，在業(yè)務(wù)高并發(fā)、海量數(shù)據(jù)處理和數(shù)據(jù)實時性、準確性、一致性等方面，對應(yīng)用系統(tǒng)提出了更高要求。

作為支撐統(tǒng)計云業(yè)務(wù)運行的重要基礎(chǔ)設(shè)施，選擇一款合適的數(shù)據(jù)庫至關(guān)重要，也并非易事。經(jīng)過深度市場調(diào)研和分析研究，華為云GaussDB在可用性、性能和遷移等方面，能夠較好地滿足國家統(tǒng)計局業(yè)務(wù)工作要求。

此外，華為公司與國家統(tǒng)計局有多年合作基礎(chǔ)，華為終端、網(wǎng)絡(luò)、服務(wù)器和存儲產(chǎn)品已在第三次全國農(nóng)業(yè)普查、第四次全國經(jīng)濟普查、第七次全國人口普查等數(shù)據(jù)采集處理場景中得到應(yīng)用。隨著GaussDB在統(tǒng)計云工程中的成功應(yīng)用，更是實現(xiàn)了全局“一朵云”的架構(gòu)，推動了統(tǒng)計現(xiàn)代化改革發(fā)展。

“五經(jīng)普”多業(yè)務(wù)場景下

細數(shù)GaussDB面臨的諸多挑戰(zhàn)

“五經(jīng)普”采集模式的創(chuàng)新與落地，離不開統(tǒng)計云技術(shù)平臺的強大資源支撐、多樣化的功能調(diào)用以及豐富的實踐經(jīng)驗。其中，華為云GaussDB數(shù)據(jù)實時匯集與分析能力，更是支撐統(tǒng)計云平臺實現(xiàn)了“一網(wǎng)通辦，一云統(tǒng)管”。在“五經(jīng)普”業(yè)務(wù)保障過程中，GaussDB主要面臨兩大挑戰(zhàn)：

（一）采集高峰期業(yè)務(wù)高并發(fā)導(dǎo)致系統(tǒng)壓力大。“五經(jīng)普”數(shù)據(jù)采集處理系統(tǒng)需確保全國200多萬普查員、168萬“一套表”單位（規(guī)模企業(yè)）、26萬統(tǒng)計機構(gòu)人員用戶能夠高效、準確地填報和處理1.2億普查對象的普查數(shù)據(jù)。

（二）“五經(jīng)普”業(yè)務(wù)邏輯要求在同一段時間內(nèi)完成數(shù)據(jù)的填報（寫入）和審核驗收（讀?。┎僮鳌！拔褰?jīng)普”普查登記數(shù)據(jù)采集時間是2024年1月1日至4月30日，在此期間，各級統(tǒng)計機構(gòu)用戶需要同步開展數(shù)據(jù)審核、驗收和匯總。系統(tǒng)運行時，壓力主要集中在上午9點至12點和下午2點至5點。在實現(xiàn)數(shù)據(jù)的快速讀寫（業(yè)務(wù)的增刪改查SQL語句量約為每秒百萬條）的同時，系統(tǒng)還需具備強大的數(shù)據(jù)分析能力，能夠完成上萬條數(shù)據(jù)的匯總分析任務(wù)，以確保數(shù)據(jù)的實時性、準確性和一致性。

華為云GaussDB提供更優(yōu)解決方案

有效承載業(yè)務(wù)壓力

作為統(tǒng)計云技術(shù)平臺的有力基礎(chǔ)支撐，GaussDB通過分布式技術(shù)架構(gòu)部署與優(yōu)化策略，確保了數(shù)據(jù)采集任務(wù)的高效執(zhí)行與精確完成，為統(tǒng)計云技術(shù)平臺的穩(wěn)定運行與高效運作提供強力支持。

1. GaussDB分布式部署，頂住五經(jīng)普業(yè)務(wù)高峰壓力。

一是“五經(jīng)普”數(shù)據(jù)采集處理系統(tǒng)采用GaussDB分布式多節(jié)點（15節(jié)點），單庫容量最大支撐達到100TB，前期通過在線擴容，實現(xiàn)對業(yè)務(wù)的最小化影響。

二是借助GaussDB分布式執(zhí)行框架，根據(jù)業(yè)務(wù)SQL生成最優(yōu)執(zhí)行計劃，并利用并行執(zhí)行等技術(shù)，使得每秒事務(wù)處理數(shù)（TPS）輕松突破10萬大關(guān)，顯著提升分布式執(zhí)行效率。

三是GaussDB多集群節(jié)點、線程池和連接池等技術(shù)能力，在高并發(fā)場景下，可實現(xiàn)毫秒級查詢響應(yīng)，有效應(yīng)對業(yè)務(wù)高峰。同時，針對分布式數(shù)據(jù)庫開展了一系列優(yōu)化，共包括134類慢SQL，有效地降低數(shù)據(jù)庫的運行壓力，保障系統(tǒng)的穩(wěn)定運行。

2. DRS數(shù)據(jù)實時同步，“兩”庫并行，保障數(shù)據(jù)高效入庫和實時分析。

華為云GaussDB采用采集庫與匯總庫分離策略，由采集庫存儲采集數(shù)據(jù)，然后通過數(shù)據(jù)復(fù)制服務(wù)（DRS）將采集數(shù)據(jù)快捷匯聚到匯總庫，以便更加高效的執(zhí)行匯總?cè)蝿?wù)。在此過程中，DRS支持將其他數(shù)據(jù)庫遷移過來的全量數(shù)據(jù)，一次性同步至GaussDB中。同時，通過實時解析源庫日志，將解析到的增量數(shù)據(jù)轉(zhuǎn)換為DRS內(nèi)存存儲格式，達到100MB/s的數(shù)據(jù)處理速度，確保絕大多數(shù)情況下的秒級響應(yīng)時延，從而滿足業(yè)務(wù)對讀寫分離的需求。

GaussDB

助力譜寫統(tǒng)計現(xiàn)代化改革新篇章

GaussDB高可用、高性能、易遷移等技術(shù)能力，保障了統(tǒng)計云圓滿完成統(tǒng)計業(yè)務(wù)工作，為上層統(tǒng)計核心業(yè)務(wù)系統(tǒng)提供合規(guī)保障，確保統(tǒng)計業(yè)務(wù)的連續(xù)性。在“五經(jīng)普”單位清查數(shù)據(jù)合并場景中，數(shù)據(jù)處理耗時從原來的18分鐘縮短至2分鐘；在“五經(jīng)普”普查登記數(shù)據(jù)采集場景中，高峰期單個節(jié)點的并發(fā)量突破了12000TPS，成功支撐超過30萬用戶同時在線，每秒處理業(yè)務(wù)量超過10萬筆，峰值查詢量達每秒120萬次，采集響應(yīng)時延低于20毫秒。

此外，在完成“五經(jīng)普”的數(shù)據(jù)采集任務(wù)后，GaussDB還支撐了國家統(tǒng)計局核心業(yè)務(wù)系統(tǒng)——聯(lián)網(wǎng)直報系統(tǒng)，為數(shù)據(jù)的實時上報、高效處理和深度分析提供了堅實的技術(shù)支撐。

統(tǒng)計云平臺創(chuàng)新成果在中國統(tǒng)計信息化建設(shè)史上開創(chuàng)了先河，實現(xiàn)了“多個首次”，全面承載國家統(tǒng)計局的核心業(yè)務(wù)系統(tǒng)，以數(shù)字化轉(zhuǎn)型驅(qū)動統(tǒng)計現(xiàn)代化改革。未來，華為云GaussDB將與國家統(tǒng)計局繼續(xù)攜手，共同推動統(tǒng)計高質(zhì)量發(fā)展，以統(tǒng)計現(xiàn)代化更好服務(wù)中國式現(xiàn)代化。