2023年8月至2024年5月，華為云GaussDB助力國(guó)家統(tǒng)計(jì)局順利完成第五次全國(guó)經(jīng)濟(jì)普查（簡(jiǎn)稱(chēng)“五經(jīng)普”）單位清查和普查登記數(shù)據(jù)采集處理工作。在此期間，全國(guó)200多萬(wàn)名普查員通過(guò)手持終端設(shè)備，依托華為云GaussDB對(duì)全國(guó)范圍內(nèi)的1億多普查對(duì)象進(jìn)行普查數(shù)據(jù)采集與處理，為國(guó)家宏觀經(jīng)濟(jì)決策提供了重要基礎(chǔ)數(shù)據(jù)。

千挑萬(wàn)選，落定GaussDB

打造全局“一朵云”

“五經(jīng)普”是一項(xiàng)重要的國(guó)情國(guó)力調(diào)查，肩負(fù)著摸清我國(guó)經(jīng)濟(jì)家底、推動(dòng)高質(zhì)量發(fā)展的重要任務(wù)。國(guó)家統(tǒng)計(jì)局歷時(shí)三年建設(shè)的統(tǒng)計(jì)云技術(shù)平臺(tái)，作為統(tǒng)計(jì)云建設(shè)工程的關(guān)鍵支撐，在統(tǒng)計(jì)數(shù)據(jù)的采集、審核、驗(yàn)收及匯總等關(guān)鍵業(yè)務(wù)場(chǎng)景中，首次在“五經(jīng)普”實(shí)現(xiàn)了大規(guī)模的應(yīng)用。

“五經(jīng)普”在數(shù)據(jù)采集方式上進(jìn)行了革新，通過(guò)部署在統(tǒng)計(jì)云技術(shù)平臺(tái)上的國(guó)家統(tǒng)計(jì)局?jǐn)?shù)據(jù)采集處理系統(tǒng)直接進(jìn)行數(shù)據(jù)填報(bào)，在業(yè)務(wù)高并發(fā)、海量數(shù)據(jù)處理和數(shù)據(jù)實(shí)時(shí)性、準(zhǔn)確性、一致性等方面，對(duì)應(yīng)用系統(tǒng)提出了更高要求。

作為支撐統(tǒng)計(jì)云業(yè)務(wù)運(yùn)行的重要基礎(chǔ)設(shè)施，選擇一款合適的數(shù)據(jù)庫(kù)至關(guān)重要，也并非易事。經(jīng)過(guò)深度市場(chǎng)調(diào)研和分析研究，華為云GaussDB在可用性、性能和遷移等方面，能夠較好地滿(mǎn)足國(guó)家統(tǒng)計(jì)局業(yè)務(wù)工作要求。

此外，華為公司與國(guó)家統(tǒng)計(jì)局有多年合作基礎(chǔ)，華為終端、網(wǎng)絡(luò)、服務(wù)器和存儲(chǔ)產(chǎn)品已在第三次全國(guó)農(nóng)業(yè)普查、第四次全國(guó)經(jīng)濟(jì)普查、第七次全國(guó)人口普查等數(shù)據(jù)采集處理場(chǎng)景中得到應(yīng)用。隨著GaussDB在統(tǒng)計(jì)云工程中的成功應(yīng)用，更是實(shí)現(xiàn)了全局“一朵云”的架構(gòu)，推動(dòng)了統(tǒng)計(jì)現(xiàn)代化改革發(fā)展。

“五經(jīng)普”多業(yè)務(wù)場(chǎng)景下

細(xì)數(shù)GaussDB面臨的諸多挑戰(zhàn)

“五經(jīng)普”采集模式的創(chuàng)新與落地，離不開(kāi)統(tǒng)計(jì)云技術(shù)平臺(tái)的強(qiáng)大資源支撐、多樣化的功能調(diào)用以及豐富的實(shí)踐經(jīng)驗(yàn)。其中，華為云GaussDB數(shù)據(jù)實(shí)時(shí)匯集與分析能力，更是支撐統(tǒng)計(jì)云平臺(tái)實(shí)現(xiàn)了“一網(wǎng)通辦，一云統(tǒng)管”。在“五經(jīng)普”業(yè)務(wù)保障過(guò)程中，GaussDB主要面臨兩大挑戰(zhàn)：

（一）采集高峰期業(yè)務(wù)高并發(fā)導(dǎo)致系統(tǒng)壓力大?！拔褰?jīng)普”數(shù)據(jù)采集處理系統(tǒng)需確保全國(guó)200多萬(wàn)普查員、168萬(wàn)“一套表”單位（規(guī)模企業(yè)）、26萬(wàn)統(tǒng)計(jì)機(jī)構(gòu)人員用戶(hù)能夠高效、準(zhǔn)確地填報(bào)和處理1.2億普查對(duì)象的普查數(shù)據(jù)。

（二）“五經(jīng)普”業(yè)務(wù)邏輯要求在同一段時(shí)間內(nèi)完成數(shù)據(jù)的填報(bào)（寫(xiě)入）和審核驗(yàn)收（讀取）操作。“五經(jīng)普”普查登記數(shù)據(jù)采集時(shí)間是2024年1月1日至4月30日，在此期間，各級(jí)統(tǒng)計(jì)機(jī)構(gòu)用戶(hù)需要同步開(kāi)展數(shù)據(jù)審核、驗(yàn)收和匯總。系統(tǒng)運(yùn)行時(shí)，壓力主要集中在上午9點(diǎn)至12點(diǎn)和下午2點(diǎn)至5點(diǎn)。在實(shí)現(xiàn)數(shù)據(jù)的快速讀寫(xiě)（業(yè)務(wù)的增刪改查SQL語(yǔ)句量約為每秒百萬(wàn)條）的同時(shí)，系統(tǒng)還需具備強(qiáng)大的數(shù)據(jù)分析能力，能夠完成上萬(wàn)條數(shù)據(jù)的匯總分析任務(wù)，以確保數(shù)據(jù)的實(shí)時(shí)性、準(zhǔn)確性和一致性。

華為云GaussDB提供更優(yōu)解決方案

有效承載業(yè)務(wù)壓力

作為統(tǒng)計(jì)云技術(shù)平臺(tái)的有力基礎(chǔ)支撐，GaussDB通過(guò)分布式技術(shù)架構(gòu)部署與優(yōu)化策略，確保了數(shù)據(jù)采集任務(wù)的高效執(zhí)行與精確完成，為統(tǒng)計(jì)云技術(shù)平臺(tái)的穩(wěn)定運(yùn)行與高效運(yùn)作提供強(qiáng)力支持。

1. GaussDB分布式部署，頂住五經(jīng)普業(yè)務(wù)高峰壓力。

一是“五經(jīng)普”數(shù)據(jù)采集處理系統(tǒng)采用GaussDB分布式多節(jié)點(diǎn)（15節(jié)點(diǎn)），單庫(kù)容量最大支撐達(dá)到100TB，前期通過(guò)在線(xiàn)擴(kuò)容，實(shí)現(xiàn)對(duì)業(yè)務(wù)的最小化影響。

二是借助GaussDB分布式執(zhí)行框架，根據(jù)業(yè)務(wù)SQL生成最優(yōu)執(zhí)行計(jì)劃，并利用并行執(zhí)行等技術(shù)，使得每秒事務(wù)處理數(shù)（TPS）輕松突破10萬(wàn)大關(guān)，顯著提升分布式執(zhí)行效率。

三是GaussDB多集群節(jié)點(diǎn)、線(xiàn)程池和連接池等技術(shù)能力，在高并發(fā)場(chǎng)景下，可實(shí)現(xiàn)毫秒級(jí)查詢(xún)響應(yīng)，有效應(yīng)對(duì)業(yè)務(wù)高峰。同時(shí)，針對(duì)分布式數(shù)據(jù)庫(kù)開(kāi)展了一系列優(yōu)化，共包括134類(lèi)慢SQL，有效地降低數(shù)據(jù)庫(kù)的運(yùn)行壓力，保障系統(tǒng)的穩(wěn)定運(yùn)行。

2. DRS數(shù)據(jù)實(shí)時(shí)同步，“兩”庫(kù)并行，保障數(shù)據(jù)高效入庫(kù)和實(shí)時(shí)分析。

華為云GaussDB采用采集庫(kù)與匯總庫(kù)分離策略，由采集庫(kù)存儲(chǔ)采集數(shù)據(jù)，然后通過(guò)數(shù)據(jù)復(fù)制服務(wù)（DRS）將采集數(shù)據(jù)快捷匯聚到匯總庫(kù)，以便更加高效的執(zhí)行匯總?cè)蝿?wù)。在此過(guò)程中，DRS支持將其他數(shù)據(jù)庫(kù)遷移過(guò)來(lái)的全量數(shù)據(jù)，一次性同步至GaussDB中。同時(shí)，通過(guò)實(shí)時(shí)解析源庫(kù)日志，將解析到的增量數(shù)據(jù)轉(zhuǎn)換為DRS內(nèi)存存儲(chǔ)格式，達(dá)到100MB/s的數(shù)據(jù)處理速度，確保絕大多數(shù)情況下的秒級(jí)響應(yīng)時(shí)延，從而滿(mǎn)足業(yè)務(wù)對(duì)讀寫(xiě)分離的需求。

GaussDB

助力譜寫(xiě)統(tǒng)計(jì)現(xiàn)代化改革新篇章

GaussDB高可用、高性能、易遷移等技術(shù)能力，保障了統(tǒng)計(jì)云圓滿(mǎn)完成統(tǒng)計(jì)業(yè)務(wù)工作，為上層統(tǒng)計(jì)核心業(yè)務(wù)系統(tǒng)提供合規(guī)保障，確保統(tǒng)計(jì)業(yè)務(wù)的連續(xù)性。在“五經(jīng)普”單位清查數(shù)據(jù)合并場(chǎng)景中，數(shù)據(jù)處理耗時(shí)從原來(lái)的18分鐘縮短至2分鐘；在“五經(jīng)普”普查登記數(shù)據(jù)采集場(chǎng)景中，高峰期單個(gè)節(jié)點(diǎn)的并發(fā)量突破了12000TPS，成功支撐超過(guò)30萬(wàn)用戶(hù)同時(shí)在線(xiàn)，每秒處理業(yè)務(wù)量超過(guò)10萬(wàn)筆，峰值查詢(xún)量達(dá)每秒120萬(wàn)次，采集響應(yīng)時(shí)延低于20毫秒。

此外，在完成“五經(jīng)普”的數(shù)據(jù)采集任務(wù)后，GaussDB還支撐了國(guó)家統(tǒng)計(jì)局核心業(yè)務(wù)系統(tǒng)——聯(lián)網(wǎng)直報(bào)系統(tǒng)，為數(shù)據(jù)的實(shí)時(shí)上報(bào)、高效處理和深度分析提供了堅(jiān)實(shí)的技術(shù)支撐。

統(tǒng)計(jì)云平臺(tái)創(chuàng)新成果在中國(guó)統(tǒng)計(jì)信息化建設(shè)史上開(kāi)創(chuàng)了先河，實(shí)現(xiàn)了“多個(gè)首次”，全面承載國(guó)家統(tǒng)計(jì)局的核心業(yè)務(wù)系統(tǒng)，以數(shù)字化轉(zhuǎn)型驅(qū)動(dòng)統(tǒng)計(jì)現(xiàn)代化改革。未來(lái)，華為云GaussDB將與國(guó)家統(tǒng)計(jì)局繼續(xù)攜手，共同推動(dòng)統(tǒng)計(jì)高質(zhì)量發(fā)展，以統(tǒng)計(jì)現(xiàn)代化更好服務(wù)中國(guó)式現(xiàn)代化。