Hadoop的誕生改變了企業(yè)對數(shù)據(jù)的存儲、處理和分析的過程，加速了大數(shù)據(jù)的發(fā)展。隨著大數(shù)據(jù)系統(tǒng)建設的深入，企業(yè)的數(shù)據(jù)基礎設施易出現(xiàn)計算資源浪費、存儲性能低、管理成本過高等挑戰(zhàn)。相比存算一體架構，存算分離架構具有性能與成本最優(yōu)、兼具靈活性等特點，因此受到企業(yè)IT部門的青睞，并紛紛開始對Hadoop架構進行改造。

為滿足大數(shù)據(jù)不同場景需求，杉巖數(shù)據(jù)此前研發(fā)推出了兼容HDFS接口能力的高性能數(shù)據(jù)湖文件網(wǎng)關，為使湖倉一體方案更加完善，杉巖數(shù)據(jù)全新升級了面向AI訓練、機器學習、大數(shù)據(jù)分析等場景的高性能文件存儲——杉巖云原生文件存儲（以下簡稱杉巖CNFS），為客戶實現(xiàn)All in One的存儲能力。

存算分離實現(xiàn)方案：客戶端模式

杉巖CNFS支持客戶端模式，提供HCFS（Hadoop Compatible File System，Hadoop兼容文件協(xié)議）接口實現(xiàn)，對HDFS接口協(xié)議完全兼容，可以保證應用層就像使用原生HDFS存儲一樣使用杉巖CNFS。

實際場景中，通過在計算平臺部署安裝專用的客戶端與簡單的配置，即可實現(xiàn)Hadoop平臺的組件與分離部署的存儲交互。針對業(yè)界使用比較廣泛的CDH平臺（Hadoop商業(yè)發(fā)行版之一），杉巖CNFS也開發(fā)了配套的Parcel資源包，利用CDH自身的管理便捷地配置使用杉巖CNFS提供的存儲空間。

圖1 杉巖湖倉一體方案存算分離實現(xiàn)（客戶端模式）

但是像所有HCFS接口實現(xiàn)一樣，侵入式的部署方式使計算組件有了額外的依賴需要管理，當涉及計算組件自身的升級、替換等場景時，就要考慮杉巖CNFS客戶端軟件包和配置的同步，增加了運維工作。因此這種對接方式一定程度限制了計算組件自身的靈活性。

在實際應用中，用戶如果有相對較為頻繁的升級更替計算組件的場景，往往不能接受侵入式的部署對接方式。

實現(xiàn)無縫對接！杉巖數(shù)據(jù)推出HDFS網(wǎng)關服務端組件

針對這一需求，杉巖數(shù)據(jù)研發(fā)推出了HDFS網(wǎng)關服務端組件，進一步簡化對接部署過程。HDFS網(wǎng)關實現(xiàn)了原生HDFS協(xié)議，可收發(fā)原生HDFS協(xié)議的請求，計算節(jié)點通過Hadoop環(huán)境自帶的原生HDFS-Client即可訪問存儲系統(tǒng)，無需額外安裝專用客戶端。

圖2 杉巖湖倉一體方案存算分離實現(xiàn)（服務端模式）

方案優(yōu)勢

原生HDFS協(xié)議，兼容性良好：HDFS網(wǎng)關支持幾乎所有的HDFS數(shù)據(jù)面接口，可對接市場上常見的大數(shù)據(jù)平臺。

無縫對接，簡化對接部署過程：通過原生HDFS協(xié)議直接訪問存儲系統(tǒng)，無需在計算層安裝專用客戶端。計算組件升級、替換時，無需考慮客戶端配置，減少運維工作量。

高數(shù)據(jù)吞吐能力，無單點故障：通過杉巖云原生文件存儲對HDFS網(wǎng)關的數(shù)據(jù)處理卸載能力，大大降低了HDFS網(wǎng)關的數(shù)據(jù)處理開銷，提升了整體的數(shù)據(jù)吞吐能力，并結合LVS實現(xiàn)了對HDFS網(wǎng)關的去中心化、水平擴展。

性能測試

LVS只處理HDFS NameNode的元數(shù)據(jù)相關RPC，實際占大部分網(wǎng)絡帶寬的數(shù)據(jù)讀寫是DataNode角色的block讀寫流量，不通過LVS，而由HDFS Gateway通過NameNode RPC返回自身節(jié)點的IP，HDFS-Client直接和各HDFS Gateway通訊。所以LVS不會成為大數(shù)據(jù)讀寫的瓶頸，如下圖所示：

圖3 通過LVS訪問HDFS網(wǎng)關的交互

以下是在3節(jié)點存儲加3節(jié)點Hadoop集群環(huán)境，通過TestDFSIO讀寫9個30G文件的對比測試結果，可見HDFS網(wǎng)關對存儲系統(tǒng)帶寬影響較小。但HDFS網(wǎng)關的增加會使IO路徑長度多一跳，對存儲網(wǎng)絡帶寬需求增加，規(guī)劃存儲網(wǎng)絡時應考慮這一點。

圖4 存算分離場景杉巖CNFS直通和通過HDFS網(wǎng)關帶寬測試

值得一提的是，有些計算層組件可能針對HDFS做特別的優(yōu)化，例如Hbase就實現(xiàn)了自己的異步HDFS-Client，此情況下使用HDFS網(wǎng)關可以繼續(xù)使用計算側的特別優(yōu)化，能獲得更好的性能。

總結

隨著5G和IoT的快速發(fā)展，數(shù)據(jù)激增，企業(yè)級大數(shù)據(jù)平臺建設逐漸深入，基于存算分離架構，計算承接豐富的應用接入需求，存儲提供成熟穩(wěn)定的底座支撐業(yè)務發(fā)展和生態(tài)對接是大勢所趨。

上述內(nèi)容體現(xiàn)了杉巖云原生文件存儲在Hadoop大數(shù)據(jù)存算分離場景中的優(yōu)勢，杉巖數(shù)據(jù)推出HDFS網(wǎng)關服務端組件，通過原生HDFS協(xié)議直接訪問存儲系統(tǒng)，簡化了對接部署過程，為用戶提供了更多的選擇，使基于杉巖大數(shù)據(jù)智能存儲為基座的湖倉一體方案更加完善。

審核編輯：湯梓紅