01

分布式存儲系統(tǒng)與糾刪碼技術(shù)背景

分布式存儲是當(dāng)代大數(shù)據(jù)的基本存在形式，在工業(yè)界和學(xué)術(shù)界已經(jīng)得到深入研究和高度重視，為了解決大規(guī)模存儲帶來的磁盤故障，跨節(jié)點(diǎn)直接復(fù)制數(shù)據(jù)包存儲是最簡單的解決方案。分布式存儲能增強(qiáng)存儲系統(tǒng)可靠性、柔性生存力、抗數(shù)據(jù)損毀風(fēng)險；是實(shí)現(xiàn)網(wǎng)絡(luò)熱點(diǎn)訪問負(fù)載均衡的技術(shù)途徑、提高邊緣計算的處理效率；能達(dá)成數(shù)據(jù)共享服務(wù)和隱私保護(hù)的便利性。

02

存儲系統(tǒng)局部再生修復(fù)技術(shù)的興起

數(shù)據(jù)編碼分布式存儲有明顯的短板，從而提出分布式存儲的局部可修復(fù)問題和熱數(shù)據(jù)節(jié)點(diǎn)負(fù)載平衡問題。歸納為發(fā)展局部再生修復(fù)編碼技術(shù)的源動力包括減少修復(fù)成本以提高維護(hù)效率，負(fù)載均衡與邊緣計算服務(wù)。當(dāng)今分布式存儲的新需求是節(jié)點(diǎn)數(shù)據(jù)間接訪問的局部重構(gòu)開銷問題和節(jié)點(diǎn)數(shù)據(jù)的局部修復(fù)開銷問題。

03

局部可修復(fù)碼LRC及其技術(shù)發(fā)展態(tài)勢

分布式存儲的局部修復(fù)碼LRC是一個欲求解的科學(xué)問題，分布式數(shù)據(jù)的局部再生的性能參數(shù)直接的制約博弈關(guān)系。分布式存儲的局部修復(fù)碼研究現(xiàn)狀：LRC碼性能界的上限和LRC糾刪碼的具體構(gòu)造辦法，此處列舉了實(shí)例和成果。

04

Remarks and Summary

從應(yīng)用需求看，LRC或RGC糾刪碼尚存在的不足和傾向如下：

LRC和RGC糾刪碼的研究存在瓶頸，未來十年需要大家一起挑戰(zhàn)存儲糾刪碼，提升優(yōu)異技術(shù)性能。

隨著計算機(jī)技術(shù)和存儲技術(shù)的發(fā)展，數(shù)據(jù)正以爆炸式的速度增長，海量數(shù)據(jù)對存儲系統(tǒng)提出了巨大的挑戰(zhàn)。糾刪碼技術(shù)以犧牲CPU計算量和網(wǎng)絡(luò)負(fù)載為代價，提高存儲空間利用率，同時提供近似副本的可靠性。 本篇文章聚焦于分布式存儲系統(tǒng)中的糾刪碼技術(shù)，將豐富的理論和工程實(shí)踐經(jīng)驗(yàn)加以糅合，探討可局部再生修復(fù)糾刪碼技術(shù)用于提高分布式存儲可靠性的實(shí)質(zhì)問題，有助于存儲產(chǎn)業(yè)在分布式存儲架構(gòu)層面上不斷探索和完善。

原文標(biāo)題：分布式存儲系統(tǒng)中的糾刪碼技術(shù)：可局部再生修復(fù)技術(shù)

文章出處：【微信公眾號：存儲加速器】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq