數(shù)據(jù)的增長和對提高電源效率的需求導(dǎo)致了創(chuàng)新的存儲解決方案。

HDD的密度一直在增長，但性能卻沒有增長，而TLC閃存的價格仍然限制著擴展。

QLC技術(shù)通過在HDD和TLCSSD之間形成中間層來解決這些挑戰(zhàn)。與現(xiàn)有的TLCSSD相比，QLC具有更高的密度、更高的功率效率和更低的成本。

如今，HDD是大多數(shù)數(shù)據(jù)中心的首選存儲解決方案，因為與TLC閃存等其他解決方案相比，HDD的成本和功耗更低。但是，雖然HDD的尺寸越來越大，但它們的I/O性能卻沒有提高。換句話說，HDD的每TB帶寬一直在下降。這迫使數(shù)據(jù)中心工程師通過將熱（經(jīng)常訪問的）數(shù)據(jù)轉(zhuǎn)移到TLC閃存層或過度配置存儲來滿足他們的存儲性能需求。

自2009年以來，QLC閃存技術(shù)一直存在。之所以采用速度緩慢，是因為它一直在較低的容量上運行——小于32TB。此外，高成本和有限的寫入持久性也使其在數(shù)據(jù)中心中無法成為TLC的一個有吸引力的替代方案。

與此同時，HDD密度一直在增長，但吞吐量沒有顯著增加。隨著給定驅(qū)動器上存儲的數(shù)據(jù)越來越多，對I/O的需求也相應(yīng)增加。HDD容量的持續(xù)致密化導(dǎo)致了BW/TB的持續(xù)下降。這對一部分熱工作負(fù)載產(chǎn)生了負(fù)面影響，并迫使數(shù)據(jù)滯留在HDD上。

QLC閃存在HDD和SSD之間的性能譜中占據(jù)了一個獨特的空間，用于服務(wù)仍然依賴于10MB/s/TB范圍內(nèi)的性能的工作負(fù)載。此外，還有一些工作負(fù)載在做大批量的IOs，它們不需要非常高的性能，但仍然在15~20MB/s/TB的范圍內(nèi)，并且使用TLC閃存。

作為HDD之上的一層引入的QLC閃存可以滿足寫入性能要求，并且在耐久性規(guī)格上有足夠的空間。所針對的工作負(fù)載是讀帶寬密集型的，具有不頻繁和相對較低的寫帶寬需求。由于任何NAND閃存介質(zhì)的大部分功耗都來自寫入，因此希望工作負(fù)載通過使用QLCSSD實現(xiàn)更低的功耗。

2Tb QLC NAND芯片的出現(xiàn)以及32層芯片堆疊成為主流，說明了QLC閃存在NAND封裝級別和硬盤級別的密度增長速度有多快。

我們預(yù)計在近期和長期內(nèi)，QLC SSD的密度將大大高于TLC SSD的密度。這將對服務(wù)器和機架級別的字節(jié)密度帶來有意義的影響，并有助于降低硬盤和服務(wù)器級別的每TB獲取和電源成本。

Meta的QLC

Meta的存儲團隊已經(jīng)開始與Pure storage等合作伙伴密切合作，利用他們的DirectFlash模塊（DFM）和DirectFlash軟件解決方案，為Meta帶來可靠的QLC存儲。Meta還與其他NAND供應(yīng)商合作，將標(biāo)準(zhǔn)NVMe QLCSSD集成到數(shù)據(jù)中心中。

雖然目前QLC的成本比TLC低，但在價格上還沒有足夠的競爭力，無法廣泛部署。盡管如此，功耗效率的提高是實質(zhì)性的，上述用例預(yù)計將從中受益匪淺。考慮到HDD隨著密度的增加（降低BW/TB）而持續(xù)變冷，以及NAND的成本結(jié)構(gòu)隨著技術(shù)的進(jìn)步而改善，我們認(rèn)為增加QLC層是正確的前進(jìn)道路。

采用QLC的硬件考慮

而E1.S作為一種外形尺寸對于我們的TLC部署非常有用，但它并不是擴展我們的QLC路線圖的理想形式因素，因為它的大小限制了每個硬盤的NAND封裝數(shù)量。

行業(yè)標(biāo)準(zhǔn)U.2-15mm仍然是SSD供應(yīng)商普遍采用的外形尺寸，它使我們有可能擴展到512TB的容量。目前E3并沒有帶來超過U.2的額外價值，E3的4個版本之間的市場分散也使得它的吸引力降低。Pure Storage的DFM可以使用相同的NAND封裝技術(shù)擴展到600TB。設(shè)計支持DFM的服務(wù)器允許SSD插槽也接受U.2SSD。該策略使我們能夠在成本競爭、進(jìn)度加速、功率效率和供應(yīng)商多樣性方面獲得最大的收益。

QLCSSD的主要優(yōu)點是SSD和服務(wù)器級別的字節(jié)密度以及相關(guān)的功率效率。在Meta中，基于QLC服務(wù)器的字節(jié)密度目標(biāo)是我們目前發(fā)布的基于TLC服務(wù)器密度的6倍。盡管QLC的預(yù)期BW/TB比TLC低，但QLC服務(wù)器字節(jié)密度需要更高性能的CPU、更快的內(nèi)存和網(wǎng)絡(luò)子系統(tǒng)來利用媒體功能。

為QLC調(diào)整我們的存儲軟件

在QLC中采用Meta現(xiàn)有的存儲軟件帶來了一些有趣的挑戰(zhàn)。如上所述，我們的QLC系統(tǒng)密度非常高，目標(biāo)是將QLCSSD作為比HDD性能更高的介質(zhì)。這提高了吞吐量期望，超出了我們曾經(jīng)擁有的任何單個服務(wù)器吞吐量。

在CPU內(nèi)核和插槽之間擴展如此高的吞吐量需要仔細(xì)放置數(shù)據(jù)和計算來處理I/O。我們需要確保最小化數(shù)據(jù)接觸點，并且可以按類型分離I/O。Pure Storage解決方案中的軟件棧使用Linux用戶空間塊設(shè)備驅(qū)動程序（ublk）設(shè)備，通過io_uring將存儲作為常規(guī)塊設(shè)備公開，并啟用零復(fù)制以消除數(shù)據(jù)復(fù)制，同時在后臺與用戶空間FTL（DirectFlash軟件）通信。

對于其他供應(yīng)商，堆棧使用io_uring直接與NVMe塊設(shè)備交互。

此外，QLCSSD的讀吞吐量和寫吞吐量之間存在顯著差異。在QLC的情況下，讀吞吐量可能高達(dá)寫吞吐量的4倍甚至更多。更重要的是，關(guān)于讀的典型用例是延遲敏感的，所以我們需要確保傳遞大量讀BW的I/O不會在寫之后被序列化。這需要構(gòu)建和仔細(xì)調(diào)優(yōu)速率控制器和I/O調(diào)度器。

期待

Meta認(rèn)識到QLCSSD在數(shù)據(jù)中心工作負(fù)載的存儲成本、性能和功耗方面的潛力是一個可行的、有前途的優(yōu)化機會。隨著閃存供應(yīng)商繼續(xù)投資于先進(jìn)的晶圓廠工藝和封裝設(shè)計，并增加QLC閃存的產(chǎn)量，我們預(yù)計QLC閃存的成本將大幅提高，從而使QLC閃存在更廣泛的數(shù)據(jù)中心工作負(fù)載中逐漸變得更具吸引力。我們很高興能夠在這個不斷發(fā)展的存儲空間中推動創(chuàng)新、促進(jìn)協(xié)作和促進(jìn)生態(tài)系統(tǒng)的一致性。