數(shù)據(jù)的增長(zhǎng)和對(duì)提高電源效率的需求導(dǎo)致了創(chuàng)新的存儲(chǔ)解決方案。

HDD的密度一直在增長(zhǎng)，但性能卻沒(méi)有增長(zhǎng)，而TLC閃存的價(jià)格仍然限制著擴(kuò)展。

QLC技術(shù)通過(guò)在HDD和TLCSSD之間形成中間層來(lái)解決這些挑戰(zhàn)。與現(xiàn)有的TLCSSD相比，QLC具有更高的密度、更高的功率效率和更低的成本。

如今，HDD是大多數(shù)數(shù)據(jù)中心的首選存儲(chǔ)解決方案，因?yàn)榕cTLC閃存等其他解決方案相比，HDD的成本和功耗更低。但是，雖然HDD的尺寸越來(lái)越大，但它們的I/O性能卻沒(méi)有提高。換句話(huà)說(shuō)，HDD的每TB帶寬一直在下降。這迫使數(shù)據(jù)中心工程師通過(guò)將熱（經(jīng)常訪(fǎng)問(wèn)的）數(shù)據(jù)轉(zhuǎn)移到TLC閃存層或過(guò)度配置存儲(chǔ)來(lái)滿(mǎn)足他們的存儲(chǔ)性能需求。

自2009年以來(lái)，QLC閃存技術(shù)一直存在。之所以采用速度緩慢，是因?yàn)樗恢痹谳^低的容量上運(yùn)行——小于32TB。此外，高成本和有限的寫(xiě)入持久性也使其在數(shù)據(jù)中心中無(wú)法成為T(mén)LC的一個(gè)有吸引力的替代方案。

與此同時(shí)，HDD密度一直在增長(zhǎng)，但吞吐量沒(méi)有顯著增加。隨著給定驅(qū)動(dòng)器上存儲(chǔ)的數(shù)據(jù)越來(lái)越多，對(duì)I/O的需求也相應(yīng)增加。HDD容量的持續(xù)致密化導(dǎo)致了BW/TB的持續(xù)下降。這對(duì)一部分熱工作負(fù)載產(chǎn)生了負(fù)面影響，并迫使數(shù)據(jù)滯留在HDD上。

QLC閃存在HDD和SSD之間的性能譜中占據(jù)了一個(gè)獨(dú)特的空間，用于服務(wù)仍然依賴(lài)于10MB/s/TB范圍內(nèi)的性能的工作負(fù)載。此外，還有一些工作負(fù)載在做大批量的IOs，它們不需要非常高的性能，但仍然在15~20MB/s/TB的范圍內(nèi)，并且使用TLC閃存。

作為HDD之上的一層引入的QLC閃存可以滿(mǎn)足寫(xiě)入性能要求，并且在耐久性規(guī)格上有足夠的空間。所針對(duì)的工作負(fù)載是讀帶寬密集型的，具有不頻繁和相對(duì)較低的寫(xiě)帶寬需求。由于任何NAND閃存介質(zhì)的大部分功耗都來(lái)自寫(xiě)入，因此希望工作負(fù)載通過(guò)使用QLCSSD實(shí)現(xiàn)更低的功耗。

2Tb QLC NAND芯片的出現(xiàn)以及32層芯片堆疊成為主流，說(shuō)明了QLC閃存在NAND封裝級(jí)別和硬盤(pán)級(jí)別的密度增長(zhǎng)速度有多快。

我們預(yù)計(jì)在近期和長(zhǎng)期內(nèi)，QLC SSD的密度將大大高于TLC SSD的密度。這將對(duì)服務(wù)器和機(jī)架級(jí)別的字節(jié)密度帶來(lái)有意義的影響，并有助于降低硬盤(pán)和服務(wù)器級(jí)別的每TB獲取和電源成本。

Meta的QLC

Meta的存儲(chǔ)團(tuán)隊(duì)已經(jīng)開(kāi)始與Pure storage等合作伙伴密切合作，利用他們的DirectFlash模塊（DFM）和DirectFlash軟件解決方案，為Meta帶來(lái)可靠的QLC存儲(chǔ)。Meta還與其他NAND供應(yīng)商合作，將標(biāo)準(zhǔn)NVMe QLCSSD集成到數(shù)據(jù)中心中。

雖然目前QLC的成本比TLC低，但在價(jià)格上還沒(méi)有足夠的競(jìng)爭(zhēng)力，無(wú)法廣泛部署。盡管如此，功耗效率的提高是實(shí)質(zhì)性的，上述用例預(yù)計(jì)將從中受益匪淺。考慮到HDD隨著密度的增加（降低BW/TB）而持續(xù)變冷，以及NAND的成本結(jié)構(gòu)隨著技術(shù)的進(jìn)步而改善，我們認(rèn)為增加QLC層是正確的前進(jìn)道路。

采用QLC的硬件考慮

而E1.S作為一種外形尺寸對(duì)于我們的TLC部署非常有用，但它并不是擴(kuò)展我們的QLC路線(xiàn)圖的理想形式因素，因?yàn)樗拇笮∠拗屏嗣總€(gè)硬盤(pán)的NAND封裝數(shù)量。

行業(yè)標(biāo)準(zhǔn)U.2-15mm仍然是SSD供應(yīng)商普遍采用的外形尺寸，它使我們有可能擴(kuò)展到512TB的容量。目前E3并沒(méi)有帶來(lái)超過(guò)U.2的額外價(jià)值，E3的4個(gè)版本之間的市場(chǎng)分散也使得它的吸引力降低。Pure Storage的DFM可以使用相同的NAND封裝技術(shù)擴(kuò)展到600TB。設(shè)計(jì)支持DFM的服務(wù)器允許SSD插槽也接受U.2SSD。該策略使我們能夠在成本競(jìng)爭(zhēng)、進(jìn)度加速、功率效率和供應(yīng)商多樣性方面獲得最大的收益。

QLCSSD的主要優(yōu)點(diǎn)是SSD和服務(wù)器級(jí)別的字節(jié)密度以及相關(guān)的功率效率。在Meta中，基于QLC服務(wù)器的字節(jié)密度目標(biāo)是我們目前發(fā)布的基于TLC服務(wù)器密度的6倍。盡管QLC的預(yù)期BW/TB比TLC低，但QLC服務(wù)器字節(jié)密度需要更高性能的CPU、更快的內(nèi)存和網(wǎng)絡(luò)子系統(tǒng)來(lái)利用媒體功能。

為QLC調(diào)整我們的存儲(chǔ)軟件

在QLC中采用Meta現(xiàn)有的存儲(chǔ)軟件帶來(lái)了一些有趣的挑戰(zhàn)。如上所述，我們的QLC系統(tǒng)密度非常高，目標(biāo)是將QLCSSD作為比HDD性能更高的介質(zhì)。這提高了吞吐量期望，超出了我們?cè)?jīng)擁有的任何單個(gè)服務(wù)器吞吐量。

在CPU內(nèi)核和插槽之間擴(kuò)展如此高的吞吐量需要仔細(xì)放置數(shù)據(jù)和計(jì)算來(lái)處理I/O。我們需要確保最小化數(shù)據(jù)接觸點(diǎn)，并且可以按類(lèi)型分離I/O。Pure Storage解決方案中的軟件棧使用Linux用戶(hù)空間塊設(shè)備驅(qū)動(dòng)程序（ublk）設(shè)備，通過(guò)io_uring將存儲(chǔ)作為常規(guī)塊設(shè)備公開(kāi)，并啟用零復(fù)制以消除數(shù)據(jù)復(fù)制，同時(shí)在后臺(tái)與用戶(hù)空間FTL（DirectFlash軟件）通信。

對(duì)于其他供應(yīng)商，堆棧使用io_uring直接與NVMe塊設(shè)備交互。

此外，QLCSSD的讀吞吐量和寫(xiě)吞吐量之間存在顯著差異。在QLC的情況下，讀吞吐量可能高達(dá)寫(xiě)吞吐量的4倍甚至更多。更重要的是，關(guān)于讀的典型用例是延遲敏感的，所以我們需要確保傳遞大量讀BW的I/O不會(huì)在寫(xiě)之后被序列化。這需要構(gòu)建和仔細(xì)調(diào)優(yōu)速率控制器和I/O調(diào)度器。

期待

Meta認(rèn)識(shí)到QLCSSD在數(shù)據(jù)中心工作負(fù)載的存儲(chǔ)成本、性能和功耗方面的潛力是一個(gè)可行的、有前途的優(yōu)化機(jī)會(huì)。隨著閃存供應(yīng)商繼續(xù)投資于先進(jìn)的晶圓廠(chǎng)工藝和封裝設(shè)計(jì)，并增加QLC閃存的產(chǎn)量，我們預(yù)計(jì)QLC閃存的成本將大幅提高，從而使QLC閃存在更廣泛的數(shù)據(jù)中心工作負(fù)載中逐漸變得更具吸引力。我們很高興能夠在這個(gè)不斷發(fā)展的存儲(chǔ)空間中推動(dòng)創(chuàng)新、促進(jìn)協(xié)作和促進(jìn)生態(tài)系統(tǒng)的一致性。