數據的增長和對提高電源效率的需求導致了創(chuàng)新的存儲解決方案。

HDD的密度一直在增長，但性能卻沒有增長，而TLC閃存的價格仍然限制著擴展。

QLC技術通過在HDD和TLCSSD之間形成中間層來解決這些挑戰(zhàn)。與現有的TLCSSD相比，QLC具有更高的密度、更高的功率效率和更低的成本。

如今，HDD是大多數數據中心的首選存儲解決方案，因為與TLC閃存等其他解決方案相比，HDD的成本和功耗更低。但是，雖然HDD的尺寸越來越大，但它們的I/O性能卻沒有提高。換句話說，HDD的每TB帶寬一直在下降。這迫使數據中心工程師通過將熱（經常訪問的）數據轉移到TLC閃存層或過度配置存儲來滿足他們的存儲性能需求。

自2009年以來，QLC閃存技術一直存在。之所以采用速度緩慢，是因為它一直在較低的容量上運行——小于32TB。此外，高成本和有限的寫入持久性也使其在數據中心中無法成為TLC的一個有吸引力的替代方案。

與此同時，HDD密度一直在增長，但吞吐量沒有顯著增加。隨著給定驅動器上存儲的數據越來越多，對I/O的需求也相應增加。HDD容量的持續(xù)致密化導致了BW/TB的持續(xù)下降。這對一部分熱工作負載產生了負面影響，并迫使數據滯留在HDD上。

QLC閃存在HDD和SSD之間的性能譜中占據了一個獨特的空間，用于服務仍然依賴于10MB/s/TB范圍內的性能的工作負載。此外，還有一些工作負載在做大批量的IOs，它們不需要非常高的性能，但仍然在15~20MB/s/TB的范圍內，并且使用TLC閃存。

作為HDD之上的一層引入的QLC閃存可以滿足寫入性能要求，并且在耐久性規(guī)格上有足夠的空間。所針對的工作負載是讀帶寬密集型的，具有不頻繁和相對較低的寫帶寬需求。由于任何NAND閃存介質的大部分功耗都來自寫入，因此希望工作負載通過使用QLCSSD實現更低的功耗。

2Tb QLC NAND芯片的出現以及32層芯片堆疊成為主流，說明了QLC閃存在NAND封裝級別和硬盤級別的密度增長速度有多快。

我們預計在近期和長期內，QLC SSD的密度將大大高于TLC SSD的密度。這將對服務器和機架級別的字節(jié)密度帶來有意義的影響，并有助于降低硬盤和服務器級別的每TB獲取和電源成本。

Meta的QLC

Meta的存儲團隊已經開始與Pure storage等合作伙伴密切合作，利用他們的DirectFlash模塊（DFM）和DirectFlash軟件解決方案，為Meta帶來可靠的QLC存儲。Meta還與其他NAND供應商合作，將標準NVMe QLCSSD集成到數據中心中。

雖然目前QLC的成本比TLC低，但在價格上還沒有足夠的競爭力，無法廣泛部署。盡管如此，功耗效率的提高是實質性的，上述用例預計將從中受益匪淺。考慮到HDD隨著密度的增加（降低BW/TB）而持續(xù)變冷，以及NAND的成本結構隨著技術的進步而改善，我們認為增加QLC層是正確的前進道路。

采用QLC的硬件考慮

而E1.S作為一種外形尺寸對于我們的TLC部署非常有用，但它并不是擴展我們的QLC路線圖的理想形式因素，因為它的大小限制了每個硬盤的NAND封裝數量。

行業(yè)標準U.2-15mm仍然是SSD供應商普遍采用的外形尺寸，它使我們有可能擴展到512TB的容量。目前E3并沒有帶來超過U.2的額外價值，E3的4個版本之間的市場分散也使得它的吸引力降低。Pure Storage的DFM可以使用相同的NAND封裝技術擴展到600TB。設計支持DFM的服務器允許SSD插槽也接受U.2SSD。該策略使我們能夠在成本競爭、進度加速、功率效率和供應商多樣性方面獲得最大的收益。

QLCSSD的主要優(yōu)點是SSD和服務器級別的字節(jié)密度以及相關的功率效率。在Meta中，基于QLC服務器的字節(jié)密度目標是我們目前發(fā)布的基于TLC服務器密度的6倍。盡管QLC的預期BW/TB比TLC低，但QLC服務器字節(jié)密度需要更高性能的CPU、更快的內存和網絡子系統(tǒng)來利用媒體功能。

為QLC調整我們的存儲軟件

在QLC中采用Meta現有的存儲軟件帶來了一些有趣的挑戰(zhàn)。如上所述，我們的QLC系統(tǒng)密度非常高，目標是將QLCSSD作為比HDD性能更高的介質。這提高了吞吐量期望，超出了我們曾經擁有的任何單個服務器吞吐量。

在CPU內核和插槽之間擴展如此高的吞吐量需要仔細放置數據和計算來處理I/O。我們需要確保最小化數據接觸點，并且可以按類型分離I/O。Pure Storage解決方案中的軟件棧使用Linux用戶空間塊設備驅動程序（ublk）設備，通過io_uring將存儲作為常規(guī)塊設備公開，并啟用零復制以消除數據復制，同時在后臺與用戶空間FTL（DirectFlash軟件）通信。

對于其他供應商，堆棧使用io_uring直接與NVMe塊設備交互。

此外，QLCSSD的讀吞吐量和寫吞吐量之間存在顯著差異。在QLC的情況下，讀吞吐量可能高達寫吞吐量的4倍甚至更多。更重要的是，關于讀的典型用例是延遲敏感的，所以我們需要確保傳遞大量讀BW的I/O不會在寫之后被序列化。這需要構建和仔細調優(yōu)速率控制器和I/O調度器。

期待

Meta認識到QLCSSD在數據中心工作負載的存儲成本、性能和功耗方面的潛力是一個可行的、有前途的優(yōu)化機會。隨著閃存供應商繼續(xù)投資于先進的晶圓廠工藝和封裝設計，并增加QLC閃存的產量，我們預計QLC閃存的成本將大幅提高，從而使QLC閃存在更廣泛的數據中心工作負載中逐漸變得更具吸引力。我們很高興能夠在這個不斷發(fā)展的存儲空間中推動創(chuàng)新、促進協作和促進生態(tài)系統(tǒng)的一致性。