過(guò)去幾年,全球數(shù)字化進(jìn)程加速,不斷增長(zhǎng)的5G、人工智能、遠(yuǎn)程辦公、工業(yè)數(shù)據(jù)、政務(wù)、金融和能源上云的需求,促使云服務(wù)商增加了對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施的投入。據(jù)第三方機(jī)構(gòu)統(tǒng)計(jì),全球云基礎(chǔ)設(shè)施增長(zhǎng)迅猛,總支出從2020年1400億美元增長(zhǎng)到了2021年的1900億美元,增長(zhǎng)了36%。

數(shù)據(jù)中心基礎(chǔ)設(shè)施支出的增加包括對(duì)服務(wù)器和存儲(chǔ)需求的增加,存儲(chǔ)需求其中一大部分是企業(yè)級(jí)固態(tài)硬盤(pán)的需求。據(jù)第三方機(jī)構(gòu)統(tǒng)計(jì),2020年全球企業(yè)級(jí)固態(tài)硬盤(pán)市場(chǎng)規(guī)模約為161億美元,到2023年有望增至305億美元,期間年復(fù)合增長(zhǎng)率約為24%。

市場(chǎng)需求的增加對(duì)于企業(yè)級(jí)SSD廠商而言無(wú)疑是利好,展望未來(lái),在例如容量點(diǎn)、PCIe 5.0平臺(tái)適配、性能、需求、降本增效等SSD產(chǎn)品層面,如何應(yīng)對(duì)數(shù)據(jù)中心未來(lái)的需求和挑戰(zhàn),則需要企業(yè)級(jí)SSD廠商對(duì)產(chǎn)品規(guī)劃和設(shè)計(jì)進(jìn)行一些思考,本文根據(jù)今年美國(guó)FMS閃存峰會(huì)和OCP會(huì)議的一些內(nèi)容做一些思考和分享。

1. 企業(yè)級(jí)SSD容量點(diǎn)的演進(jìn)

按照Omdia對(duì)未來(lái)企業(yè)級(jí)SSD容量點(diǎn)應(yīng)用比例分布預(yù)測(cè),隨著存儲(chǔ)的總?cè)萘啃枨筇嵘懊縂B價(jià)格的下降,大容量SSD部署比例將會(huì)逐年增加。按盤(pán)數(shù),2022年4T及以上容量點(diǎn)占比27%,到2026年接近51.5%。2022年8T及以上容量占比較少14.4%,但未來(lái)預(yù)測(cè)8T及以上大容量SSD占比大幅增至38.7%。大容量SSD部署比例的提升,幫助了企業(yè)和數(shù)據(jù)中心降低SSD $/GB成本,進(jìn)而幫助存儲(chǔ)部分降低總擁有成本TCO。

來(lái)源Omdia:未來(lái)容量點(diǎn)比例分布預(yù)測(cè)

數(shù)據(jù)中心如何部署和分配不同容量的SSD盤(pán),一般按照:

240G-480G小容量SSD:作為服務(wù)器Boot啟動(dòng)盤(pán),當(dāng)前以M.2/2.5寸 SATA SSD為主,企業(yè)級(jí)SATA SSD成熟、可靠和穩(wěn)定,$/GB相對(duì)較低,成本最優(yōu)。

1T:作為服務(wù)器本地存儲(chǔ)盤(pán)使用為主,用量較少。

2T-4T:作為服務(wù)器所在物理機(jī)(宿主機(jī))上的本地硬盤(pán)使用,本地盤(pán)適用于對(duì)存儲(chǔ)I/O性能和海量存儲(chǔ)性價(jià)比有極高要求的業(yè)務(wù)場(chǎng)景,具有低時(shí)延、高隨機(jī)IOPS、高吞吐量、高性價(jià)比等優(yōu)勢(shì)。

8T-16T:作為塊存儲(chǔ)云盤(pán)使用,云盤(pán)是云服務(wù)器提供的數(shù)據(jù)塊級(jí)別的塊存儲(chǔ)產(chǎn)品,采用多副本的分布式機(jī)制,具有低時(shí)延、高性能、持久性、高可靠等性能,可以隨時(shí)創(chuàng)建、擴(kuò)容以及釋放。

長(zhǎng)江存儲(chǔ)企業(yè)級(jí)SATA SSD SE005容量點(diǎn)為240G～1.92T,尺寸2.5寸,順序讀寫(xiě)分別高達(dá)540/510 MB/s,隨機(jī)讀寫(xiě)分別高達(dá)98/59 KIOPS,小容量點(diǎn)適合作為服務(wù)器啟動(dòng)盤(pán)使用。

長(zhǎng)江存儲(chǔ)SE005

2. PCIe 5.0 SSD和CPU平臺(tái)

按照Intel服務(wù)器至強(qiáng)CPU路線圖,Intel于2013年推出支持PCIe 3.0接口的Grantley平臺(tái),2017年推出支持PCIe 3.0接口的Purley平臺(tái),2020年推出支持PCIe 4.0接口的Whitley平臺(tái),目前這些平臺(tái)均在企業(yè)級(jí)和數(shù)據(jù)中心中部署。支持PCIe 5.0接口的第一代Sapphire Rapids延遲到2023年Q1發(fā)布,隨后第二代支持PCIe 5.0接口的Emerald Rapids計(jì)劃于2023年發(fā)布,第三代Granite Rapids、Sierra Forest計(jì)劃于2024年發(fā)布。隨著即將到來(lái)的搭配Sapphire Rapids CPU的服務(wù)器平臺(tái),PCIe 5.0 SSD會(huì)首發(fā)出場(chǎng),登上舞臺(tái),將服務(wù)器上的存儲(chǔ)帶寬提升到一個(gè)新的高度。

來(lái)源網(wǎng)絡(luò):Intel服務(wù)器至強(qiáng)CPU路線圖

AMD在今年11/12發(fā)布了Genoa系列EPYC霄龍 Zen 4處理器,支持128條以上PCIe 5.0接口,適配PCIe 5.0 SSD,并支持通過(guò) Compute Express Link (CXL) 進(jìn)行內(nèi)存擴(kuò)展。同樣,PCIe 5.0 SSD的加載將服務(wù)器上的存儲(chǔ)帶寬提升到一個(gè)新的高度。

根據(jù)AMD最新公布的服務(wù)器CPU路線圖,基于Zen4架構(gòu)的Bergamo將于2023年上半年上市,Genoa-X和Siena也將在2023年某個(gè)時(shí)候上市。至于AMD在2024年在服務(wù)器CPU領(lǐng)域的路線圖中最重要的部分,可能是計(jì)劃在2024年底之前的某個(gè)時(shí)間將其代號(hào)為“Turin”的第5代EPYC處理器推向市場(chǎng)。

來(lái)源網(wǎng)絡(luò):AMD服務(wù)器CPU路線圖

PCIe 5.0接口速度2倍于PCIe 4.0接口,帶寬翻倍。相應(yīng)的PCIe 5.0 SSD可實(shí)現(xiàn)順序讀寫(xiě)性能的翻倍和隨機(jī)讀寫(xiě)性能的大幅提升,例如長(zhǎng)江存儲(chǔ)企業(yè)級(jí)PCIe 4.0 NVMe固態(tài)硬盤(pán)PE310產(chǎn)品,順序讀寫(xiě)分別高達(dá)6200/4500 MB/s, 隨機(jī)讀寫(xiě)分別高達(dá)1000/380 KIOPS,到下一代PCIe 5.0 SSD,順序讀寫(xiě)和隨機(jī)讀性能基本實(shí)現(xiàn)2倍提升。

長(zhǎng)江存儲(chǔ)PE310

當(dāng)Sapphire Rapids和Genoa用上PCIe 5.0 SSD,硬件上數(shù)據(jù)中心的存儲(chǔ)性能已經(jīng)不再是瓶頸,性能瓶頸或許已是系統(tǒng)軟件,如何用滿和用好PCIe 5.0 SSD的性能,是擺在軟件面前的一道課題。但對(duì)于企業(yè)級(jí)SSD廠商而言,使用新一代NAND,設(shè)計(jì)一款高性能、低功耗、合適尺寸、多容量點(diǎn)、滿足客戶各種特性需求的PCIe 5.0 SSD,仍是努力要完成的工作。

3. SSD每TB性能

通常云上用戶將數(shù)據(jù)存儲(chǔ)在云盤(pán),數(shù)據(jù)中心云盤(pán)按照性能高低和容量大小售賣,售賣價(jià)格也是按照不同的性能和容量大小制定的,性能越好容量越大價(jià)格越高。如下圖,阿里ESSD云盤(pán)的性能分為不同的PL0-PL3等級(jí),對(duì)用戶而言,舉例購(gòu)買到的單盤(pán)IOPS計(jì)算公式 = min(1800+50*容量,1000K or 100K or 50K…),單盤(pán)吞吐量計(jì)算公式 = min(120+0.5*容量,4000 or 750 or 350…)。單盤(pán)IOPS和吞吐量性能隨著容量增加相應(yīng)按比例提升。云盤(pán)數(shù)據(jù)存儲(chǔ)在后臺(tái)SSD上,因此對(duì)SSD單位容量如每TB性能有了基本的最低要求,才能滿足售賣時(shí)對(duì)用戶聲稱的性能規(guī)格。每TB性能 = 單盤(pán)性能/容量TB數(shù)。

來(lái)源阿里云:云盤(pán)性能參數(shù)表

NAND介質(zhì)繼續(xù)往前發(fā)展,層數(shù)不斷增加,一方面帶來(lái)成本和客戶感知的$/GB價(jià)格不斷下降,另一方面由于新NAND Die容量增大,對(duì)于同容量SSD而言可用NAND Die的個(gè)數(shù)隨之減少。例如NAND A Die容量是64GB,隨著下一代新層數(shù)的NAND的來(lái)臨,NAND B Die容量變?yōu)?28GB,同容量SSD中NAND Die個(gè)數(shù)減少為之前的1/2,因此對(duì)NAND讀寫(xiě)的并發(fā)數(shù)減少為之前并發(fā)數(shù)的1/2,SSD的性能也降為之前的1/2,這就是導(dǎo)致SSD每TB性能下降的一個(gè)案例。

作為SSD供應(yīng)商,當(dāng)使用新的NAND開(kāi)發(fā)下一代SSD產(chǎn)品之前,解決每TB性能下降變成了要面對(duì)的問(wèn)題,方法有:

1) PCIe前端接口帶寬不變,使用新的NAND,設(shè)計(jì)其單Die容量仍然同前一代NAND Die容量。

2) PCIe前端接口帶寬不變,使用新的NAND,Die容量增加一倍,增加單Die內(nèi)部Plane個(gè)數(shù),相當(dāng)于增加NAND讀寫(xiě)并發(fā)數(shù)來(lái)提升SSD系統(tǒng)性能。例如長(zhǎng)江存儲(chǔ)最新的X3-9070 NAND從之前的X2-9060的4個(gè)Plane增加到6個(gè)Plane。

3) PCIe接口升級(jí),如從PCIe 4.0過(guò)渡到5.0,帶寬翻倍,使用新的NAND,雖然Die容量增加一倍,但2X大容量SSD連續(xù)讀寫(xiě)性能也隨著PCIe帶寬翻倍而翻倍。

4) PCIe接口升級(jí),如PCIe 4.0過(guò)渡到5.0,帶寬翻倍,使用新的NAND,Die容量增加一倍,提升NAND Flash IO速度來(lái)適配前端PCIe翻倍的數(shù)據(jù)帶寬。例如長(zhǎng)江存儲(chǔ)最新的X3-9070 NAND支持2400 MT/s接口速度, 相較上一代NAND的1600 MT/s接口速度可極大的提升SSD順序和隨機(jī)讀寫(xiě)性能。

由此可見(jiàn),為了滿足數(shù)據(jù)中心存儲(chǔ)每TB性能需求,SSD廠商當(dāng)開(kāi)發(fā)下一代SSD時(shí),要站在用戶角度思考如何保持不低于上一代SSD的每TB性能,提供必要的技術(shù)方法進(jìn)行解決。

4. 需求標(biāo)準(zhǔn)化

數(shù)據(jù)中心對(duì)SSD的需求多樣化和碎片化,不僅國(guó)內(nèi)各家都不一樣,國(guó)內(nèi)和國(guó)外也不盡相同。同時(shí)由于其對(duì)SSD需求的某些細(xì)節(jié)機(jī)密無(wú)法對(duì)外公開(kāi),一部分SSD原廠供應(yīng)商憑借和客戶的良好關(guān)系可以獲取,而其它供應(yīng)商則無(wú)法獲得,導(dǎo)致這些供應(yīng)商的設(shè)計(jì)和客戶數(shù)據(jù)中心的實(shí)際應(yīng)用脫節(jié),不符合要求。基于此,Meta、Microsoft、HPE、DELL-EMC主導(dǎo)和組織發(fā)布了Datacenter NVMe SSD Specification,鏈接:https://www.opencompute.org/documents/datacenter-nvme-ssd-specification-v2-0r21-pdf。 現(xiàn)今OCP發(fā)展到了2.0版本,成為國(guó)外幾家云數(shù)據(jù)中心事實(shí)上要支持的標(biāo)準(zhǔn),同時(shí)為企業(yè)級(jí)SSD廠商理清了數(shù)據(jù)中心的關(guān)鍵需求。

啟動(dòng)盤(pán)方面,當(dāng)前以成熟的 SATA SSD為主,將來(lái)會(huì)往PCIe NVMe SSD遷移,原因:第一服務(wù)器主板和CPU會(huì)逐漸取消SATA接口;第二PCIe NVMe SSD相較SATA有更多的優(yōu)勢(shì)。為了統(tǒng)一PCIe NVMe啟動(dòng)盤(pán)的需求,OCP發(fā)布了啟動(dòng)盤(pán)SSD第一份Spec規(guī)范:https://www.opencompute.org/documents/hyperscale-nvme-boot-ssd-specification-v1-0-pdf。這份規(guī)范為啟動(dòng)盤(pán)SSD廠商規(guī)定了啟動(dòng)盤(pán)所需要的NVMe命令集、PCIe接口配置、可靠性、壽命、性能、安全、調(diào)試和FA失效分析等需求。

5. SSD安全規(guī)范

SSD作為數(shù)據(jù)中心存儲(chǔ)關(guān)鍵部件,其安全問(wèn)題一直以來(lái)備受重視,OCP 2.0定義了數(shù)據(jù)中心對(duì)SSD的安全規(guī)范,給SSD廠商提出明確的需求:

固件升級(jí)簽名校驗(yàn)和每次啟動(dòng)時(shí)使用密碼學(xué)進(jìn)行對(duì)稱密鑰身份驗(yàn)證,防止非法升級(jí)固件和非法篡改固件。

固件版本不能回退,只能向后更新的版本升級(jí)。

用戶數(shù)據(jù)使用XTS-AES-256 or AES-256加密,SSD盤(pán)支持Opal v2.01,防止用戶數(shù)據(jù)泄密。

SSD支持安全啟動(dòng),如果遇到安全啟動(dòng)失敗,用戶將不能訪問(wèn)此盤(pán)。

Telemetry和Debug日志,實(shí)施安全審查,包括固件代碼審查,防止盤(pán)上用戶數(shù)據(jù)被竊取。

SSD出廠后Debug端口被禁止,防止黑客利用Debug端口Hack SSD。

SSD vendor unique commands一般被禁止使用,只有通過(guò)一種使用非對(duì)稱密碼方案的質(zhì)詢響應(yīng)才能打開(kāi)。

任何和SSD安全相關(guān)的問(wèn)題,必須保持私密,和客戶確認(rèn)前不能公開(kāi)。防止外界或他人了解安全漏洞后進(jìn)行Hack SSD。

SSD盤(pán)上的用戶數(shù)據(jù)和系統(tǒng)數(shù)據(jù),需要在NAND物理上分開(kāi)存儲(chǔ)。

其他……

6. 特性需求:ZNS等

相比較傳統(tǒng)的SSD,近年來(lái)出現(xiàn)的ZNS SSD具有特別的幾點(diǎn)優(yōu)勢(shì):

降低SSD TCO ? 零OP NAND,減少DRAM Size。

提升壽命 ? 減少寫(xiě)放大。

提高性能 ? 主機(jī)控制SSD device-side垃圾回收,極大降低穩(wěn)態(tài)QoS時(shí)延和提高寫(xiě)入吞吐量。

數(shù)據(jù)隔離 ? 降低多租戶因不同數(shù)據(jù)訪問(wèn)造成的性能和時(shí)延的影響。

ZNS SSD在零OP條件下,寫(xiě)放大可以做到近似接近1,相比較7% OP傳統(tǒng)SSD,寫(xiě)放大是其1/3。使用ZNS特性的QLC(3K PE) SSD其壽命(DWPD)幾乎可以做到等同于傳統(tǒng)TLC(7-10K PE) SSD的壽命,但QLC由于一個(gè)單元存儲(chǔ)4比特位數(shù),相較于TLC成本可以降低20%以上,因此ZNS+QLC SSD可以獲得降本的收益。

數(shù)據(jù)中心一直在追求SSD盤(pán)的降本增效,ZNS結(jié)合TLC SSD的高性能和QLC SSD大容量特性,在數(shù)據(jù)中心可能的應(yīng)用如下:

來(lái)源FMS 2022:TLC和QLC ZNS SSD應(yīng)用場(chǎng)景設(shè)想

未來(lái),數(shù)據(jù)中心會(huì)為了應(yīng)對(duì)業(yè)務(wù)應(yīng)用新需求、增加新應(yīng)用、降低存儲(chǔ)總擁有成本TCO,使得對(duì)于企業(yè)級(jí)SSD新特性的需求,永遠(yuǎn)不會(huì)停歇。這些新特性需求不僅僅局限于ZNS,而且包括了如CXL、SR-IOV、Stream、CMB、CSD等特性,本文暫不做展開(kāi)。

7. 采用QLC SSD

目前企業(yè)級(jí)TLC SSD已經(jīng)主導(dǎo)數(shù)據(jù)中心SSD存儲(chǔ)部件,QLC NAND及SSD已經(jīng)推出多年,有一些少量的部署和采用,但距離普及和規(guī)模部署還有一段距離,原因大致:一是QLC SSD相較TLC SSD價(jià)格差距沒(méi)到甜蜜點(diǎn);二是供應(yīng)商單一;三是相應(yīng)的上層軟件適配和生態(tài)沒(méi)有成熟;四是缺乏燈塔應(yīng)用標(biāo)桿項(xiàng)目,所以數(shù)據(jù)中心都在觀望。

但隨著更多的供應(yīng)商提供企業(yè)級(jí)QLC SSD產(chǎn)品,QLC SSD價(jià)格的進(jìn)一步下探,應(yīng)用軟件和生態(tài)的逐漸成熟,并有新的技術(shù)如ZNS的結(jié)合以減少Q(mào)LC SSD寫(xiě)放大提升其壽命,以及國(guó)內(nèi)外廠商部署使用QLC SSD的良好案例,像Vast Data帶來(lái)的示范效應(yīng),數(shù)據(jù)中心越來(lái)越多的部署和采用QLC SSD將會(huì)成為趨勢(shì),畢竟夠用、好用及降本是數(shù)據(jù)中心對(duì)存儲(chǔ)一直不斷追求的目標(biāo)。

最后,數(shù)據(jù)中心SSD的未來(lái)需求當(dāng)然不止以上這些,除了一直不變的高性能、低功耗、高可靠性和降本的需求之外,隨著CPU平臺(tái)和SSD相關(guān)新技術(shù)的出現(xiàn)以及NAND介質(zhì)的發(fā)展,面向數(shù)據(jù)中心的應(yīng)用對(duì)存儲(chǔ)會(huì)不斷提出新的想法和新的需求,需求落地、優(yōu)化和推動(dòng)產(chǎn)品迭代,產(chǎn)生出新的更好的SSD產(chǎn)品。

長(zhǎng)江存儲(chǔ)一直在持續(xù)理解和消化數(shù)據(jù)中心對(duì)SSD的需求、標(biāo)準(zhǔn)和應(yīng)用,布局企業(yè)級(jí)SSD產(chǎn)品,基于Xtacking?架構(gòu)的三維閃存技術(shù)NAND,已經(jīng)推出了包括SE005、PE310等產(chǎn)品。借助Xtacking?架構(gòu)的優(yōu)勢(shì),實(shí)現(xiàn)行業(yè)領(lǐng)先的I/O速度、更高的存儲(chǔ)密度并提供高品質(zhì)保障的企業(yè)級(jí)SSD產(chǎn)品。

審核編輯黃昊宇