NVM Express（NVMe）是一種高性能、可擴(kuò)展的接口協(xié)議，用于通過PCI express（PCIe）總線，實現(xiàn)主機(jī)軟件與NVM設(shè)備之間的通信。目前，由于NVMe SSD相比于SATA SSD具有更高的吞吐量、更快的訪問速度和更低的功耗，已經(jīng)被廣泛應(yīng)用于各種計算領(lǐng)域和存儲系統(tǒng)。

NVMe隊列

NVMe協(xié)議采用成對的提交隊列（Submission Queue，SQ）和完成隊列（Completion Queue，CQ）機(jī)制。SQ用于存放提交命令，而CQ則用于存放完成信息。隊列狀態(tài)信息通過門鈴寄存器（Door Bell，DB）來檢測。這兩個隊列采用了環(huán)形隊列結(jié)構(gòu)，隊列可以映射到任何PCIe可訪問的內(nèi)存中，通常放在主機(jī)側(cè)內(nèi)存。對于提交隊列，主機(jī)端是生產(chǎn)者，NVMe SSD是消費者。完成隊列的情況剛好相反。因此SQ Tail指針和CQ Head指針由主機(jī)更新，而其他兩個指針由NVMe控制器更新。NVMe的隊列結(jié)構(gòu)如圖1所示。

圖1 隊列示意圖

NVMe隊列的深度是固定的，通過Tail和Head來分別指向隊列的首尾位置，隊列實際可用的大小是隊列大小減1，當(dāng)Head條目指針等于Tail條目指針時，隊列為空。當(dāng)Head條目指針比Tail條目指針多一個時，隊列為滿。

NVMe協(xié)議中根據(jù)命令類型將隊列分為了Admin隊列和I/O隊列，Admin隊列用來緩存管理Admin命令，如獲取SSD屬性、創(chuàng)建I/O隊列等。而I/O隊列用來緩存管理I/O命令，如讀、寫、識別等。在一個系統(tǒng)中只能有一對Admin SQ/CQ，但可以存在多對IO SQ/CQ。Admin SQ/CQ僅用來進(jìn)行Admin命令的交互，I/O SQ/CQ僅用來進(jìn)行I/O命令的交互。對于多核系統(tǒng)來說，每個核內(nèi)雖然只有1個I/O CQ，但是可以存在多個I/O SQ，如圖2所示。

圖2 NVMe多隊列示意圖

由于Host端可能存在多個流水線，多隊列的設(shè)計可以讓系統(tǒng)的性能最大化。同時，可以通過對不同的隊列設(shè)置不同的優(yōu)先級，來保證高優(yōu)先級隊列的命令更快完成。NVMe協(xié)議中規(guī)定Admin SQ/CQ的隊列深度最大可以支持4096（4K），I/O SQ/CQ的隊列深度最大可以支持65536（64K）。在一個實際設(shè)計中，SQ的個數(shù)和深度的設(shè)置可以根據(jù)項目需求和硬件資源進(jìn)行配置。隊列深度的設(shè)置主要和系統(tǒng)中隊列消費者和生產(chǎn)者之間的速率有關(guān)。

2. NVMe分層結(jié)構(gòu)

NVMe協(xié)議棧結(jié)構(gòu)分為應(yīng)用層和傳輸層兩個層次。在應(yīng)用層中實現(xiàn)NVMe命令生成、隊列管理和流程控制，而傳輸層則借助PCIe協(xié)議進(jìn)行實現(xiàn)。PCIe協(xié)議分為三層，即事務(wù)層、數(shù)據(jù)鏈路層和物理層。事務(wù)層負(fù)責(zé)將數(shù)據(jù)傳輸請求和響應(yīng)打包成事務(wù)進(jìn)行傳輸，數(shù)據(jù)鏈路層則負(fù)責(zé)數(shù)據(jù)傳輸?shù)目煽啃院土骺刂?，通過鏈路層控制器（Link Layer Controller, LLC）實現(xiàn)。物理層則負(fù)責(zé)物理傳輸，包括電信號的發(fā)射和接收、時序控制和線路管理等。其分層結(jié)構(gòu)圖如圖3所示。首先，在應(yīng)用層生成NVMe命令傳輸至事務(wù)層。其次，在事務(wù)層會對上層傳輸?shù)臄?shù)據(jù)添加首部和校驗，封裝成TLP（Transaction Level Packet）傳輸至數(shù)據(jù)鏈路層。然后，在數(shù)據(jù)鏈路層會對TLP添加序列號和校驗，封裝成DLLP。最后，在物理層對數(shù)據(jù)包進(jìn)行編碼和并轉(zhuǎn)串處理后，通過SerDes（Serializer/Deserializer）將數(shù)據(jù)發(fā)送至PCIe鏈路中。

圖3 分層結(jié)構(gòu)

由于NVMe協(xié)議是基于PCIe協(xié)議實現(xiàn)的，下面通過在PCIe拓?fù)浣Y(jié)構(gòu)中介紹NVMe協(xié)議中的SQ、CQ和DB的位置，以及數(shù)據(jù)在Host和NVMe SSD之間的傳輸流程。NVMe SSD在PCIe拓?fù)浣Y(jié)構(gòu)中的位置如圖4所示。

圖4 PCIe拓?fù)浣Y(jié)構(gòu)

PCIe的拓?fù)浣Y(jié)構(gòu)由三部分組成，根聯(lián)合體（Root Complex, RC）、PCIe交換器（PCIe Switch）和端點（Endpoint, EP）。根聯(lián)合體位于拓?fù)浣Y(jié)構(gòu)的根部，最靠近CPU。端點設(shè)備位于PCIe的端末。交換機(jī)位于根聯(lián)合體和端點設(shè)備之間。PCIe使用串行鏈路連接，一個鏈路的兩端只能有兩個設(shè)備。因此PCIe需要通過PCIe Switch擴(kuò)展PCIe鏈路后，才能連接多個EP設(shè)備。在NVMe存儲結(jié)構(gòu)中，NVMe SSD也作為PCIe的一個EP端掛載在RC上。

NVMe協(xié)議中的SQ和CQ位于Host內(nèi)存中，主機(jī)在初始化時根據(jù)隊列的個數(shù)和深度在主機(jī)內(nèi)存開辟出相應(yīng)的內(nèi)存空間，來存放SQ、CQ命令。DB寄存器位于NVMe SSD中，且被映射到BAR（Base Address Register）空間中，Host可以通過訪問BAR空間來更新DB寄存器的值。

當(dāng)Host需要向NVMe SSD發(fā)送命令時，首先將命令存放在主機(jī)內(nèi)存開辟的SQ區(qū)域中，其次通過訪問BAR空間的DB寄存器來告訴NVMe SSD到主機(jī)端內(nèi)存區(qū)域取走待執(zhí)行的命令。待命令執(zhí)行完成后，NVMe SSD向主機(jī)內(nèi)存的CQ區(qū)域?qū)懭胪瓿擅睢?/p>

3. NVMe數(shù)據(jù)結(jié)構(gòu)

NVMe協(xié)議中規(guī)定每個提交命令的大小為64字節(jié)，完成命令大小為16字節(jié)，NVMe命令分為Admin和IO兩類，NVMe的數(shù)據(jù)塊組織方式有PRP和SGL兩種。提交命令的格式如圖5所示。

圖5 提交命令數(shù)據(jù)格式

NVMe提交命令的數(shù)據(jù)格式屬性如下：

（1）Opcode（OPC）：命令操作碼，不同操作命令的Opcode都有對應(yīng)的值；

（2）Fused Operation（FUSE）：融合操作，可選字段，用于將兩個命令融合為一條命令；

（3）PRP or SGL for Data Transfer（PSDT）：PRP或SGL數(shù)據(jù)傳輸；

（4）Command Identifier（CID）：命令I(lǐng)D；

（5）Namespace Identifier（NSID）：命名空間ID；

（6）Metadata Pointer（MPTR）：元數(shù)據(jù)指針；

（7）PRP Entry 1/2：物理區(qū)域頁項；

（8）SGL Entry：散列聚合列表。

Admin命令集定義了可以提交到Admin SQ的命令。NVM命令集定義了可以提交到IO SQ的命令。表1和表2分別列出了Admin命令集和NVM命令集中的常用命令、操作碼和簡要的功能描述。

表1Admin命令集

表2NVMe命令集

接下來介紹NVMe協(xié)議中的尋址方式。在NVMe協(xié)議中定義了兩種尋址方式，PRP和SGL。通過PRP和SGL來記錄Host內(nèi)存中物理頁的位置。NVMe命令中的PRP和SGL字段用來向NVMe SSD傳遞將要讀寫數(shù)據(jù)在內(nèi)存中的位置。NVMe協(xié)議中規(guī)定Admin命令只能通過PRP告訴NVMe SSD命令在內(nèi)存中物理地址。而SGL主要是在NVMeoF中使用，因此本設(shè)計將采用PRP尋址方式。

Host可以通過配置NVMe Controller的CC.MPS寄存器來設(shè)定物理頁的大小，物理頁的大小可設(shè)定的范圍是4KB~128MB之間。物理頁對應(yīng)的地址記錄在PRP Entry中，PRP Entry的數(shù)據(jù)格式。PRP Entry的數(shù)據(jù)格式由物理頁起始地址和頁偏移地址兩部分組成，如圖6所示。由于物理地址只能是四字節(jié)對齊，因此將偏移地址的最低2bit置為0。此外，圖6中n的取值與設(shè)置的物理頁大小有關(guān)，例如，將物理頁大小設(shè)置為4KB，則n=11，通過偏移地址[11:2]來表示在一個內(nèi)存頁內(nèi)的偏移地址。

圖6 PRP Entry格式

一個PRP Entry只能指向一個物理頁。NVMe協(xié)議中只定義了兩個PRP Entry，當(dāng)傳輸數(shù)據(jù)量大小大于兩個內(nèi)存頁大小時，PRP Entry2將不指向物理頁，而是指向由若干個PRP組成的PRP List。如圖7所示，NVMe命令中的PRP1指向第一個內(nèi)存頁，PRP2指向一個新的PRP鏈表的首地址。如果需要指定更大的內(nèi)存空間可以通過每一個PRP List的最后一個PRP Entry指向新的PRP List。

圖7 PRP原理示意圖

完成命令的數(shù)據(jù)格式如圖8所示。

圖8 完成命令數(shù)據(jù)格式

NVMe完成隊列的命令格式屬性如下：

（1）SQ Header pointer：SQ頭指針；

（2）SQ Identifier：SQ ID；

（3）Command Identifier：命令I(lǐng)D；

（4）P：相位標(biāo)志phase tag，完成隊列沒有head/tail交互，通過相位標(biāo)志實現(xiàn)完成隊列項的釋放；

（5）Status Field：狀態(tài)域。

NVMe工作流程

NVMe協(xié)議中的Admin命令和IO命令執(zhí)行流程相同，主要通過SQ、CQ和DB寄存器三個關(guān)鍵部件之間的相互協(xié)作來完成。NVMe的命令處理流程分為了8個步驟，如圖9所示。

圖9 NVMe命令處理流程

Host和SSD之間通過更新DB（DoorBell）寄存器的值來實現(xiàn)隊列信息的交互。每個SQ和CQ都擁有一個Head寄存器和Tail寄存器。對于SQ而言，Host是生產(chǎn)者，負(fù)責(zé)向隊列發(fā)送提交命令，SSD是消費者，負(fù)責(zé)執(zhí)行命令，因此Host負(fù)責(zé)更新Tail DB寄存器，SSD負(fù)責(zé)更新Head DB寄存器。對于CQ而言，SSD是生產(chǎn)者，負(fù)責(zé)向隊列發(fā)送完成命令，Host是消費者，負(fù)責(zé)檢查完成信息，因此SSD負(fù)責(zé)更新Tail DB寄存器，Host負(fù)責(zé)更新Head DB寄存器。而DB寄存器都存在于SSD內(nèi)，且只能進(jìn)行寫操作，不能進(jìn)行讀操作。因此NVMe協(xié)議中規(guī)定SSD通過完成信息向Host反饋CQ Tail和SQ Head寄存器的值。

NVMe命令處理的步驟如下：

（1）主機(jī)提交新的NVMe命令。主機(jī)生成新的NVMe命令并添加ID號后，將其存放在SQ Tail指針指向的內(nèi)存空間中；

（2）主機(jī)更新SQ Tail DB寄存器。主機(jī)通過Memory Write事務(wù)更新SQ Tail DB寄存器的值，以通知NVMe SSD控制器去主機(jī)端讀取SQ中緩存的命令；

（3）NVMe SSD讀取命令。NVMe SSD控制器檢測到SQ Tail DB寄存器的變化后，通過Memory Read事務(wù)去讀取SQ內(nèi)緩存的命令，這個過程，NVMe SSD進(jìn)行突發(fā)讀取，一次讀取多條命令，等待取命令完成后更新SQ Head DB寄存器的值；

（4）NVMe SSD執(zhí)行命令。NVMe SSD控制器根據(jù)內(nèi)部的仲裁機(jī)制來執(zhí)行讀取到的NVMe命令，其執(zhí)行過程并不是按照隊列的先后順序來執(zhí)行命令；

（5）NVMe SSD控制器將完成命令寫入CQ。NVMe SSD控制器將NVMe命令的執(zhí)行結(jié)果寫入主機(jī)的CQ內(nèi)存區(qū)域中，完成命令包括NVMe命令中的ID號和SQ Head DB寄存器的值；

（6）NVMe SSD通知主機(jī)檢查完成命令。NVMe SSD控制器通過Memory Write事務(wù)向主機(jī)發(fā)出MSI-X中斷信號，告知主機(jī)檢查CQ中的完成信息。在本設(shè)計中，取消了完成隊列的設(shè)計，而采用FPGA的并行處理方式，通過主機(jī)端實時監(jiān)測CQ信息，以節(jié)省硬件資源和提高NVMe命令處理速度；

（7）主機(jī)檢查完成命令。主機(jī)從CQ內(nèi)存中讀取完成信息，并根據(jù)狀態(tài)字段判斷NVMe命令的執(zhí)行情況。若命令已經(jīng)執(zhí)行完成，主機(jī)會釋放該ID號對應(yīng)的提交命令空間，以便給新的命令使用；

（8）主機(jī)更新CQ Head DB寄存器。主機(jī)通過Memory Write事務(wù)更新CQ Head DB寄存器的值，以通知NVMe SSD控制器CQ中的完成信息已經(jīng)檢查。

對相關(guān)NVM安e設(shè)計感興趣的可以看本博客，更多的見csdn用戶： tiantianuser
或視頻見B站 用戶： 專注與守望

審核編輯 黃宇