PCIe交換是什么鬼？Dell PowerEdge FX2平臺(tái)對(duì)PCIE交換的應(yīng)用

PCI-E Switch芯片，估計(jì)不少人已經(jīng)聽說過這個(gè)東西了。但是估計(jì)多數(shù)人對(duì)其基本功能知之甚少。PCI-E Switch作為最先進(jìn)的生產(chǎn)力，已經(jīng)被廣泛應(yīng)用在了傳統(tǒng)存儲(chǔ)系統(tǒng)，以及少量品牌/型號(hào)的服務(wù)器平臺(tái)。

冬瓜哥作為擁有全球最領(lǐng)先PCI-E Switch產(chǎn)品的Microsemi公司的系統(tǒng)架構(gòu)師，想在這里為大家普及一下PCI-E Switch的基本知識(shí)。

背景介紹

PCI-E大家都了解，主板上有PCI-E槽，里面的金手指就是一堆信號(hào)線，其直接被連接到了CPU內(nèi)部的PCI-E控制器上。然而，當(dāng)前的Intel平臺(tái)CPU每顆最大支持40個(gè)通道（Lane），一般來講萬兆網(wǎng)卡使用8個(gè)通道即可，高端顯卡需要x16通道因?yàn)樵?D運(yùn)算時(shí)需要的吞吐量巨大（冬瓜哥的PC使用了老主板來配了塊GTX980顯卡，只能運(yùn)行在x8模式上，但是3D性能基本沒什么變化，證明x8基本已經(jīng)足夠）。一般的存儲(chǔ)卡也使用x8，但是后端12Gb/s SAS存儲(chǔ)卡（HBA卡、Raid卡）普遍過渡到了x16。

但是，對(duì)于一些高端產(chǎn)品來講，尤其是那些傳統(tǒng)存儲(chǔ)系統(tǒng)，每顆CPU提供x40個(gè)通道就顯得不夠用了。傳統(tǒng)存儲(chǔ)系統(tǒng)的一個(gè)特殊要求就是后端和前端HBA數(shù)量比較大，所以CPU自帶的通道數(shù)量無法滿足。另外，傳統(tǒng)存儲(chǔ)控制器之間需要做各種數(shù)據(jù)交換和同步，一般也是用PCI-E，這又增加了對(duì)通道數(shù)量的消耗。

對(duì)于一般的高端服務(wù)器，普遍都是雙路、四路配置，雙路下提供x80通道，理論上可連接10個(gè)x8的PCI-E設(shè)備，去掉一些用于管理、內(nèi)部嵌入式PCI-E設(shè)備的通道占用之后，連接8個(gè)設(shè)備不在話下，可以覆蓋幾乎所有應(yīng)用場(chǎng)景。

但是，**隨著用戶對(duì)融合、統(tǒng)一、效率、空間、能耗要求的不斷提升，近年來出現(xiàn)了不少高密度模塊化服務(wù)器平臺(tái)，或者說，開放式刀片。這類服務(wù)器平臺(tái)對(duì)PCI-E方面產(chǎn)生了一些特殊需求，比如Partition和MR-IOV。**下面，冬瓜哥就詳細(xì)展開介紹這些知識(shí)。

基本功能

1.Fanout

Fanout（擴(kuò)展、擴(kuò)開、散開的意思）是PCI-E switch的基本功能，或者說，PCI-E標(biāo)準(zhǔn)體系一開始就是應(yīng)對(duì)通道數(shù)量不夠用才設(shè)計(jì)了PCI-E Switch這個(gè)角色。

在PCI-E之前的一代標(biāo)準(zhǔn)是PCI-X，那時(shí)候并沒有Switch的概念，F(xiàn)anout采用的是橋接的形式，形成一個(gè)樹形結(jié)構(gòu)，如上圖中間所示。**Switch的概念是在PCI-E時(shí)代引入的，其相對(duì)于橋最大的一個(gè)本質(zhì)區(qū)別就是同一個(gè)Bus內(nèi)部的多個(gè)角色之間采用的是Switch交換而不是Bus。**PCI-X時(shí)代真的是使用共享Bus傳遞數(shù)據(jù)，這就意味著仲裁，意味著低效率。

然而，PCI-E保留了PCI-X體系的基本概念，比如依然沿用“Bus”這個(gè)詞，以及“橋/Bridge”這個(gè)詞，但是這兩個(gè)角色都成為了虛擬角色。一個(gè)Switch相當(dāng)于一個(gè)虛擬橋+虛擬Bus的集合體，每個(gè)虛擬橋（VB）之下只能連接一個(gè)端點(diǎn)設(shè)備（也就是最終設(shè)備/卡，End Point/EP）或者級(jí)聯(lián)另外一個(gè)Switch，而不能連接到一個(gè)Bus，因?yàn)槲锢鞡us已經(jīng)沒了。這種Fanout形式依然必須遵循樹形結(jié)構(gòu)，因?yàn)闃湫谓Y(jié)構(gòu)最簡(jiǎn)單，沒有環(huán)路，不需要考慮復(fù)雜路由。

2.Partition

分區(qū)功能相當(dāng)于以太網(wǎng)Switch里的Vlan，相當(dāng)于SAS Switch/Expander里的Zone。

如上圖所示，兩臺(tái)或者多臺(tái)機(jī)器，可以連接到同一片PCI-E Switch，在Switch做分區(qū)配置，將某些EP設(shè)備分配給某個(gè)服務(wù)器。這樣可以做到統(tǒng)一管理，靈活分配。每臺(tái)服務(wù)器的BIOS或者OS在枚舉PCI-E總線時(shí)只會(huì)發(fā)現(xiàn)分配給它的虛擬橋、虛擬BUS、和EP。多個(gè)分區(qū)之間互不干擾。

**多臺(tái)獨(dú)立服務(wù)器連接到同一片Switch上，如果不做Partition，是會(huì)出現(xiàn)問題的，**因?yàn)閮蓚€(gè)OS會(huì)分別枚舉同一堆PCI-E總線內(nèi)的角色，并為其分配訪問地址，此時(shí)會(huì)出現(xiàn)沖突。

3.NTB

有些特殊場(chǎng)景下，比如傳統(tǒng)存儲(chǔ)系統(tǒng)中的多個(gè)控制器，它們之間需要同步很多數(shù)據(jù)和控制信息，希望使用PCI-E鏈路直接通信。問題是，圖中的兩臺(tái)服務(wù)器并不可以直接通信，因?yàn)楸仨毶硖巸蓚€(gè)不同的分區(qū)中。為了滿足這個(gè)需求，出現(xiàn)了NTB技術(shù)。其基本原理是地址翻譯，因?yàn)閮蓚€(gè)不同的系統(tǒng)（術(shù)語(yǔ)System Image，SI）各有各的地址空間，是重疊的。那么只要在PCI-E Switch內(nèi)部將對(duì)應(yīng)的數(shù)據(jù)包進(jìn)行地址映射翻譯，便可以實(shí)現(xiàn)雙方通信。這種帶有地址翻譯的橋接技術(shù)叫做None Transparent Bridge，非透明橋。

高級(jí)功能

1.Dynamic Partition

上文中的分區(qū)配置必須是靜態(tài)配置，必須在BIOS啟動(dòng)之前，也就是CPU加電之前，對(duì)PCI-E Switch進(jìn)行分區(qū)配置，可以使用BMC做配置。分區(qū)配置好之后，在系統(tǒng)運(yùn)行期間，不能夠動(dòng)態(tài)改變。這就意味著，某個(gè)PCI-E卡如果被分配到了服務(wù)器A，則其不能在不影響服務(wù)器A和B的運(yùn)行前提下，被動(dòng)態(tài)重新分配到服務(wù)器B。

Microsemi公司Switchtec旗下的PCI-E Switch產(chǎn)品則支持動(dòng)態(tài)分配。具體的實(shí)現(xiàn)手段冬瓜哥就不透露了。不過，對(duì)于內(nèi)行開發(fā)者來講，這些都不是問題，問題是對(duì)應(yīng)的芯片內(nèi)部的架構(gòu)是否足夠靈活可配置，這是限制高級(jí)功能設(shè)計(jì)的關(guān)鍵。

2.Fabric

上文中說過，不管是PCI-X還是PCI-E體系標(biāo)準(zhǔn)內(nèi)，只支持樹形拓?fù)?。樹形拓?fù)涞膯栴}在于，路徑過長(zhǎng)，整個(gè)網(wǎng)絡(luò)的直徑太大。另外，無法實(shí)現(xiàn)冗余，一旦某個(gè)鏈路故障，鏈路后方的分支全部無法訪問。

于是，**支持Fabric成了一個(gè)非常復(fù)雜的高級(jí)功能。這個(gè)場(chǎng)景目前還很少有人使用，對(duì)于整機(jī)架服務(wù)器比如天蝎等，其對(duì)這項(xiàng)功能興趣則比較大。**然而，目前這個(gè)技術(shù)的實(shí)現(xiàn)還非常初級(jí)不完善，也沒有形成標(biāo)準(zhǔn)。

3.IOV

SR-IOV，不少人都聽說過，但卻不知道里面具體的門道，Single Root IO Virtualization里的Root是什么意思？Single Root又何解？還有Multi Root IOV，這又是什么鬼？

SR-IOV，是指把插在一臺(tái)服務(wù)器上的一塊PCI-E卡虛擬成多塊虛擬卡，給運(yùn)行在這臺(tái)服務(wù)器上的多個(gè)虛擬機(jī)用，每個(gè)虛擬機(jī)都識(shí)別到一個(gè)PCI-E卡，但是VM并不知道這個(gè)卡是虛擬出來的。

如果不虛擬成多塊卡，多個(gè)VM怎么共享這個(gè)設(shè)備？答，必須通過Hypervisor提供的服務(wù)來使用該設(shè)備。Hypervisor會(huì)在VM內(nèi)安裝一個(gè)驅(qū)動(dòng)程序，這個(gè)驅(qū)動(dòng)會(huì)虛擬一個(gè)并不存在的設(shè)備，比如 “XXX牌以太網(wǎng)卡”，這個(gè)驅(qū)動(dòng)會(huì)真的與OS協(xié)議棧掛接上，從而接收上層下發(fā)的數(shù)據(jù)包。但是這個(gè)驅(qū)動(dòng)收到數(shù)據(jù)包之后，由于根本不存在實(shí)際的網(wǎng)卡，這個(gè)驅(qū)動(dòng)其實(shí)是將這個(gè)包發(fā)送給了Hypervisor，或者有些虛擬機(jī)實(shí)現(xiàn)是使用一個(gè)domain 0特權(quán)VM來負(fù)責(zé)與真實(shí)硬件打交道，那么這個(gè)驅(qū)動(dòng)會(huì)將數(shù)據(jù)發(fā)送給這個(gè)特權(quán)VM，Guest VM與特權(quán)VM之間通過進(jìn)程間通信來傳遞數(shù)據(jù)，Hypervisor或者特權(quán)VM收到數(shù)據(jù)之后，再通過真實(shí)的驅(qū)動(dòng)，比如“Intel xxx Ethernet card”將數(shù)據(jù)包發(fā)送給真實(shí)網(wǎng)卡。

這么一轉(zhuǎn)發(fā)，就慢了，因?yàn)閮?nèi)存拷貝的代價(jià)比較高，吞吐量要求如果很大的話，這種方式就不行了。于是，SR-IOV出馬解決了這個(gè)問題。SR-IOV需要直接在PCI-E卡的硬件里虛擬出多個(gè)子設(shè)備。如何做到？

首先，支持SR-IOV的PCI-E卡，需要向系統(tǒng)申請(qǐng)成倍的地址空間，想虛擬出幾個(gè)設(shè)備，就需要按照SR-IOV的規(guī)范格式來聲明相比原先幾倍的地址空間。這個(gè)地址空間會(huì)在內(nèi)核或者BIOS枚舉PCI-E設(shè)備的時(shí)候被獲取到，系統(tǒng)會(huì)將為該設(shè)備申請(qǐng)的地址空間段的基地址寫入設(shè)備寄存器。比如某網(wǎng)卡虛擬出8個(gè)虛擬網(wǎng)卡來，然后由內(nèi)核PCI-E管理模塊向系統(tǒng)申報(bào)8個(gè)PCI-E設(shè)備。隨后就是由Hypervisor將對(duì)應(yīng)的設(shè)備映射給對(duì)應(yīng)的VM，VM中加載對(duì)應(yīng)的Host Driver。Hypervisor還需要執(zhí)行地址翻譯，或者硬件輔助的地址翻譯。

只要PCI-E設(shè)備自身支持SR-IOV，PCI-E Switch不需要做任何額外處理即可原生支持。但是**MR-IOV則必須基于支持SR-IOV的板卡，加上在PCI-E switch上做額外處理才可以支持。**原因還是因?yàn)槎鄠€(gè)獨(dú)立系統(tǒng)之間是互不溝通的，如果都嘗試對(duì)PCI-E總線進(jìn)行配置會(huì)沖突。PCI-E Switch針對(duì)MR-IOV的支持基本手段，還是靠增加一層地址映射管理來實(shí)現(xiàn)。

4. 組播（Multicast）

在傳統(tǒng)雙控或者多控存儲(chǔ)系統(tǒng)中，緩存鏡像是一個(gè)必須動(dòng)作。緩存鏡像有多種方式可以實(shí)現(xiàn)。第一種，某控制器將數(shù)據(jù)讀入其自身內(nèi)存，然后使用NTB方式將數(shù)據(jù)拷貝到對(duì)方的一個(gè)或者多個(gè)控制器內(nèi)存從而實(shí)現(xiàn)鏡像。拷貝過程可以采用programmed IO方式或者DMA方式（前提是對(duì)應(yīng)的PCIE switch上提供DMA控制器）。另一種方式則是采用組播方式，底層程序員首先對(duì)整個(gè)PCIE switch域中的switch做配置，將某些端口后面的某些地址空間設(shè)置為同屬于一個(gè)組播組，這樣，凡是命中該組播組地址空間的寫操作，均被PCIE switch廣播寫入到同組內(nèi)的對(duì)應(yīng)地址上。這種方式實(shí)現(xiàn)鏡像的好處是不消耗任何Host端CPU資源。目前，PCIE Multicast這個(gè)功能，只有一家支持（支持Dynamic Partition的那家），并且只有Posted方式的返回?cái)?shù)據(jù)才可以被組播。PCIE寫操作都是Posted，讀操作都是none posted。注意，Host讀盤的過程底層其實(shí)是盤向Host主存的PCIE寫事務(wù)，PCIE設(shè)備枚舉過程中的配置讀操作是真讀。過于底層的細(xì)節(jié)冬瓜哥就不多介紹了。

Dell PowerEdge FX2平臺(tái)對(duì)

PCI-E Switch的應(yīng)用

Dell PowerEdge FX2是一款2U多節(jié)點(diǎn)服務(wù)器平臺(tái)框架，其采用一個(gè)2U的Chassis機(jī)箱，最大可以容納：

2個(gè)1U Server Sled

或者1個(gè)1U Server Sled+2個(gè)1U半寬存儲(chǔ)Sled

或者1個(gè)1U半寬Server Sled+3個(gè)1U半寬存儲(chǔ)Sled

或者4個(gè)1U半寬Server Sled

或者2個(gè)1U半寬Server Sled+2個(gè)1U半寬存儲(chǔ)Sled

或者3個(gè)1U半寬Server Sled+1個(gè)1U半寬存儲(chǔ)Sled

或者8個(gè)1U四分之一寬Server Sled

多種靈活組合都可實(shí)現(xiàn)。

機(jī)箱背面有8個(gè)PCI-E槽位。

**這8個(gè)PCI-E槽位可以被靈活的分配給機(jī)箱正面的各種組合的Server Sled。這就得益于PCI-E Switch以及Partition功能的使用。**冬瓜哥畫了一張示意圖來向大家介紹一下其內(nèi)部的導(dǎo)向路徑。如下圖所示，1/2號(hào)槽位所連接的端口與服務(wù)器Sled1所連接的端口處于紅色分區(qū)之內(nèi)，3/4槽位與服務(wù)器Sled2處于黃色分區(qū)。而5/6/7/8槽位、存儲(chǔ)Sled、服務(wù)器Seld3則同處于藍(lán)色分區(qū)內(nèi)。意味著，服務(wù)器Sled3會(huì)識(shí)別到5/6/7/8槽位上的PCI-E卡（如有），同時(shí)識(shí)別到存儲(chǔ)Sled上的RAID卡。