PCIe 真的能與以太網(wǎng)和 IB 競(jìng)爭(zhēng)并取勝嗎？工程師應(yīng)該從了解 PCIe、以太網(wǎng)和 IB 共存的地方以及為什么 PCIe 準(zhǔn)備進(jìn)軍其他兩個(gè)領(lǐng)域中受益。

InfiniBand （IB） 最初被設(shè)想為一種統(tǒng)一結(jié)構(gòu)，以取代大多數(shù)其他數(shù)據(jù)中心互連。雖然它沒有實(shí)現(xiàn)這一目標(biāo)，但它已經(jīng)作為一種高速集群互連變得流行，取代了之前一直在使用的專有解決方案。

與 PCI Express （PCIe） 非常相似，IB 自推出以來已經(jīng)經(jīng)歷了許多不同的速度。初始速度稱為單數(shù)據(jù)速率 （SDR），與 PCIe Gen1 的有效數(shù)據(jù)速率相同，約為每秒 2 吉比特 （Gbps）。此后，它已增強(qiáng)為 4 Gbps 的雙倍數(shù)據(jù)速率 （DDR）、8 Gbps 的四倍數(shù)據(jù)速率 （QDR），現(xiàn)在通過 14 數(shù)據(jù)速率 （FDR） 增強(qiáng)功能提高到 13.64 Gbps。

QDR 在單通道的數(shù)據(jù)速率方面最接近 PCIe Gen3，并且具有相似的帶寬和延遲，基于 PCIe 的結(jié)構(gòu)將能夠以相同的數(shù)據(jù)速率提供與 IB 解決方案相似的性能。除了提供相同級(jí)別的性能外，PCIe 還能夠使用 IB 不提供的標(biāo)準(zhǔn)單根 I/O 虛擬化 （SR-IOV） 硬件和軟件驅(qū)動(dòng)程序提供 I/O 設(shè)備共享。IB 主要是一種高速集群技術(shù)，因此基于 PCIe 的結(jié)構(gòu)可以實(shí)現(xiàn)類似 IB QDR 的性能，并降低等效 IB 解決方案的系統(tǒng)成本和功耗。

當(dāng)前架構(gòu)

當(dāng)前大量部署的傳統(tǒng)系統(tǒng)有幾種需要支持的互連技術(shù)。如圖 1 所示，除了光纖通道 （FC） 等其他結(jié)構(gòu)外，IB 和以太網(wǎng)還可以作為單個(gè)系統(tǒng)中的互連。

圖 1：此處顯示的是采用 PCI Express、InfiniBand （IB） 和以太網(wǎng)互連技術(shù)的傳統(tǒng)系統(tǒng)。

這種架構(gòu)有幾個(gè)限制：

存在多種 I/O 互連技術(shù)

I/O端點(diǎn)利用率低

由于需要多個(gè) I/O 端點(diǎn)而導(dǎo)致高功耗和系統(tǒng)成本

I/O 在構(gòu)建時(shí)固定，以后無法靈活更改

管理軟件必須處理具有開銷的多個(gè) I/O 協(xié)議

使用多種 I/O 互連技術(shù)會(huì)增加延遲、成本、電路板空間和功耗。如果所有端點(diǎn)都在 100% 的時(shí)間內(nèi)被使用，那么這種架構(gòu)會(huì)有些用處，但是它們通常未被充分利用，這意味著有限的利用率會(huì)產(chǎn)生昂貴的開銷。延遲增加是因?yàn)?a target="_blank">處理器的原生 PCIe 接口需要轉(zhuǎn)換為多種協(xié)議。但是，設(shè)計(jì)人員可以通過利用相同的本地 PCIe 接口來聚合所有端點(diǎn)來減少此類延遲。

顯然，共享 I/O 端點(diǎn)是解決這些限制的方法（圖 2）。這一概念吸引了系統(tǒng)設(shè)計(jì)人員，因?yàn)樗档土顺杀竞凸?，提高了性能和利用率，并?jiǎn)化了設(shè)計(jì)。共享 I/O 的其他優(yōu)點(diǎn)是：

隨著 I/O 速度的提高，唯一需要的額外投資就是更換 I/O 適配卡。在早期部署中，當(dāng)同一卡上存在多種 I/O 技術(shù)時(shí)，設(shè)計(jì)人員必須重新設(shè)計(jì)整個(gè)系統(tǒng)，而在共享 I/O 模型中，當(dāng)需要升級(jí)時(shí)，他們可以簡(jiǎn)單地用新卡替換現(xiàn)有卡。一種特定的 I/O 技術(shù)。

由于不需要在同一張卡上存在多個(gè) I/O 端點(diǎn)，設(shè)計(jì)人員可以制造更小的卡以進(jìn)一步降低成本和功耗，或者選擇保留現(xiàn)有的外形尺寸并通過添加多個(gè) CPU、內(nèi)存和/ 或通過消除多個(gè) I/O 端點(diǎn)節(jié)省的空間中的其他端點(diǎn)。

設(shè)計(jì)人員可以減少縱橫交錯(cuò)系統(tǒng)的電纜數(shù)量。隨著多種互連技術(shù)的出現(xiàn)，需要不同（和多條）電纜來實(shí)現(xiàn)帶寬和開銷協(xié)議。然而，隨著設(shè)計(jì)的簡(jiǎn)化和 I/O 互連技術(shù)的范圍擴(kuò)大，系統(tǒng)正常運(yùn)行所需的電纜數(shù)量也減少了，從而消除了設(shè)計(jì)的復(fù)雜性并節(jié)省了成本。

圖 2：將 PCI Express （PCIe） 用于共享 I/O 的 I/O 系統(tǒng)降低了成本、提高了性能并簡(jiǎn)化了設(shè)計(jì)。

在 PCIe 交換機(jī)中實(shí)現(xiàn)共享 I/O 是圖 2 中描繪的架構(gòu)的關(guān)鍵推動(dòng)力。SR-IOV 技術(shù)在硬件中實(shí)現(xiàn) I/O 虛擬化以提高性能，并利用基于硬件的安全性和 Quality-of-單個(gè)物理服務(wù)器中的服務(wù) （QoS） 功能。SR-IOV 還允許在同一服務(wù)器上運(yùn)行的多個(gè)客戶操作系統(tǒng) （OS） 共享 I/O。

PCIe 通過允許將所有 I/O 適配器（例如，基于 10 Gb 以太網(wǎng) （GbE）、FC 或 IB）移到服務(wù)器外部，提供了一種簡(jiǎn)化的方法來實(shí)現(xiàn)這一點(diǎn)。借助提供虛擬化支持的 PCIe 交換結(jié)構(gòu)，每個(gè)適配器可以在多個(gè)服務(wù)器之間共享，同時(shí)為每個(gè)服務(wù)器提供一個(gè)邏輯適配器。服務(wù)器或每臺(tái)服務(wù)器上的虛擬機(jī) （VM） 繼續(xù)可以直接訪問共享適配器上它們自己的一組硬件資源。產(chǎn)生的虛擬化允許更好的可擴(kuò)展性，因?yàn)?I/O 和服務(wù)器可以相互獨(dú)立地?cái)U(kuò)展。這種虛擬化通過避免過度配置服務(wù)器或 I/O 資源來降低成本和電力需求。

除了共享 I/O 實(shí)現(xiàn)之外，基于 PCIe 的結(jié)構(gòu)增強(qiáng)了基本的 PCIe 功能，包括遠(yuǎn)程 DMA （RDMA），通過直接從主機(jī)應(yīng)用程序內(nèi)存復(fù)制信息來提供非常低延遲的主機(jī)到主機(jī)傳輸，而無需主 CPU 的參與，從而釋放 CPU 用于更重要的處理功能。

表 1 提供了 PCIe、10 GbE 和 QDR IB 成本比較的高級(jí)概述，而表 2 提供了三種互連技術(shù)的功率比較。

表 1：與 10 Gb 以太網(wǎng) （GbE） 和四倍數(shù)據(jù)速率 （QDR） InfiniBand （IB） 替代方案相比，PCI Express （PCIe） I/O 共享互連架構(gòu)可節(jié)省 50% 以上的成本。

表 2：與 10 Gb 以太網(wǎng) （GbE） 和四倍數(shù)據(jù)速率 （QDR） InfiniBand （IB） 替代方案相比，PCI Express （PCIe） I/O 共享互連架構(gòu)可節(jié)省 50% 以上的功耗。

表 1 中的價(jià)格估算基于廣泛的行業(yè)調(diào)查，并假設(shè)定價(jià)會(huì)根據(jù)架頂式交換機(jī)和適配器的數(shù)量、可用性和供應(yīng)商關(guān)系而有所不同。這兩個(gè)表提供了一個(gè)框架，用于了解使用 PCIe 進(jìn)行 I/O 共享的成本和節(jié)能，主要是通過消除適配器。

切換到 PCIe

由于多種原因，PCIe 已經(jīng)主導(dǎo)了主流互連市場(chǎng)：通用可擴(kuò)展性、高吞吐速度、低開銷和廣泛部署。PCIe 可以針對(duì)不同的帶寬要求進(jìn)行線性擴(kuò)展，從服務(wù)器主板上的 x1 連接到用于高速存儲(chǔ)的 x2 連接，再到用于背板的 x4 和 x8 連接，以及用于圖形應(yīng)用程序的 x16 連接。PCIe Gen3 每條鏈路的雙向 8 Gbps 不僅能夠支持共享 I/O 和集群，這反過來又為系統(tǒng)設(shè)計(jì)人員提供了一種無與倫比的工具來優(yōu)化設(shè)計(jì)效率，就像 PCIe 的簡(jiǎn)單、低開銷協(xié)議一樣。最后，PCIe 是一種真正無處不在的技術(shù)，幾乎系統(tǒng)中的每個(gè)設(shè)備都至少有一個(gè) PCIe 連接。

本文重點(diǎn)介紹了 PCIe、10 GbE 和 IB QDR 之間的各種比較，特別是在成本和功率要求方面，但建議還考慮這三個(gè)行業(yè)標(biāo)準(zhǔn)之間的其他技術(shù)區(qū)別。盡管如此，由于 PCIe 幾乎在所有處理器上都是原生的，因此設(shè)計(jì)人員可以通過消除在 CPU 和 PCIe 開關(guān)之間使用額外組件的需要而受益于更低的延遲；使用新一代 CPU，PCIe 開關(guān)可以直接放置在 CPU 之外，從而降低延遲和組件成本。

審核編輯：郭婷