?

?

4.2. Type 0 Device和Endpoint

所有連接到PCIe總線上的Type 0設(shè)備（終端設(shè)備），都可以來(lái)實(shí)現(xiàn)PCIe的Endpoint，用來(lái)發(fā)起或者接收PCIe的請(qǐng)求和消息。**每個(gè)設(shè)備可以實(shí)現(xiàn)一個(gè)或者多個(gè)Endpoint，每個(gè)Endpoint都對(duì)應(yīng)著一個(gè)特定的功能。**比如：

一塊雙網(wǎng)口的網(wǎng)卡，可以每個(gè)為每個(gè)網(wǎng)口實(shí)現(xiàn)一個(gè)單獨(dú)的Endpoint；

一塊顯卡，其中實(shí)現(xiàn)了4個(gè)Endpoint：一個(gè)顯卡本身的Endpoint，一個(gè)Audio Endpoint，一個(gè)USB Endpoint，一個(gè)UCSI Endpoint；這些我們都可以通過(guò)lspci或者Windows上的設(shè)備管理器來(lái)查看：

?

?

4.3. RCIE（Root Complex Integrated Endpoint）

說(shuō)到PCIe設(shè)備，腦海里面可能第一反應(yīng)就是有一個(gè)PCIe的插槽，然后把顯卡或者其他設(shè)備插在里面，就像我們上面看到的這樣。但是其實(shí)系統(tǒng)中有大量的設(shè)備是主板上集成好了的，比如，內(nèi)存控制器，集成顯卡，Ethernet網(wǎng)卡，聲卡，USB控制器等等。 這些設(shè)備在連接PCIe的時(shí)候，可以直接連接到Root Complex上面。這種設(shè)備就叫做RCIE（Root Complex Integrated Endpoint），如果我們?nèi)ゲ榭吹脑挘?strong>他們的Bus Number都是0，代表Root Complex。

4.4. Port / Bridge

那么其他的需要通過(guò)插槽連接的設(shè)備呢？這些設(shè)備就需要通過(guò)PCIe Port來(lái)連接了。 在Root Complex上，有很多的Root Port，這些Port每一個(gè)都可以連接一個(gè)PCIe設(shè)備（Type 0或者Type 1）。

本質(zhì)上，所有這些連接其他設(shè)備用的部件都是由橋（Bridge）來(lái)實(shí)現(xiàn)的，這些橋的兩端連接著兩個(gè)不同的PCIe Bus（Bus Number不同）。 比如，一個(gè)Root Port其實(shí)是靠?jī)蓚€(gè)Bridge來(lái)實(shí)現(xiàn)的：一個(gè)（共享的）Host Bridge（上游連接著CPU，下游連接著B(niǎo)us 0）和一個(gè)PCI Bridge用來(lái)連接下游設(shè)備（上游連著的是Bus 0（Root Complex），下游連著的PCIe的設(shè)備（Bus Number在啟動(dòng)過(guò)程中自動(dòng)分配）） [1]。

我們通過(guò)lspci命令可以看到這些橋的存在（注意設(shè)備詳情中的Kernel driver in use: pcieport）：

?

?

?

4.5. Switch

如果我們需要連接不止一個(gè)設(shè)備怎么辦呢？這時(shí)候就需要用到PCIe Switch了。 PCIe Switch內(nèi)部主要有三個(gè)部分：

一個(gè)Upstream Port和Bridge：用于連接到上游的Port，比如，Root Port或者上游Switch的Downstream Port

一組Downstream Port和Bridge：用于連接下游的設(shè)備，比如，顯卡，網(wǎng)卡，或者下游Switch的Upstream Port

一根虛擬總線：用于將上游和下游的所有端口連接起來(lái)，這樣，上游的Port就可以訪問(wèn)下游的設(shè)備了

另外，這里再說(shuō)明一次 —— 由于PCIe的信號(hào)傳輸是點(diǎn)對(duì)點(diǎn)的，所以Switch中間的這個(gè)總線只是一個(gè)邏輯上的虛擬的總線，其實(shí)并不存在，里面真正的結(jié)構(gòu)是一套用于轉(zhuǎn)發(fā)的交換電路 [9]。 最后，看到這里也許你會(huì)突然想到Root Complex是不是也可以看成是一個(gè)Switch呢？我覺(jué)得這兩個(gè)概念最好還是分開(kāi)，雖然從很多框圖上看著確實(shí)很像，只不過(guò)Root Complex沒(méi)有Upstream Port，連接上游的Host Bridge是連接到CPU上，不過(guò)Root Complex內(nèi)部的功能要遠(yuǎn)比Switch復(fù)雜的多，里面不僅僅是簡(jiǎn)單的包轉(zhuǎn)發(fā)，比如，后面會(huì)說(shuō)到的PCIe請(qǐng)求的生成和轉(zhuǎn)換等等。

5. 小結(jié)

好了，到這里我們已經(jīng)將PCIe設(shè)備樹(shù)中的主要部件都介紹完畢了。如果我們把所有這些部件連接在一起，那么其整體的結(jié)構(gòu)就是這樣的 [10]：

好的，為了避免文章過(guò)長(zhǎng)，我們這一篇就先到這里，后面有時(shí)間再繼續(xù)總結(jié)和PCIe相關(guān)的其他知識(shí)，比如配置空間和域，消息和消息路由等等。

PCIe系統(tǒng)舉例

PCIe拓?fù)涮卣鳎簣D的頂部是一個(gè)CPU。這里要說(shuō)明的一點(diǎn)是，CPU被認(rèn)為是PCle層次結(jié)構(gòu)的頂層。PCle只允許簡(jiǎn)單的樹(shù)結(jié)構(gòu)，這意味著不允許循環(huán)或其他復(fù)雜的拓?fù)浣Y(jié)構(gòu)。這樣做是為了保持與PCI軟件的向后兼容性，PCI軟件使用一個(gè)簡(jiǎn)單的配置方案來(lái)跟蹤拓?fù)?，不支持?fù)雜的環(huán)境。為了保持這種兼容性，軟件必須能夠與以前相同的方式生成配置周期，總線拓?fù)湟脖仨毰c以前相同。因此，軟件期望找到的所有配置寄存器仍然在那里，并且以它們始終具有的方式運(yùn)行。

在上圖PCIe系統(tǒng)中有幾種設(shè)備類型，Root Complex、Switch、Bridge、Endpoint等，下面分別介紹其概念。

Root Complex：簡(jiǎn)稱RC，CPU和PCle總線之間的接口，可能包含幾個(gè)組件(處理器接口、DRAM接口等)，甚至可能包含幾個(gè)芯片。RC位于PCI倒立樹(shù)拓?fù)涞摹案?，并代表CPU與系統(tǒng)的其余部分進(jìn)行通信。但是，規(guī)范并沒(méi)有仔細(xì)定義它，而是給出了必需和可選功能的列表。從廣義上講，RC可以理解為系統(tǒng)CPU和PCle拓?fù)渲g的接口，PCle端口在配置空間中被標(biāo)記為“根端口”。

Bridge：橋提供了與其他總線(如PCI或PCI- x，甚至是另一個(gè)PCle總線)的接口。如圖中顯示的橋接有時(shí)被稱為“轉(zhuǎn)發(fā)橋接”，它允許舊的PCI或PCIX卡插入新系統(tǒng)。相反的類型或“反向橋接”允許一個(gè)新的PCle卡插入一個(gè)舊的PCI系統(tǒng)。

Switch：提供擴(kuò)展或聚合能力，并允許更多的設(shè)備連接到一個(gè)PCle端口。它們充當(dāng)包路由器，根據(jù)地址或其他路由信息識(shí)別給定包需要走哪條路徑。是一種PCIe轉(zhuǎn)PCIe的橋。

Endpoint：處于PCIe總線系統(tǒng)拓?fù)浣Y(jié)構(gòu)中的最末端，一般作為總線操作的發(fā)起者（initiator，類似于PCI總線中的主機(jī)）或者終結(jié)者（Completers，類似于PCI總線中的從機(jī)）。顯然，Endpoint只能接受來(lái)自上級(jí)拓?fù)涞臄?shù)據(jù)包或者向上級(jí)拓?fù)浒l(fā)送數(shù)據(jù)包。細(xì)分Endpoint類型的話，分為L(zhǎng)agacy PCIe Endpoint和Native PCIe Endpoint，Lagacy PCIe Endpoint是指那些原本準(zhǔn)備設(shè)計(jì)為PCI-X總線接口的設(shè)備，但是卻被改為PCIe接口的設(shè)備。而Native PCIe Endpoint則是標(biāo)準(zhǔn)的PCIe設(shè)備。其中，Lagacy PCIe Endpoint可以使用一些在Native PCIe Endpoint禁止使用的操作，如IO Space和Locked Request等。Native PCIe Endpoint則全部通過(guò)Memory Map來(lái)進(jìn)行操作，因此，Native PCIe Endpoint也被稱為Memory Mapped Devices（MMIO Devices）

如上圖，是一個(gè)高端服務(wù)器系統(tǒng)，系統(tǒng)內(nèi)建其他組網(wǎng)接口，如FC，ETH，SAS/SATA等。 “Intel Processor”包含許多組件，大多數(shù)現(xiàn)代CPU架構(gòu)都是如此。這一個(gè)包括一個(gè)PCle端口訪問(wèn)圖形，和2個(gè)DRAM通道，這意味著內(nèi)存控制器和一些路由邏輯已經(jīng)集成到CPU中。這些資源通常統(tǒng)稱為“Uncore”邏輯，將它們與包中的幾個(gè)CPU內(nèi)核及其關(guān)聯(lián)邏輯區(qū)分開(kāi)來(lái)。 Root Complex描述為CPU和PCle拓?fù)渲g的接口，這意味著該部分必須位于CPU中。

6. 參考資料

[1]: PCI Express Base Specification

[2]: Thunderbolt 3 Technology Brief

[3]: USB4 Specification

[4]: Compute Express Link (CXL) Specification

[5]: Intel 3000 and 3010 Chipset Memory Controller Hub (MCH) datasheet

[6]: H12DSi-NT6 motherboard manual

[7]: fpga4fun - PCI Express 2 - Topology

[8]: White Paper: Introduction to Intel Architecture

[9]: Crossbar Switch

[10]: Mindshare - An Introduction to PCI Express

https://r12f.com/posts/pcie-1-basics/

https://blog.csdn.net/u013253075/article/details/119045277

審核編輯：黃飛

?