近日，中央計(jì)算架構(gòu)委員會(huì)組織了一次年中團(tuán)建，邀請(qǐng)各分委會(huì)的兄弟們來(lái)火焰山避暑，順便聊聊汽車下一代中央計(jì)算架構(gòu)的實(shí)施進(jìn)展。

首先登場(chǎng)的是趾高氣揚(yáng)的SOC兄弟，還沒(méi)等進(jìn)門，就開(kāi)始喊道：外面傳感器是越來(lái)越多，數(shù)據(jù)量也是越來(lái)越大，還都想把原始數(shù)據(jù)送過(guò)來(lái)；我把拜把子兄弟都喊過(guò)來(lái)幫忙了，可高達(dá)Gbps級(jí)別的數(shù)據(jù)，我該如何與拜把子兄弟們實(shí)時(shí)交互信息呢？

接著登場(chǎng)的是大腹便便的存儲(chǔ)兄弟，好不容易坐穩(wěn)，一臉愁容的說(shuō)道：各位看我體型也能猜出我甜蜜的煩惱了吧，什么高精地圖數(shù)據(jù)，外部傳感器數(shù)據(jù)，內(nèi)部智能座艙數(shù)據(jù)全都需要我存儲(chǔ)，存慢了就背鍋，誰(shuí)有什么好方法讓SOC給我的數(shù)據(jù)傳的快點(diǎn)呀。

其他小弟默默無(wú)語(yǔ)，兩位大佬的問(wèn)題不解決，中央計(jì)算架構(gòu)似乎很難有所進(jìn)展，而兩位大佬問(wèn)題的共同點(diǎn)就是：如何解決下一代中央計(jì)算架構(gòu)下的片內(nèi)高速實(shí)時(shí)通信需求。業(yè)內(nèi)給出的一種解決方案就是PCIE。

PCIE簡(jiǎn)介

2001年初，Intel提出要采用新一代的總線技術(shù)來(lái)連接內(nèi)部多種芯片，并取代當(dāng)時(shí)使用的PCI總線，并稱之為第三代輸入輸出技術(shù)（3GIO技術(shù)）。2001底，雷厲風(fēng)行的Intel就聯(lián)合AMD、DELL、IBM等20多家業(yè)內(nèi)主導(dǎo)公司開(kāi)始起草新技術(shù)的規(guī)范，并于2002年完成，這種新的總線標(biāo)準(zhǔn)對(duì)外正式命名為PCI Express（PCIE/PCI-E）。

PCIE（Peripheral Component Interconnect Express）是一種全雙工、端到端、串行、高速可擴(kuò)展通信總線標(biāo)準(zhǔn)。

全雙工，是指允許設(shè)備在同一時(shí)刻，既可以發(fā)送數(shù)據(jù)也可以接收數(shù)據(jù)。這就好比一條雙向車道，南來(lái)的北往的互不干擾。而實(shí)現(xiàn)總線上數(shù)據(jù)發(fā)送或接收的物理介質(zhì)是一對(duì)差分線，接收端通過(guò)比較兩根線上信號(hào)的差值，來(lái)判斷發(fā)送端發(fā)送的是“邏輯0”還是“邏輯1”。采用差分信號(hào)傳輸，可以極大提高抗干擾能力，從而大幅提升傳輸頻率。而這樣的兩對(duì)發(fā)送和接收組成的一個(gè)差分回路（總共4條線），被稱為1xLane，如圖1所示。

圖1 1xLane結(jié)構(gòu)示意圖

端到端，指的是一條PCIE鏈路（Link）兩端只能各連接一個(gè)設(shè)備，這兩個(gè)設(shè)備互為數(shù)據(jù)的發(fā)送端和接收端，如圖2的設(shè)備A和設(shè)備B。而一條Link可以由多條上文介紹的Lane組成，這就好比雙向道路中，每一向道路中又可以包含多條車道。常見(jiàn)的Lane有x1，x2，x4，x8，x16，x32等。

圖2 一條PCIE鏈路

串行，數(shù)據(jù)一位一位的依次傳輸，每一位占據(jù)一個(gè)固定的時(shí)間長(zhǎng)度。有點(diǎn)電子學(xué)基礎(chǔ)的朋友可能要問(wèn)，為什么不采用并行方式呢，一個(gè)固定時(shí)間長(zhǎng)度，能同時(shí)傳輸8/16/32bit…，傳輸速率不是更快嗎？巧了，PCIE的眾多總線前輩們采用的也的確是并行方式。

采用并行的方式，數(shù)據(jù)通常在公共時(shí)鐘周期的第一個(gè)上升沿將數(shù)據(jù)發(fā)送出去，數(shù)據(jù)通過(guò)傳輸介質(zhì)到達(dá)接收端，接收端在公共時(shí)鐘周期的第二個(gè)上升沿對(duì)數(shù)據(jù)進(jìn)行采集，發(fā)送和接收正好經(jīng)歷一個(gè)公共時(shí)鐘周期。也就說(shuō)在這一個(gè)公共時(shí)鐘周期內(nèi)，發(fā)送端的發(fā)送數(shù)據(jù)必須保持不變，以保證接收端可以正確的采樣。

在并行方式下，公共時(shí)鐘周期必須大于數(shù)據(jù)在傳輸介質(zhì)中的傳輸時(shí)間（數(shù)據(jù)從發(fā)送端到接收端的時(shí)間），否則也將無(wú)法正確采樣。而并行方式中有幾十根數(shù)據(jù)線，要遵循木桶原理，即保證數(shù)據(jù)傳輸最慢的那根數(shù)據(jù)線滿足公共時(shí)鐘周期，這也是為什么高速并行總線需要做等長(zhǎng)處理。

所以并行方式要想提高傳輸速率，必須不斷提高時(shí)鐘頻率。但是受限于傳輸時(shí)間，時(shí)鐘頻率不可能非常高。同時(shí)隨著頻率越來(lái)越高，并行的連線相互干擾異常嚴(yán)重，已經(jīng)到了不可跨越的程度。再加上時(shí)鐘相位偏移等因素，導(dǎo)致采用并行方式并不能滿足越來(lái)越高的數(shù)據(jù)傳輸速率要求。

而采用串行的方式便可完美解決上述問(wèn)題，時(shí)鐘信號(hào)和數(shù)據(jù)信號(hào)一同編碼在同一數(shù)據(jù)流中，數(shù)據(jù)流一位一位的傳輸，接收端從數(shù)據(jù)流中恢復(fù)時(shí)鐘信息。由于沒(méi)有時(shí)鐘線，也就不存在時(shí)鐘相位偏移。再加上數(shù)據(jù)包分解、標(biāo)記和重組技術(shù)的進(jìn)步，使得串行傳輸數(shù)據(jù)的速度可以越來(lái)越快。

高速，PCIE目前已經(jīng)正式發(fā)布6個(gè)標(biāo)準(zhǔn)版本，最新的為PCIE 6.0，其傳輸速率基本上遵循了下一代比上一代翻倍的定律。我們首先以PCIE 1.0來(lái)舉例介紹下傳輸速率與我們更常用的帶寬單位之間的關(guān)系。

PCIE標(biāo)準(zhǔn)中用GT/s（GigaTransfers per second，一秒內(nèi)電位變化的次數(shù)）表示傳輸速率，而一次電位變化從數(shù)據(jù)角度來(lái)說(shuō)就相當(dāng)于傳輸了一個(gè)Bit。但是PCIE的電位變化并不全都用來(lái)傳輸有效數(shù)據(jù)，里面還包含了時(shí)鐘信號(hào)。PICE 1.0采用的8/10b編碼，就包含了2位時(shí)鐘信號(hào)，這意味著傳輸8位有效數(shù)據(jù)要經(jīng)歷10次電位變化。（注：PCIE 3.0以前使用8/10b編碼，PCIE 3.0及以后版本使用120/130b編碼。）

PCIE 1.0標(biāo)準(zhǔn)中Lanex1的傳輸速率為2.5GT/s，換算成GBps為2GBps（2.5x8/10），換算成MB/s為250MB/s（2/8x1000），x2，x4，x8，x16依次類推。表1給出了PCIE 1.0到6.0不同Lane下的帶寬數(shù)據(jù)。PCIE 6.0在Lanex16時(shí)可以提供高達(dá)126GB/s的帶寬，這不就是汽車直男的心動(dòng)女生嗎。

表1 PCIE 1.0到6.0不同Lane下的帶寬數(shù)據(jù)

而在2022年P(guān)CI-SIG開(kāi)發(fā)者大會(huì)上，PCIE接口標(biāo)準(zhǔn)委員會(huì)PCI-SIG就公布了PCIE 7.0的規(guī)范目標(biāo)，稱其數(shù)據(jù)速率高達(dá)128 GT/s，并在2025年向其成員發(fā)布。這相當(dāng)于在編碼開(kāi)銷之前，通過(guò)16通道 (x16) 連接能實(shí)現(xiàn)512 GB/s的雙向吞吐量。

PCIE拓?fù)浣Y(jié)構(gòu)

一、基于x86計(jì)算機(jī)系統(tǒng)

PCIE總線在x86計(jì)算機(jī)系統(tǒng)中作為局部總線，主要用來(lái)連接處理器系統(tǒng)中的外部設(shè)備。在x86計(jì)算機(jī)系統(tǒng)中，PCIE設(shè)備主要包括根復(fù)合體（Root Complex，RC），交換機(jī)（Switch），終端設(shè)備（Endpoingt），PCIE到PCI/PCI-X的橋（Bridge）等。一個(gè)典型的基于x86計(jì)算機(jī)系統(tǒng)的PCIE拓?fù)浣Y(jié)構(gòu)如圖3所示。

圖3 基于x86計(jì)算機(jī)系統(tǒng)的PCIE拓?fù)浣Y(jié)構(gòu)

RC將PCIE總線端口、存儲(chǔ)器等一系列與外部設(shè)備有關(guān)的接口都集成在一起。CPU平時(shí)比價(jià)忙，便會(huì)把很多事情交給RC去做，比如訪問(wèn)內(nèi)存，通過(guò)內(nèi)部PCIE總線及外部Bridge拓展出若干個(gè)其他的PCIE端口。

Endpoint作為終端設(shè)備，可以是PCIE SSD、PCIE網(wǎng)卡等，既可以掛載到RC上，也可以掛載到Switch上。

Switch擴(kuò)展了PCIE端口，可以將數(shù)據(jù)由一個(gè)端口路由到另一個(gè)端口，從而實(shí)現(xiàn)多設(shè)備的互聯(lián)，具體的路由方法包括ID路由，地址路由，隱含路由?？拷黂C的端口稱為上游端口，擴(kuò)展出來(lái)的端口稱為下游端口。下游端口可以掛載其他Switch或者Endpoint，并且對(duì)他們進(jìn)行管理。

從上游過(guò)來(lái)的數(shù)據(jù)，它需要鑒定：（1）否是是傳給自己的數(shù)據(jù)，如果是便接收；（2）是不是自己下游端口的數(shù)據(jù)，如果是便轉(zhuǎn)發(fā)；（3）如果都不是，便拒絕。從下游端口掛載的Endpoint傳給RC的數(shù)據(jù)，Switch會(huì)進(jìn)行相應(yīng)的仲裁，確定數(shù)據(jù)的優(yōu)先級(jí)，并將優(yōu)先級(jí)高的數(shù)據(jù)傳送到上游端口中去。

Bridge則是用來(lái)實(shí)現(xiàn)PCIE設(shè)備與PCI/PCI-X設(shè)備之間的連接，實(shí)現(xiàn)兩種不同協(xié)議之間的相互轉(zhuǎn)換。

二、基于汽車

汽車電子電氣架構(gòu)的多樣性，導(dǎo)致很難有像x86一樣的統(tǒng)一架構(gòu)。而基于中央計(jì)算架構(gòu)，Mircochip曾給出過(guò)一種架構(gòu)方案，如圖4所示。

圖4 汽車上的一種PCIE架構(gòu)

在此架構(gòu)中，PCIE Switch串聯(lián)起整個(gè)片內(nèi)通信。中央計(jì)算單元中的不同SOC，Ethernet Switch等均掛載其上面。外部傳感器通過(guò)Zonal ECU的Ethernet Switch串聯(lián)在一起。

PCIE分層體系

在PCIE總線中，數(shù)據(jù)報(bào)文在接收和發(fā)送過(guò)程中，需要經(jīng)歷三層蹂躪，包括事務(wù)層（Transaction Layer）、數(shù)據(jù)鏈路層（Data Link Layer）和物理層（Physical Layer）。各層又都包含發(fā)送和接收兩塊功能。這種分層的體系結(jié)構(gòu)和網(wǎng)絡(luò)的經(jīng)典七層模型有異曲同工之妙，但不同的是，PCIE總線中每一層都是使用硬件邏輯實(shí)現(xiàn)的。

工作流程如圖5所示，數(shù)據(jù)報(bào)文首先在設(shè)備A的核心層中產(chǎn)生，然后再經(jīng)過(guò)該設(shè)備的事務(wù)層、數(shù)據(jù)鏈路層和物理層，最終發(fā)送出去。而接收端的數(shù)據(jù)也需要通過(guò)物理層、數(shù)據(jù)鏈路層和事務(wù)層，并最終到達(dá)設(shè)備B的核心層。

圖5 PCIE工作流程

一、事務(wù)層。

事務(wù)層位于PCIE分層體系的最高層，一方面接收設(shè)備核心層的數(shù)據(jù)請(qǐng)求，封裝為TLP（Transaction Layer Packet）并在TLP頭中定義好總線事務(wù)后，發(fā)送給數(shù)據(jù)鏈路層。另一方面，從數(shù)據(jù)鏈路層中接收數(shù)據(jù)報(bào)文，掐頭去尾保留有效數(shù)據(jù)后轉(zhuǎn)發(fā)至PCIE設(shè)備核心層。

PCIE中定義的總線事務(wù)有存儲(chǔ)器讀寫(xiě)、I/O 讀寫(xiě)、配置讀寫(xiě)、Message總線事務(wù)和原子操作等總線事務(wù)。這些總線事務(wù)可以通過(guò)Switch等設(shè)備傳送到其他PCIE設(shè)備或者RC。RC也可以使用這些總線事務(wù)訪問(wèn)PCIE設(shè)備。

以存儲(chǔ)器讀為例，網(wǎng)絡(luò)中某個(gè)有需求的Endpoint初始化該請(qǐng)求后發(fā)送出去，請(qǐng)求經(jīng)過(guò)Switch之后到達(dá)RC，RC收到存儲(chǔ)器讀請(qǐng)求后在系統(tǒng)緩存中抓取數(shù)據(jù)并回傳完成報(bào)告。完成報(bào)告同樣經(jīng)過(guò)Switch后到達(dá)Endpoint，Endpoint收到完成報(bào)告后結(jié)束此次事務(wù)請(qǐng)求。

事務(wù)層還使用流量控制機(jī)制來(lái)保證PCIE鏈路的使用效率。

二、數(shù)據(jù)鏈路層

數(shù)據(jù)鏈路層在PCIE總線中發(fā)揮著承上啟下的作用。來(lái)自事務(wù)層的報(bào)文在通過(guò)數(shù)據(jù)鏈路層時(shí)，將被添加Sequence Number前綴和CRC后綴，并使用ACK/NAK協(xié)議保證來(lái)自發(fā)送端事務(wù)層的報(bào)文可以可靠、完整地發(fā)送到接收端的數(shù)據(jù)鏈路層。來(lái)自物理層的報(bào)文在經(jīng)過(guò)數(shù)據(jù)鏈路層時(shí)，會(huì)被剝離Sequence Number前綴和CRC后綴再被發(fā)送到事件層。

PCIE總線的數(shù)據(jù)鏈路層還定義了多種DLLP(Data Link Layer Packet)，DLLP產(chǎn)生于數(shù)據(jù)鏈路層，終止于數(shù)據(jù)鏈路層。值得注意的是，TLP與DLLP并不相同，DLLP并不是由TLP加上Sequence Number前綴和CRC后綴組成的。

三、物理層

物理層是PCIE總線的最底層，將PCIE設(shè)備連接在一起。PCIE總線的物理電氣特性決定了PCIE鏈路只能使用端到端的連接方式。PCIE總線的物理層為PCIE設(shè)備間的數(shù)據(jù)通信提供傳送介質(zhì)，為數(shù)據(jù)傳送提供可靠的物理環(huán)境。

物理層是PCIE體系結(jié)構(gòu)最重要，也是最難以實(shí)現(xiàn)的組成部分。PCIE總線的物理層定義了LTSSM(Link Training and Status State Machine)狀態(tài)機(jī)，PCIE鏈路使用該狀態(tài)機(jī)管理鏈路狀態(tài)，并進(jìn)行鏈路訓(xùn)練、鏈路恢復(fù)和電源管理。

PCIE總線的物理層還定義了一些專門的“序列”，有的書(shū)籍將物理層這些“序列”稱為PLP(Phsical Layer Packer)，這些序列用于同步PCIE鏈路，并進(jìn)行鏈路管理。值得注意的是PCIE設(shè)備發(fā)送PLP與發(fā)送TLP的過(guò)程有所不同。對(duì)于系統(tǒng)軟件而言，物理層幾乎不可見(jiàn)，但是系統(tǒng)程序員仍有必要較為深入地理解物理層的工作原理。

汽車領(lǐng)域應(yīng)用案例

一、理想

從網(wǎng)絡(luò)上公開(kāi)資料獲悉，理想2023年要上市的新車，除了采用800V純電平臺(tái)，還將采用其最新的第三代架構(gòu)LEEA3.0，如圖6所示。LEEA3.0為中央計(jì)算平臺(tái)+區(qū)域控制架構(gòu)，中央計(jì)算平臺(tái)很有可能采用類似工控機(jī)的模塊化方案，將實(shí)現(xiàn)智能車控、自動(dòng)駕駛和智能座艙功能的三塊板子通過(guò)高性能交換機(jī)連接在一起，并設(shè)計(jì)到一套殼體中，有點(diǎn)類似特斯拉HW3.0的松耦合方案。

而高性能交換機(jī)的方案有兩種，一種是PCIE Switch，一種是TSN Switch。PCIE Switch主要充當(dāng)算力芯片之間“話事人”，通過(guò)提供20Gb/s以上的端到端的數(shù)據(jù)傳輸帶寬，可以解決高帶寬、低延時(shí)的痛點(diǎn)需求。同時(shí)通過(guò)物理隔離，單點(diǎn)失效將不會(huì)影響系統(tǒng)失效。TSN Switch主要充當(dāng)與安全芯片及區(qū)域控制器的通信，提供時(shí)間確定性的數(shù)據(jù)流轉(zhuǎn)發(fā)和數(shù)據(jù)交換。

圖6 ?LEEA3.0原理示意圖(圖片來(lái)源：基于網(wǎng)絡(luò)公開(kāi)資料整理)

二、Mircochip

2020年9月，Microchip在一期《Inter-Processor Connectivity for Future Centralized Vehicle Computer Platforms》分享中，共享了其對(duì)下一代中央計(jì)算平臺(tái)的一些觀點(diǎn)。什么區(qū)域配合計(jì)算中心、SOA、以太網(wǎng)，都是寫(xiě)老掉牙的話題，沒(méi)什么新意。但在提到下一代架構(gòu)以太網(wǎng)帶寬的挑戰(zhàn)時(shí)，預(yù)測(cè)中央計(jì)算平臺(tái)中送入的數(shù)據(jù)量將達(dá)到200Gbps（說(shuō)實(shí)話我愣是沒(méi)估算出來(lái)，大家看下面圖自己領(lǐng)悟吧），如圖7所示。

圖7 以太網(wǎng)面臨的帶寬挑戰(zhàn)（來(lái)源：Microchip官方材料）

中央計(jì)算單元為了解決這么大數(shù)據(jù)的涌入問(wèn)題，必須采用PCIE。PCIE可掛載的Endpoint如圖8所示。

圖8 PCIE掛載節(jié)點(diǎn)示意圖（來(lái)源：Microchip官方材料）

基于以上需求，2022年2月，Mircochip宣布推出市場(chǎng)上首款通過(guò)汽車級(jí)認(rèn)證的第四代PCIE交換機(jī)，提供了一種面向分布式異構(gòu)計(jì)算系統(tǒng)的高速、低延遲連接解決方案，主要用于提供連接ADAS內(nèi)CPU和加速器所需的最低延遲和高帶寬性能。

審核編輯：劉清