正文開始前，閑扯幾句。在接下來分析CCIX規(guī)范的過程中，大家會發(fā)現(xiàn)CCIX里面有太多ARM的影子，尤其是協(xié)議層的一致性協(xié)議部分，你會看到有很多跟CHI相似的東西。另外，在CCIX規(guī)范的底層，基本全是復(fù)用和遵循PCIe規(guī)范。

說到PCIe，就必須先提一提PCI。PCI是Peripheral Component Interconnect的縮寫，它是一種由英特爾公司1991年推出的局部總線標(biāo)準(zhǔn)。最早提出的PCI總線工作在33MHz頻率之下，傳輸帶寬達(dá)到132MB/s，基本上滿足了當(dāng)時處理器的發(fā)展需要。后來，隨著對更高性能的要求，不斷把PCI 總線的頻率提升。PCI使用共享并行總線架構(gòu)，其中PCI主機和所有設(shè)備共享一組通用的地址，數(shù)據(jù)和控制線。這種并行架構(gòu)天然決定了PCI的時鐘頻率不可能一直提升。因為隨著時鐘頻率的不斷提升，并行總線間的信號干擾（EMI）會越來越嚴(yán)重。所以PCI后期已經(jīng)不能適應(yīng)高速發(fā)展的數(shù)據(jù)傳輸需求。

PCI-Express（Peripheral Component Interconnect express，簡稱PCIe）應(yīng)運而生。PCIe是一種高速串行計算機擴展總線標(biāo)準(zhǔn)，它原來的名稱為“3GIO”，是由英特爾在2001年提出的，旨在替代舊的PCI，PCI-X和AGP總線標(biāo)準(zhǔn)。PCIe屬于高速串行點對點雙通道高帶寬傳輸，所連接的設(shè)備分配獨享通道帶寬，不共享總線帶寬。它的主要優(yōu)勢就是數(shù)據(jù)傳輸速率高。目前，PCIe交由PCI-SIG組織負(fù)責(zé)維護(hù)和發(fā)布。市場已經(jīng)有支持PCIe 5.0標(biāo)準(zhǔn)的控制器和設(shè)備，相信不久之后，PCIe 6.0將會大規(guī)模商用。

由于PCIe標(biāo)準(zhǔn)極其復(fù)雜，本人能力有限，對PCIe標(biāo)準(zhǔn)還處于學(xué)習(xí)階段。所以后面跟PCIe相關(guān)的部分一帶而過，主要介紹一下CCIX獨有的部分，重點是規(guī)范中的第三章。

如果有小伙伴精通PCIe，還望不吝賜教。

接下來，我們按照CCIX規(guī)范的章節(jié)過一遍，主要是對規(guī)范內(nèi)容的理解和歸納。CCIX規(guī)范本身比較晦澀難懂，而且通篇看下來感覺有一些段落前后順序有些顛倒。比如我發(fā)現(xiàn)有一些概念是先用后解釋，造成的后果就是初看前面的時候一頭霧水，看到后面的章節(jié)才明白前面大概在說啥。如果大家也有類似的感覺，不妨多看幾遍。本系列文章中盡量避免這些問題，但是由于本人水平有限，難免會漏掉一些細(xì)節(jié)或者有理解不準(zhǔn)確的地方，請見諒，一切以spec為準(zhǔn)。

1. 文檔概述

CCIX規(guī)范定義了一些術(shù)語：

Port：端口與物理引腳關(guān)聯(lián)，并有兩個子層，CCIX Port和Transport Port。CCIX端口充當(dāng)來自CCIX設(shè)備的CCIX協(xié)議層消息的入口（Ingress）和出口（Egress）。傳輸端口是充當(dāng)傳輸層數(shù)據(jù)包進(jìn)出網(wǎng)關(guān)的控制器。

CCIX Link：CCIX鏈路是一對CCIX端口之間的邏輯連接。

PCIe Link：PCIe鏈路是PCIe端口的物理連接。

Transport Link：傳輸鏈路是指傳輸層規(guī)范中用于覆蓋CCIX協(xié)議層的物理鏈路。

CCIX Components：CCIX組件是定義CCIX一致性協(xié)議所需的模塊。

Acceleration Function：加速功能（簡稱AF）是針對一致性協(xié)議的內(nèi)存訪問請求的特定實現(xiàn)源，該協(xié)議由CCIX請求代理表示，用于通過CCIX一致性層進(jìn)行通信，后文中會經(jīng)常提到AF。

CCIX Device：CCIX設(shè)備是由一個或多個符合CCIX協(xié)議的CCIX組件組成的物理實體。

CCIX Agent：CCIX代理，在規(guī)范中分為四類，Request Agent（RA），RA是讀寫事物的源端；Home Agent（HA）負(fù)責(zé)管理給定地址范圍內(nèi)的一致性和內(nèi)存訪問；Slave Agent（SA），處理HA的事務(wù)，擴展系統(tǒng)內(nèi)存，包括連接到外圍設(shè)備的存儲；Error Agent（EA），接受和處理協(xié)議錯誤消息。

CCIX Function Blocks：定義CCIX組件功能所需的構(gòu)建模塊。

CCIX Switch：一種CCIX設(shè)備，由兩個或多個CCIX ports組成，支持端口到端口的轉(zhuǎn)發(fā)。

Packet：獨立路由的數(shù)據(jù)傳輸單元。

SAM：System Address Map，系統(tǒng)地址映射。

G-SAM：Global System Address Map。

G-RSAM：Global Request Agent System Address Map。

G-HSAM：Global Home Agent System Address Map。

RSAM：請求代理視角的SAM。

HSAM：主代理視角的SAM。

PSAM：端口相關(guān)的SAM。

EDR：Extended Data Rate，除了PCI Express基本規(guī)范定義的標(biāo)準(zhǔn)PHY速度之外的PHY的數(shù)據(jù)速率。

ESM：Extended Speed Mode，ESM是一種允許PCIe鏈路速度在標(biāo)準(zhǔn)PCIe速度和EDR速度之間轉(zhuǎn)換的機制。

CCIX Consortium Identifier(CCID) ：CCIX DVSEC結(jié)構(gòu)和CCIX PCIe兼容頭協(xié)議消息中的16位公共標(biāo)識符。

CCIX Consortium Unique Value(CCUV) ：CCIX DVSEC結(jié)構(gòu)和CCIX PCIe兼容頭協(xié)議消息中的硬件默認(rèn)16位值。

2. CCIX概述

CCIX規(guī)范擴展了處理器-處理器，處理器-內(nèi)存，處理器-加速器，加速器-加速器之間的數(shù)據(jù)共享。CCIX允許所有處理實體之間的一組公共虛擬地址（VA）引用所有數(shù)據(jù)結(jié)構(gòu)。為了實現(xiàn)這些功能，CCIX擴展了共享虛擬內(nèi)存（Shared Virtual Memory，SVM）模型。

擴展系統(tǒng)內(nèi)存：CCIX允許將系統(tǒng)內(nèi)存域擴展到主機連接內(nèi)存之外。作為系統(tǒng)內(nèi)存的一部分，主機內(nèi)存管理器可以選擇以與主機內(nèi)存分配和管理相同的方式，去分配和管理外圍連接的內(nèi)存。因此，通過CCIX內(nèi)存擴展，主機可以擴展其內(nèi)存容量和/或支持新的內(nèi)存技術(shù)。主機的外圍連接內(nèi)存視圖與多節(jié)點主機系統(tǒng)中現(xiàn)有的內(nèi)存視圖一致，即非統(tǒng)一內(nèi)存訪問（NUMA）內(nèi)存模型。

基于處理器或加速器的應(yīng)用程序訪問模式的軟件透明數(shù)據(jù)移動：CCIX在加速器中支持硬件一致性緩存，并為處理器和加速器訪問維護(hù)共享數(shù)據(jù)的一致視圖，而無需軟件干預(yù)。在CCIX系統(tǒng)中，緩存允許根據(jù)處理器或加速器的訪問模式隱式移動共享數(shù)據(jù)，以便進(jìn)一步重復(fù)使用或修改，而無需在它們之間遷移或維護(hù)多個或修改后的副本。

應(yīng)用程序管理的數(shù)據(jù)從主機移動到加速器連接的內(nèi)存：CCIX使應(yīng)用程序能夠協(xié)調(diào)從一個內(nèi)存節(jié)點到另一個內(nèi)存節(jié)點的數(shù)據(jù)移動，而無需任何操作系統(tǒng)協(xié)助。這允許數(shù)據(jù)生產(chǎn)者將數(shù)據(jù)放在作為數(shù)據(jù)消費者的計算實體（處理器或加速功能）旁邊。

以上所說的這幾點構(gòu)成了主機內(nèi)存和處理器、外設(shè)連接內(nèi)存和加速器之間無縫數(shù)據(jù)共享的基礎(chǔ)。擴展系統(tǒng)內(nèi)存沒什么好解釋的了；CCIX規(guī)范支持在多芯片的處理器內(nèi)核之間共享緩存數(shù)據(jù)，這種共享是通過一致性協(xié)議來完成的，對軟件來說是完全透明的；至于應(yīng)用程序管理數(shù)據(jù)，我的理解是類似于CHI中的cache stashing。

CCIX標(biāo)準(zhǔn)支持多種拓?fù)浣Y(jié)構(gòu)：tree，mesh，ring等等。比如下圖中的直接連接拓?fù)洌?/p>

全連接拓?fù)洌?/p>

上一篇中介紹過了CCIX規(guī)范的分層架構(gòu)模型，這里就不再重復(fù)了。放張圖幫助大家回憶。

每個CCIX端口都與一個傳輸端口（Transport Port）相關(guān)聯(lián)。傳輸端口僅限于PCIe端口。CCIX端口負(fù)責(zé)創(chuàng)建與PCIe兼容的供應(yīng)商定義消息（VDM）事務(wù)層數(shù)據(jù)包（TLP），或具有優(yōu)化報頭的CCIX數(shù)據(jù)包。CCIX協(xié)議消息在PCIe兼容或優(yōu)化TLP的有效負(fù)載中承載。每個CCIX端口可以與一個或多個CCIX端口通信。

CCIX可以通過選擇性地聚合多個CCIX端口，在兩個CCIX設(shè)備之間實現(xiàn)更高的帶寬連接。CCIX體系結(jié)構(gòu)定義了一種跨多個CCIX端口分配內(nèi)存訪問請求和監(jiān)聽的方法，當(dāng)PCIe用作傳輸時，每個CCIX端口映射到一個PCIe控制器，以有效地在CCIX代理之間實現(xiàn)更高的帶寬。端口聚合（Port Aggregation）通常用于單個端口的可用吞吐量不足以滿足兩個芯片之間的通信需求的情況。如下圖所示，右側(cè)芯片的RA的請求可以通過兩個CCIX端口（圖中的Port 0和Port 1）發(fā)給左側(cè)芯片的HA，達(dá)到增加兩個芯片數(shù)據(jù)共享的帶寬。

CCIX設(shè)備可以作為PCIe設(shè)備被主機發(fā)現(xiàn)和管理。組件及其功能通過PCIe配置空間中指定的特定供應(yīng)商的擴展功能（DVSEC）部分被主機識別。CCIX DVSEC在PCIe配置頭的DVSEC供應(yīng)商ID字段中攜帶通用CCIX ID（CCID）。CCIX DVSEC定義了功能，還提供了控制和狀態(tài)字段。

CCIX一致性互連通過標(biāo)準(zhǔn)CCIX驅(qū)動程序進(jìn)行管理。AFs通過供應(yīng)商提供的驅(qū)動程序作為PCIe功能進(jìn)行管理。CCIX允許加速器連接的內(nèi)存成為整個系統(tǒng)內(nèi)存的一部分。然后，內(nèi)核內(nèi)存管理器將其作為可分配系統(tǒng)內(nèi)存進(jìn)行管理。

CCIX定義了服務(wù)器級可靠性、可用性和可維護(hù)性（Reliability Availability Serviceability，RAS）功能集。CCIX的RAS體系結(jié)構(gòu)通過PCI Express基本規(guī)范中定義的高級錯誤報告（Advanced Error Reporting，AER）機制維護(hù)PCIe傳輸錯誤的報告。與CCIX一致性互連相關(guān)的錯誤通過一個單獨的并行機制報告給AER。這個記錄和報告協(xié)議錯誤的新機制稱為協(xié)議錯誤報告（Protocol ErrorReporting，PER）機制。CCIX設(shè)備中的PER錯誤記錄在協(xié)議DVSEC中。

CCIX利用PCIe的地址轉(zhuǎn)換服務(wù)（Address Translation Service，ATS）標(biāo)準(zhǔn)，允許CCIX設(shè)備將虛擬地址（VA）映射到其相關(guān)的物理地址（PA），并提供每頁的訪問控制。CCIX規(guī)范要求，所有CCIX設(shè)備需要提供以下保證：

CCIX設(shè)備通過地址轉(zhuǎn)換服務(wù)確保來自AFs的所有請求受訪問權(quán)限控制

CCIX設(shè)備確保在設(shè)備上的固件受信任

CCIX可以使用PCIe標(biāo)準(zhǔn)的消息信令中斷（MSI/MSI-X）將事件從加速器發(fā)送到主機處理器。在前面講ARM中斷控制器的時候介紹過一些MSI的知識，想了解更多的話，往前翻一翻，或者去看看PCIe的規(guī)范。

通過這兩次的學(xué)習(xí)，我們對CCIX的大體輪廓有了一個認(rèn)識。CCIX是在PCIe規(guī)范的基礎(chǔ)上發(fā)展出來的，在復(fù)用了大量PCIe規(guī)范的同時添加了CCIX協(xié)議層，CCIX鏈路層和CCIX事務(wù)層，并通過這三層定義了緩存一致性協(xié)議和所需的CCIX消息，以及消息傳遞機制。這三層往下就是復(fù)用PCIe的分層結(jié)構(gòu)了。另外，CCIX規(guī)范擴展了PCIe的物理層數(shù)據(jù)傳輸速率。

正文開始前，閑扯幾句。在接下來分析CCIX規(guī)范的過程中，大家會發(fā)現(xiàn)CCIX里面有太多ARM的影子，尤其是協(xié)議層的一致性協(xié)議部分，你會看到有很多跟CHI相似的東西。另外，在CCIX規(guī)范的底層，基本全是復(fù)用和遵循PCIe規(guī)范。