通常來說，如果一個數(shù)據(jù)中心服務(wù)器規(guī)模超過10萬臺，就可以稱large-scale datacenter，也就是常說的大規(guī)模數(shù)據(jù)中心。大規(guī)模數(shù)據(jù)中心對于網(wǎng)絡(luò)的要求有很多，但是突出的就在于穩(wěn)定和簡單。

這兩點要求本身也有一定的關(guān)聯(lián)性。比如，大規(guī)模數(shù)據(jù)中心因為網(wǎng)絡(luò)設(shè)備數(shù)量多，所以從統(tǒng)計學(xué)的角度來說，出故障的頻率也更高。這里說的故障，不僅包括設(shè)備本身出現(xiàn)的硬件軟件問題，還包括因為運維過程中對設(shè)備誤操作引起的故障。因此，一個簡單的網(wǎng)絡(luò)設(shè)計，例如采用統(tǒng)一的硬件連接方式，使用有限的軟件功能，能減少故障概率，從而一定程度提升整個網(wǎng)絡(luò)架構(gòu)的穩(wěn)定性。但是，或許不只對于IT行業(yè)，對于任何領(lǐng)域，用簡單的方法去解決一個復(fù)雜的問題，本身就不簡單。因此，這一次分析一下如何用CLOS架構(gòu)，來“簡單的”管理大規(guī)模數(shù)據(jù)中心的網(wǎng)絡(luò)。

CLOS架構(gòu)

CLOS架構(gòu)被廣泛應(yīng)用在現(xiàn)代的數(shù)據(jù)中心，因為它提供了數(shù)據(jù)中心的水平擴(kuò)展能力和大規(guī)模數(shù)據(jù)中心所需要的穩(wěn)定和簡單。下圖就是一個基本的CLOS單元，Spine和Leaf交換機(jī)共同組成數(shù)據(jù)中心網(wǎng)絡(luò)，其中Leaf交換機(jī)作為TOR交換機(jī)，連接服務(wù)器;Spine交換機(jī)，為Leaf交換機(jī)提供網(wǎng)絡(luò)連接。

水平擴(kuò)展能力

想要擴(kuò)展一個CLOS網(wǎng)絡(luò)架構(gòu)，通常有兩種方法，就是增加設(shè)備的端口數(shù);第二就是增加更多的層級。在現(xiàn)有的spine-leaf基礎(chǔ)上，再增加一層super-spine交換機(jī)，就可以構(gòu)成一個5-stages CLOS架構(gòu)。增加了一層super-spine交換機(jī)，數(shù)據(jù)中心規(guī)模也水平擴(kuò)大了一倍。

穩(wěn)定簡單

從眼來看，CLOS架構(gòu)是簡單的。根據(jù)CLOS理論，所有的交換機(jī)，不論是Super Spine，Spine和是Leaf，都應(yīng)該采用同質(zhì)的交換機(jī)。雖然實際應(yīng)用和文中圖里面，都不一定嚴(yán)格按照這個要求來，但是至少是照著這個樣式去實現(xiàn)。所以從硬件構(gòu)成來看，較為簡單。其次，CLOS架構(gòu)采用的是一個純L3網(wǎng)絡(luò)的架構(gòu)，也就是說所有的交換機(jī)都是三層交換機(jī)，交換機(jī)之間都通過IP網(wǎng)絡(luò)連接的。所以，從網(wǎng)絡(luò)連接來看，也較為簡單。畢竟，傳統(tǒng)三層網(wǎng)絡(luò)架構(gòu)，要涉及到L2連接，L3連接，VLAN配置等等。

穩(wěn)定包含很多，除了相對簡單的設(shè)計，還有就是減少故障范圍。0故障是不可能的，這輩子都不可能0故障。我們能做的是限制故障的范圍，而CLOS架構(gòu)下，每個Leaf交換機(jī)下都是一個獨立的L2 Domain，這樣可以將所有二層網(wǎng)絡(luò)的問題，例如BUM風(fēng)暴，限制在一個Leaf交換機(jī)范圍內(nèi)。

所以網(wǎng)絡(luò)架構(gòu)的IP地址分布如下：

看起來似乎很美好，但是相比較傳統(tǒng)的三層網(wǎng)絡(luò)，CLOS架構(gòu)也有自己的問題，其中包括但不限于以下幾點：那如何為CLOS架構(gòu)選取一個合適的路由協(xié)議？常規(guī)的選項是使用且僅使用EBGP。BGP一直以IBGP的形式來構(gòu)建數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)，而且是構(gòu)建在IGP，例如OSPF之上的。而EBGP一般用來連接不同的數(shù)據(jù)中心。但是在CLOS架構(gòu)中，EBGP，卻是合適的一個協(xié)議，因為它能極大簡化實現(xiàn)。先因為現(xiàn)在路由條目數(shù)增多，這樣的量級只有BGP能穩(wěn)定維護(hù)。

其次，因為現(xiàn)在每個Leaf Switch，都管理一個獨立的子網(wǎng)。而數(shù)據(jù)中心內(nèi)網(wǎng)絡(luò)連通的前提是，每一個Leaf Switch的子網(wǎng)，都需要傳給其他所有的Leaf Switch。這樣，相當(dāng)于每個Leaf Switch都是一個自治域（AS），現(xiàn)在要實現(xiàn)的就是實現(xiàn)所有的自治域的連通。這個問題，就是EBGP在互聯(lián)網(wǎng)上正在解決的問題。

因此在CLOS架構(gòu)下，采用了EBGP作為路由協(xié)議，具體細(xì)節(jié)有以下幾點：

EBGP連接都是單跳。這樣就不用依賴IGP構(gòu)建nexthop網(wǎng)絡(luò)，EBGP的nexthop都在鏈路的另一端。EBGP與IBGP的一個大不同在于，EBGP會轉(zhuǎn)發(fā)路由，因此借助Spine和Super Spine上面EBGP程序的轉(zhuǎn)發(fā)，一個Leaf的子網(wǎng)信息，可以發(fā)布給所有其他Leaf交換機(jī)，從而實現(xiàn)全數(shù)據(jù)中心內(nèi)網(wǎng)絡(luò)聯(lián)通。

但是這里有一個問題，在大規(guī)模數(shù)據(jù)中心里面，按照10萬條服務(wù)器，一個機(jī)架40臺服務(wù)器算的話，總共會有2500個Leaf交換機(jī)，這樣，光是Leaf就把 ASN消耗完了。為了解決這個問題，可以使用4字節(jié)的ASN（RFC6793）;也可以在一組Spine下面，復(fù)用ASN，：所以，僅通過EBGP，就是實現(xiàn)了CLOS架構(gòu)中網(wǎng)絡(luò)連接需要的全部內(nèi)容。相比較傳統(tǒng)三層網(wǎng)絡(luò)架構(gòu)，CLOS架構(gòu)這里又以簡單勝出。

審核編輯 黃昊宇