華為CE12800數(shù)據(jù)中心交換機

看著它們

冷不丁冒出一個問題

答案是唯一的

↓

難

哪怕是華為這樣的大牛公司做

也很難！

到底有多難？

↓

數(shù)據(jù)中心交換機真正進入人們的視野，還是2010年。

那一年云計算持續(xù)升溫，數(shù)據(jù)中心迎來了大發(fā)展，人們發(fā)現(xiàn)，一個新的80/20原則誕生了——80%的流量產(chǎn)生在數(shù)據(jù)中心內(nèi)部。

也正是從那時起，“東西流量”在業(yè)界被廣泛提及，數(shù)據(jù)中心交換機作為處理“東西流量”的神器，引領(lǐng)了整個交換機產(chǎn)業(yè)的新一輪增長。

當(dāng)時的華為，已是運營商網(wǎng)絡(luò)市場的龍頭，正在蓄勢進軍企業(yè)網(wǎng)市場。

要想在企業(yè)網(wǎng)市場站穩(wěn)腳跟，首先就是要占據(jù)企業(yè)數(shù)據(jù)中心這個戰(zhàn)略高地，而數(shù)據(jù)中心交換機無疑是攻占這個高地的利器。

轉(zhuǎn)過年來的2011年，華為迎來了一次重大的組織變革，EBG，一個專攻企業(yè)級市場的BG成立了，成立之初，管理層便一錘定音：上馬數(shù)據(jù)中心交換機！

2011年4月，華為數(shù)據(jù)中心交換機正式立項，起個什么樣的名字呢？CloudEngine。這個名字包含了兩層意思：

①數(shù)據(jù)中心交換機主要是面向云的，華為要做最好的云網(wǎng)絡(luò)引擎。

②與華為大名鼎鼎的NE路由器一脈相承，左手NetEngine，右手CloudEngine，包打天下。

現(xiàn)在看來，“CloudEngine”這個經(jīng)典產(chǎn)品能在最恰當(dāng)?shù)臅r機立項，既有技術(shù)大趨勢發(fā)展的因素，又有華為內(nèi)部業(yè)務(wù)戰(zhàn)略的驅(qū)動。

總之，外因+內(nèi)因，就這么踩準(zhǔn)了一個點，翻過了一道坎。

大方向定下了，只是萬里長征的第一步。

彼時不同今日，7年前，業(yè)界對與數(shù)據(jù)中心網(wǎng)絡(luò)的技術(shù)路線，存在很多爭議。最主要的有兩大流派：穩(wěn)健型的“二層派”和顛覆型的“一層派”。

“二層派”的思路是在傳統(tǒng)網(wǎng)絡(luò)架構(gòu)上進行優(yōu)化，核心交換機和接入交換機具備獨立功能，Spine+Leaf的模式來組網(wǎng)，基于通用的標(biāo)準(zhǔn)協(xié)議實現(xiàn)互聯(lián)互通。

“一層派”的玩法比較激進，裁剪接入交換機的功能，只把它們作為“端口擴展器”，這種“子交換機”不能獨立工作，需要一臺功能強悍的“母交換機”來配合?！白幽浮苯粨Q機組合起來，變成一臺超級交換機，這就是當(dāng)年很火的“一層架構(gòu)”。

面對這種“0或1”的選擇，華為交換機項目組經(jīng)歷了痛苦的抉擇期，一旦架構(gòu)選錯，未來根本就沒有機會回頭。

當(dāng)年，“一層派”在業(yè)界呼聲很高，方案很完美，看起來很有創(chuàng)新性，還有交換機大廠扛旗力挺，芯片廠商和部分客戶，也對這種方案很心動。

然而，華為研發(fā)經(jīng)過評估認(rèn)為，“一層派”這個方案看上去很美，但是意味著“子母”交換機只能使用同一家廠商的方案，這個結(jié)構(gòu)不夠開放，會對客戶形成綁架。從網(wǎng)絡(luò)發(fā)展的歷史看，這不大可能成為主流。

最終，華為選擇了“二層”架構(gòu)，保持系統(tǒng)的開放性，給客戶選擇權(quán)。當(dāng)然，華為還是留了一手，在架構(gòu)設(shè)計上做了兼容考慮，即便未來“一層”成為主流，華為也能平滑演進。

多年以后，幾乎所有的廠商最終都和華為選擇了一樣的路線，而那種曾經(jīng)火爆一時的“子母交換機”，早已絕跡江湖。

這種所謂的架構(gòu)之爭，現(xiàn)在已經(jīng)沒有什么爭議了，而在當(dāng)年，對華為交換機團隊來說，就是“大是大非”問題。

面對這樣的抉擇，華為的解決思路是，跳出具體的技術(shù)比較，從客戶角度思考，把選擇權(quán)留給客戶，把麻煩留給自己。

事實證明，這種“以客戶為中心”的思想，很有效。

在數(shù)據(jù)中心交換機的硬件設(shè)計上，有一道繞不開的坎，叫做“正交架構(gòu)”。

我們知道，交換機的板卡，主要分為三大類：主控卡、線卡、交換網(wǎng)板。主控卡相當(dāng)于交換機的大腦，線卡主要提供各種不同速率的端口，而交換網(wǎng)板則提供線卡間高速互聯(lián)的能力。

如何把這三種板卡“物理的”連在一起呢？需要一個載體，這就是背板，在“正交架構(gòu)”出現(xiàn)之前，主流的架構(gòu)是“無源背板”技術(shù)。

“扒開”這種交換機瞧一瞧，我們會發(fā)現(xiàn)，各種卡都是插在背板上的，大家通過背板這個“中介”，完成彼此的連接和互通。

這種架構(gòu)是過去的主流，但隨著數(shù)據(jù)中心交換機對速率和擴展性的要求越來越高，弊端就表現(xiàn)出來：要想實現(xiàn)超高速的數(shù)據(jù)傳輸，鏈路要盡可能短，盡量減少中間路徑，故障點越少越好。

如果能不繞道長長的背板，而是讓線卡和交換網(wǎng)板直接連接，就可以最大限度避免瓶頸。于是，就有了劃時代的正交架構(gòu)↓

拿CE12800舉例，所謂正交架構(gòu)，就是前面的線卡和主控卡橫著插，背面的交換網(wǎng)板豎著插，兩者相互垂直，板卡相交的地方采用“正交連接器”直接相連，不再通過“漫長”而“坎坷”的背板走線。

這種方式，距離更短、故障點更少，能夠搭建起超高速通信的“立交橋”。

對應(yīng)正交架構(gòu)，業(yè)界還有“非正交”和“偽正交”：

傳統(tǒng)無源背板架構(gòu)，所有的板卡，都插在背板上，通過無源銅背板上的走線完成“中介”，更早的時候，還有“有源背板”，即背板上也有芯片，故障率更高，擴展性更差。

偽正交架構(gòu)，從外面看起來，和正交架構(gòu)很“高仿”，也是前面橫插（豎插），后面豎插（橫插） ，前后板卡垂直相交⊥。

然鵝，真相是，他們共同插在一個中置大背板上，而不是采用“正交連接器”直接相連，所以，該繞的路，一點都沒有少。

華為CE12800在設(shè)計之初，就考慮了一步到位的正交Clos架構(gòu)，這個架構(gòu)一直沿用至今，保持了高度的延續(xù)性，一套板卡適用于所有規(guī)格的機箱。

用戶即使在2012年產(chǎn)品發(fā)布之初就買入了交換機，用到2019年的今天，所有線卡任然保持通用，交換容量仍然可以平滑升級，與時俱進。

這個時候，我們才能更深的理解，設(shè)計一款具備真正“十年生命周期”的產(chǎn)品，是對自己的挑戰(zhàn)，也對客戶負責(zé)任……

今天，我們再去看整個數(shù)據(jù)中心交換機市場，會發(fā)現(xiàn)主流品牌，基本都“正交”了，但他們大部分都經(jīng)過了幾次“迭代”，出現(xiàn)過好幾代機箱，從非正交→偽正交→真正交。這些機箱命名相似而不相同，線卡彼此不兼容，既造成用戶選擇困難，又不利于投資保護。

真正做到正交架構(gòu)一步到位的，似乎只有華為。

因為，在當(dāng)年，要做成一款正交架構(gòu)的交換機，是對工程能力的巨大挑戰(zhàn)：例如關(guān)鍵器件“正交連接器”的成熟度、正交架構(gòu)對散熱的考驗、大尺寸單板的設(shè)計和加工能力、整機及結(jié)構(gòu)精度控制等等。

說白了，正交架構(gòu)體現(xiàn)出各廠家研發(fā)能力的積累，它就像一個“放大鏡”，能充分展現(xiàn)優(yōu)秀設(shè)計的精妙之處，也能把低劣的設(shè)計放大數(shù)倍揭露出來。

邁過“正交架構(gòu)”這道坎，似乎前面一片坦途。

然而，接下來的每個“細枝末節(jié)”，都暗藏玄機。

正交架構(gòu)的后遺癥之一是散熱問題，交換機散熱主要依靠“風(fēng)冷”，從流體力學(xué)的角度看，正交架構(gòu)不容易實現(xiàn)冷熱風(fēng)道隔離，對散熱很不友好。

CE12800在早期架構(gòu)設(shè)計的時候，架構(gòu)師們仔細研究了國際標(biāo)準(zhǔn)組織對設(shè)備散熱的定義、要求及未來展望，并參觀了業(yè)界最先進的數(shù)據(jù)中心，做了多種設(shè)計模型不斷的對比和優(yōu)化，最后決定面向未來把CE12800設(shè)計成“嚴(yán)格前后風(fēng)道”架構(gòu)。

以前，我們常常把交換機“前后風(fēng)道設(shè)計”當(dāng)成一種控標(biāo)參數(shù)來運用，實際上，無論從行業(yè)標(biāo)準(zhǔn)要求還是數(shù)據(jù)中心的對“能效比”的追求，“前后風(fēng)道”都是剛需。

在高等級的數(shù)據(jù)中心機房，為了追求PUE指標(biāo)，會采用機柜“面對面、背靠背”交錯排列，形成隔離的冷熱通道，這樣可以形成較強的冷熱對流循環(huán)，所以，設(shè)備采用前后風(fēng)道設(shè)計，才能達到這種對流效果。

作為一款“潛伏”在機房深處的設(shè)備，數(shù)據(jù)中心交換機有點“深藏功與名”，到底要不要重視顏值呢？

華為的工程師們陷入了激烈的思想斗爭：以前產(chǎn)品強調(diào)的是功能、性能規(guī)格，外觀上“抗造”就好，本質(zhì)上就是一“鐵疙瘩”，大家也都司空見慣。相對而言，企業(yè)網(wǎng)客戶對產(chǎn)品的外觀和質(zhì)感會更加關(guān)注，“高顏值”的產(chǎn)品更容易贏得客戶信任。

這個方針敲定以后，團隊加大了工業(yè)設(shè)計投入，邀請知名的設(shè)計公司操刀，第一次從零開始討論產(chǎn)品的眉頭、走線齒、扳手、防塵門以及總體外觀，關(guān)注每一個細節(jié)……

在設(shè)計板卡面板時，為增強產(chǎn)品質(zhì)感，采用了更高成本的不銹鋼。 但測試時發(fā)現(xiàn)，面板在人觸摸后會留下指紋，可能影響觀感，雖然這不影響使用，畢竟用戶也不會天天跑到機房摸面板玩。

但是負責(zé)工業(yè)設(shè)計小伙兒不甘心，驗證了多個方案，最終確保設(shè)備面板在人手觸摸、插拔應(yīng)用后，依然油光锃亮，“可以當(dāng)鏡子用”。

正是因為這種精益求精的精神，讓CE12800一發(fā)布，就引起了轟動，很多用戶不光被強悍的性能和規(guī)格震撼，也被高顏值圈了粉。

硬件的坎，就這樣，一道道被華為人趟完了，但這只是一半。硬件，只決定交換機的下限，它讓交換機有了一副好皮囊，一副10年不落伍的好皮囊；軟件，才定義了交換機的上限，它賦予了交換機靈魂。

于是，接下來，華為人又趟過一道道軟件坎，實現(xiàn)了多個業(yè)內(nèi)第一：

業(yè)界首個實現(xiàn)集群的業(yè)務(wù)通道和控制通道物理分離，可靠性更高；

業(yè)界首個將“1虛多”虛擬比實現(xiàn)到16的數(shù)據(jù)中心交換機；

業(yè)界首個在同一平臺實現(xiàn)CSS集群和M-LAG技術(shù)的完美組合；

擁有歸一化軟件平臺，使得一套板卡可以支持所有軟件特性；

……

2012年6月，在邁過無數(shù)道坎之后，凝聚著華為VRP平臺、硬件和整機工程20余年深厚積累的數(shù)據(jù)中心交換機旗艦——CloudEngine12800終于震撼發(fā)布。

.

.

.

.

時至2019年

我想，當(dāng)年CE12800交換機的研發(fā)項目組，在殫精竭慮、埋頭攻關(guān)的時候，一定許過愿、吹過牛，憧憬過自己這款親手打磨的產(chǎn)品，未來能到什么樣的高度。

七年后，那些許過的愿、吹過NB，都成了真……，我們來看看成績單吧。

CE12800創(chuàng)造了一個神話：七年前奠定的體系架構(gòu)，其間未再做任何硬件迭代，延用至今，仍然是業(yè)界最具競爭力的交換機旗艦。這塊“金字招牌”，還可以掛上幾年。

然而，華為人不滿足，七年之癢，華為人“癢了”，他們的目光，瞄準(zhǔn)了下個10年。

隨著人工智能和機器學(xué)習(xí)等應(yīng)用的涌現(xiàn)，存儲（存儲介質(zhì)從HDD到SDD/NVMe）和計算（CPU到GPU甚至AI芯片）性能都得到了百倍提升，數(shù)據(jù)中心網(wǎng)絡(luò)也需要更大帶寬和效率支撐AI業(yè)務(wù)。

400GE光接口已經(jīng)開始踏上數(shù)據(jù)中心交換機的舞臺，隨之而來的，則是在功耗密度、高速互聯(lián)、硬件可靠性等方面的技術(shù)挑戰(zhàn)。

你的網(wǎng)絡(luò)準(zhǔn)備好了嗎？

曾經(jīng)，CE12800重新定義了云時代的交換機，而現(xiàn)在，華為數(shù)據(jù)中心交換機已經(jīng)完成新的關(guān)鍵技術(shù)突破和準(zhǔn)備。