前言

開源運(yùn)動(dòng)，伴隨著網(wǎng)絡(luò)的解耦，給網(wǎng)絡(luò)世界帶來了許多變化。SONiC在微軟的加持下，一直在推動(dòng)云提供商對開放網(wǎng)絡(luò)軟件的采用。隨著部署了近400萬端口，SONiC正在成為云架構(gòu)中領(lǐng)先的開放網(wǎng)絡(luò)操作系統(tǒng)（NOS）。

SONiC社區(qū)的活躍推動(dòng)了NOS的發(fā)展，包括基礎(chǔ)的代碼以及實(shí)現(xiàn)它們所需的開發(fā)和測試生態(tài)系統(tǒng)。這個(gè)生態(tài)系統(tǒng)由特定的應(yīng)用集成電路（ASIC）供應(yīng)商、設(shè)計(jì)制造商（ODM）、基礎(chǔ)設(shè)備制造商、網(wǎng)絡(luò)運(yùn)營商，云巨頭和互聯(lián)網(wǎng)巨頭組成。

快速變化的開放網(wǎng)絡(luò)生態(tài)系統(tǒng)給測試帶來了新的挑戰(zhàn)。供應(yīng)商們很難做到在新常態(tài)下跟上或保持領(lǐng)先。使用正確的測試方法、工具和與行業(yè)專家合作是必要的，這能確保你成功部署SONiC。

SONiC，你準(zhǔn)備好了嗎？

當(dāng)SONiC提供新特性時(shí)，主流的做法是將測試代碼添加到社區(qū)測試平臺sonic-mgmt，https://github.com/Azure/sonic-mgmt。

目前社區(qū)有兩種流行的測試框架：

?Pytest社區(qū)測試床是一個(gè)Python 自動(dòng)化測試框架，主要使用PTF（一個(gè)基于scapy的開源發(fā)包工具）、Arista虛擬可擴(kuò)展基于操作系統(tǒng)（vEOS/cEOS）等基礎(chǔ)測試工具。它提供了單臺設(shè)備測試拓?fù)涞母采w，并通過github提交共享給所有的用戶。Pytest的測試用例與NOS的新特性相對同步。

?Spytest測試床提供商業(yè)測試工具，如Keysight測試儀表和一個(gè)與供應(yīng)商無關(guān)的API接口，該平臺由Broadcom公司貢獻(xiàn)社區(qū)并增加了社區(qū)用例的覆蓋。

在與SONiC生態(tài)系統(tǒng)一些用戶，特別是新成員的交流中，我們發(fā)現(xiàn)了一些社區(qū)測試的挑戰(zhàn)。

部署的復(fù)雜度

?新用戶使用社區(qū)測試床部署復(fù)雜度高

?厘清測試拓?fù)淞鞒?，運(yùn)行測試難度大

測試結(jié)果的不連續(xù)性

?不同廠商的測試覆蓋導(dǎo)致的結(jié)果不連續(xù)

?不同版本分支間差異導(dǎo)致的結(jié)果不連續(xù)

上線部署的不確定性

?性能和彈性的不確定

?緩存和擁塞管理的不確定

?現(xiàn)網(wǎng)多DUT組網(wǎng)的不確定

這些挑戰(zhàn)促使一些有經(jīng)驗(yàn)的行業(yè)參與者開始開發(fā)自己的測試床，這會(huì)導(dǎo)致與社區(qū)測試結(jié)果的不一致和供應(yīng)商敏感的測試結(jié)果。

SONiC在開發(fā)測試時(shí)面臨一大難題，就是如何通過可靠的測試床，模擬真實(shí)部署場景的系統(tǒng)和互操作測試。SONiC用戶希望白盒供應(yīng)商達(dá)到相同的質(zhì)量標(biāo)準(zhǔn)，并提供一個(gè)單一的接口，就像傳統(tǒng)國家電力市場的接口一樣。

業(yè)界沒有標(biāo)準(zhǔn)來衡量SONiC系統(tǒng)的質(zhì)量，白盒供應(yīng)商必須展示測試專業(yè)知識和測試框架，以證明其解決方案的有效性，同時(shí)還要開發(fā)產(chǎn)品。這大大增加了成本，支撐難度，增加了開發(fā)周期和上市時(shí)間。更快的上市時(shí)間，優(yōu)化測試周期是關(guān)鍵，中立的測試也是至關(guān)重要，可以幫助加快驗(yàn)收。

與是德一起成功

憑借二十多年的網(wǎng)絡(luò)測試領(lǐng)導(dǎo)經(jīng)驗(yàn)，Keysight致力于幫助SONiC社區(qū)成功實(shí)現(xiàn)其目標(biāo)。我們正在做以下工作：

?為SONiC社區(qū)提供一個(gè)中立的測試實(shí)體，讓SONiC供應(yīng)商和用戶有一個(gè)公平的競爭環(huán)境，測試結(jié)果意味著同樣的事情跨芯片組和供應(yīng)商

?通過新的測試與社區(qū)成員分享我們的測試專業(yè)知識，貢獻(xiàn)新的開放API標(biāo)準(zhǔn)，使測試有更多選擇

?為SONiC提供Ixia Open NOS驗(yàn)證套件，這是一個(gè)測試的交鑰匙解決方案，驗(yàn)證設(shè)備是否可交付

Keysight近期在SONiC社區(qū)的一些貢獻(xiàn)，比如為社區(qū)提供關(guān)于遠(yuǎn)程直接內(nèi)存訪問（RDMA）測試用例的說明，另一個(gè)關(guān)注點(diǎn)是邊界網(wǎng)關(guān)協(xié)議（BGP）的性能和彈性能力，以及使用Keysight IxANVL將BGP路由協(xié)議棧一致性測試添加到社區(qū)測試床。

SONiC即插即用測試

客戶告訴我們，迫切需要一個(gè)交鑰匙SONiC測試解決方案。為了滿足這一需求，我們最近推出了Ixia Open NOS驗(yàn)證套件。這是用Aviz Networks開發(fā)的一個(gè)獨(dú)立的測試包。這個(gè)套件可通過即插即用應(yīng)用程序Keysight IxSuiteStore提供。

測試包滿足不同的測試要求，包括：

?基本：功能和特性級測試，補(bǔ)充社區(qū)測試用例

?規(guī)模：通過系統(tǒng)測試來增加測試覆蓋率，這是目前社區(qū)測試中缺少的

?操作：部署準(zhǔn)備測試，社區(qū)測試中也缺少

這些測試包確保您的平臺不僅提供基本功能，而且可擴(kuò)展、可部署、可交付。

考慮到交付時(shí)間的壓力，我們還提供測試即服務(wù)（TaaS），以確保測試的覆蓋率，并提供中立的測試報(bào)告，像交鑰匙一樣確認(rèn)該SONiC可交付。

SONiC測試清單

我們?yōu)槟鷾?zhǔn)備了一份SONiC測試清單：

社區(qū)測試床

?這對于測試和鑒定每個(gè)SONiC版本至關(guān)重要。

?這是SONiC的最低測試要求。

?搭建和維護(hù)該測試床需要付出巨大的努力。

?通過虛擬測試床選項(xiàng)提供功能覆蓋。

以Ixia為硬件流量發(fā)生器的社區(qū)測試床

?這包括具有Keysight拓?fù)涞膒ytest用例和spytest的測試用例。

?這些測試用例使用Keysight測試工具進(jìn)行測試。

?所有設(shè)置/配置和測試代碼都是開源的，可以下載。

?Keysight將根據(jù)獨(dú)特的硬件流量生成器功能添加測試用例。

用于SONiC或TaaS的Ixia Open NOS驗(yàn)證套件

?使用此Keysight/Aviz專有測試套件進(jìn)行SONiC交付、彈性，性能測試和部署測試。

?它與社區(qū)測試用例幾乎沒有重疊。

?它是第三方、無偏見的測試報(bào)告，因此最終用戶，如網(wǎng)絡(luò)運(yùn)營商可以相信SONiC平臺已經(jīng)為數(shù)據(jù)中心部署做好了準(zhǔn)備。

?優(yōu)化測試周期，加快上市時(shí)間。

結(jié)束語

在艱難的商業(yè)環(huán)境里，解耦和開放網(wǎng)絡(luò)為網(wǎng)絡(luò)供應(yīng)商和生態(tài)提供了新的賽道，也帶來了挑戰(zhàn)。競爭比以往任何時(shí)候都激烈，上市時(shí)間也比以往任何時(shí)候都要短、有壓力。

一如既往，研發(fā)團(tuán)隊(duì)擁有有限的資源。SONiC社區(qū)測試和Spytest提供基本的測試覆蓋，Keysight Ixia Open NOS測試套件即插即用，作為交鑰匙驗(yàn)收。

原文標(biāo)題：開源網(wǎng)絡(luò)，新常態(tài) - 測試如何幫助SONiC成功部署

文章出處：【微信公眾號：是德科技KEYSIGHT】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq