作為一個驗(yàn)證工程師我經(jīng)常被問到這樣的問題："處理器的驗(yàn)證什么時候完成？"或者換句話說，"我該如何衡量測試平臺的效率，我如何對驗(yàn)證的質(zhì)量建立信心？"。當(dāng)然這一問題沒有簡單的答案。業(yè)界有幾個常用的指標(biāo)可以參考，如覆蓋率和錯誤曲線。雖然這些指標(biāo)是絕對必要的，但它們并不足以達(dá)到盡可能高的處理器品質(zhì)。事實(shí)上，這些指標(biāo)并不能真正揭示驗(yàn)證方法找到最后一個bug的能力。隨著經(jīng)驗(yàn)的積累，我了解到檢測處理器漏洞的復(fù)雜性是一個很好的指標(biāo)，并可以在項(xiàng)目的整個開發(fā)過程中使用。

是什么定義了處理器漏洞的復(fù)雜性以及如何檢測它？

經(jīng)驗(yàn)告訴我，我們可以通過計(jì)算擊中漏洞所需的獨(dú)立事件或條件的數(shù)量來定義一個漏洞的復(fù)雜性。

那么“事件”又如何定義呢？

讓我們舉一個簡單的例子。當(dāng)缺少所需的警告時，一個典型的bug會在緩存中發(fā)現(xiàn)一個典型的漏洞。此時數(shù)據(jù)損壞可能發(fā)生在以下情況：

A cache line at address @A is Valid and Dirty in the cache.

A load at address @B causes an eviction of line @A.

Another load at address @A starts.

The external write bus is slower than the read, so the load @A completes before the end of the eviction.

External memory returns the previous data because the most recent data from the eviction got lost, causing data corruption.

在這個例子中，我們需要4個事件或條件來擊中這個漏洞。這4個事件給這個bug打了4分，也就是說漏洞的復(fù)雜性為4。

對處理器漏洞進(jìn)行分類？

為了衡量一個漏洞的復(fù)雜性，我們可以對漏洞進(jìn)行分類，供整個處理器驗(yàn)證團(tuán)隊(duì)來使用。在之前的一篇博文中，我們討論了4種類型的bug，并解釋了我們?nèi)绾问褂眠@些分類來提高測試平臺和驗(yàn)證的質(zhì)量。此時我們可以再進(jìn)一步，即將這種方法與漏洞的復(fù)雜性結(jié)合起來處理問題。

一個簡單的漏洞可能需要觸發(fā)1到3個事件。那么第一個簡單的測試就會失敗，而一個極端案例可能會需要4個或更多的事件。

回到我們上面的例子，我們有一個復(fù)雜性為4的bug，如果四個條件中的任何一個不存在，那么這個bug就不會被擊中。

一個受限的隨機(jī)測試平臺需要幾個功能，以便能夠擊中上文例子中的漏洞。地址序列應(yīng)該足夠聰明，可以重用之前請求的地址，外部總線上的延遲也應(yīng)該足夠非典型，以便有足夠快/慢的讀寫。

而一個隱藏比較深的案例可能需要更多的事件來觸發(fā)。假定一個更微妙的bug與我們的例子有相同的條件，但是它只發(fā)生在緩存上發(fā)現(xiàn)ECC錯誤的時候，與中斷發(fā)生的時間完全一致，并且只發(fā)生在內(nèi)核完成FPU操作導(dǎo)致除以0錯誤出現(xiàn)的時候。在典型的隨機(jī)測試平臺上，所有這些條件同時出現(xiàn)的概率是非常低的，這使得它成為一個 "隱藏 "的終極漏洞。

為了使得這些隱藏的bug在測試平臺上更容易被發(fā)現(xiàn)，提高驗(yàn)證的質(zhì)量是重點(diǎn)。它包括使隱藏的個例成為極端的個例此種情況。

如圖所示，4只紅色昆蟲分別代表4種類型的CPU漏洞

這種分類沒有任何限制。經(jīng)驗(yàn)告訴我們，一個能夠找到8分或9分漏洞的測試平臺本身就是一個強(qiáng)大的模擬測試平臺，是提供高質(zhì)量RTL的關(guān)鍵。根據(jù)我們的觀察，今天最先進(jìn)的仿真測試平臺可以找到復(fù)雜度高達(dá)10的漏洞。幸運(yùn)的是，形式化驗(yàn)證的使用使我們更容易找到復(fù)雜度更高的bug，為更好的設(shè)計(jì)鋪平道路，并為仿真中需要改進(jìn)的地方提供線索。

使用漏洞的復(fù)雜性分類來提高驗(yàn)證測試平臺的質(zhì)量

這種分類和方法只有在驗(yàn)證開始時和整個項(xiàng)目開發(fā)過程中使用才有效，原因有二：

漏洞必須在被發(fā)現(xiàn)時即時修復(fù)。留下一個2級或3級的bug而不即時修復(fù)，則意味著在啟動大型浸泡測試（soak test）時會出現(xiàn)大量的失誤。據(jù)統(tǒng)計(jì)，一個需要更多事件的類似bug（來自同一漏洞集群）可能會被忽略。

漏洞的復(fù)雜性被用來改善和衡量測試平臺的質(zhì)量。復(fù)雜性水平與觸發(fā)漏洞所需的事件數(shù)量越匹配，復(fù)雜性得分越高，測試平臺的壓力越大。追蹤和分析觸發(fā)漏洞的事件對于了解如何調(diào)整隨機(jī)約束或創(chuàng)建新的功能覆蓋點(diǎn)來說非常有用。

最后，通過將這種方法與Codasip的驗(yàn)證方法結(jié)合起來，包括獵殺以集群為單位的bug，確保了高水平的驗(yàn)證質(zhì)量，幫助我們確信并超越驗(yàn)證驗(yàn)收標(biāo)準(zhǔn)。

審核編輯 ：李倩