隨著人工智能的爆炸式增長，人們越來越關(guān)注能夠提供人工智能所需性能的新型專業(yè)推理引擎。因此，在過去六個月中，我們看到了一系列神經(jīng)推理硬件公告，所有這些都承諾提供比市場上任何其他產(chǎn)品更好的加速。然而，挑戰(zhàn)在于沒有人真正知道如何衡量一個與另一個。這是一項新技術(shù)，就像任何新技術(shù)一樣，我們需要指標，我們需要真正重要的指標。

一切都與吞吐量有關(guān)

當推理引擎的性能出現(xiàn)時，供應商會拋出諸如 TOPS（Tera-Operations/Second）性能和 TOPS/Watt 之類的基準。研究這些的系統(tǒng)/芯片設(shè)計人員很快意識到這些數(shù)字通常毫無意義。真正重要的是推理引擎可以為模型、圖像大小、批量大小和過程以及 PVT（過程/電壓/溫度）條件提供多少吞吐量。這是衡量其性能表現(xiàn)的第一個衡量標準，但令人驚訝的是，很少有供應商提供它。

TOPS 的最大問題是，當一家公司說他們的引擎執(zhí)行 X TOPS 時，他們通常會引用這一點而沒有說明條件是什么。在不知道這些信息的情況下，他們錯誤地認為 X TOPS 意味著它可以執(zhí)行 X 萬億次操作。實際上，報價 130 TOPS 的公司可能僅提供 27 TOPS 的可用吞吐量。

另一個正在使用但不太常用的基準是 ResNet-50。這個基準的問題是大多數(shù)引用它的公司都沒有給出批量大小。如果他們不這樣做，芯片設(shè)計人員可以假設(shè)這將是一個大批量，以最大限度地提高他們的硬件利用率。這使得 ResNet-50 作為基準不是很有幫助。相比之下，例如 YOLOv3 需要 100 倍以上的操作來處理 2 兆像素的圖像。在“真實世界”模型中，硬件利用率將面臨更大挑戰(zhàn)。

如何正確測量神經(jīng)推理引擎

在評估神經(jīng)推理引擎時，需要注意幾個關(guān)鍵事項。以下是最重要的考慮因素以及它們?yōu)楹握嬲匾脑颉?/p>

定義什么是操作：一些供應商將乘法（通常為 INT 8 乘以 INT 8）計為一次操作，將累加（加法，通常為 INT 32）計為一次操作。因此，一次乘法累加等于 2 次操作。但是，一些供應商在其 TOPS 規(guī)范中包含其他類型的操作，因此必須在開始時進行澄清。

詢問 操作條件是什么： 如果供應商提供 TOPS 而不提供條件，他們通常使用室溫、標稱電壓和典型工藝。通常他們會提到他們所指的工藝節(jié)點，但不同供應商的運行速度不同，大多數(shù)工藝提供2、3或更多的標稱電壓。由于性能是頻率的函數(shù)，而頻率是電壓的函數(shù)，因此芯片設(shè)計人員在 0.9V 時可以獲得比在 0.6V 時高兩倍以上的性能。頻率因條件/假設(shè)而異。有關(guān)這方面的更多信息，請參閱此應用說明。

看看批量大?。杭词构烫峁┳顗那闆r的 TOPS，芯片設(shè)計人員也需要弄清楚所有這些操作是否真的有助于計算他們的神經(jīng)網(wǎng)絡(luò)模型。實際上，實際利用率可能非常低，因為沒有推理引擎始終 100% 地使用所有 MAC。這就是批量大小很重要的原因。批處理是為給定層加載權(quán)重并同時處理多個數(shù)據(jù)集。這樣做的原因是為了提高吞吐量，但放棄的是更長的延遲。ResNet-50 擁有超過 2000 萬個權(quán)重；YOLOv3 擁有超過 6000 萬個權(quán)重；并且必須為每個圖像獲取每個權(quán)重并將其加載到 MAC 結(jié)構(gòu)中。權(quán)重太多，無法讓它們都駐留在 MAC 結(jié)構(gòu)中。

找出你的 MAC 利用率：并非所有神經(jīng)網(wǎng)絡(luò)的行為都相同。您需要以您需要的批量大小找出您想要部署的神經(jīng)網(wǎng)絡(luò)模型的神經(jīng)推理引擎的實際 MAC 利用率。

深入TOPS

如果您是一名正在研究神經(jīng)推理引擎的設(shè)計師，希望這篇文章能夠闡明要尋找的內(nèi)容。請記住——重要的是吞吐量。重要的是不要陷入諸如 TOPS 和 ResNet-50 之類的毫無意義的基準測試中，除非您知道圍繞這些問題要問的問題。首先提出以下問題：在批量大小 = A 和 XYZ PVT 條件下，可以為特定模型（例如 YOLOv3）處理多少圖像/秒。一旦您開始指定條件和假設(shè)，您將開始了解任何神經(jīng)推理在現(xiàn)實世界中的表現(xiàn)如何。歸根結(jié)底，這才是最重要的。

審核編輯：郭婷