不斷發(fā)展的機器學習領域為部署設備和應用程序創(chuàng)造了新的機會，這些設備和應用程序利用神經(jīng)網(wǎng)絡推理，具有前所未有的基于視覺的功能和準確性。但是，快速發(fā)展的領域已經(jīng)讓位于處理器、加速器和庫的混亂格局。本文討論了開放式互操作性標準及其在降低成本和在實際產(chǎn)品中使用推理和視覺加速的障礙方面的作用。

每個行業(yè)都需要開放標準，通過提高生態(tài)系統(tǒng)元素之間的互操作性來降低成本并縮短上市時間。開放標準和專有技術(shù)具有復雜且相互依存的關(guān)系。專有API和接口通常是達爾文式的試驗場，可以在聰明的市場領導者手中保持主導地位，這是應該的。強大的開放標準源于行業(yè)對成熟技術(shù)的更廣泛需求，并且可以提供健康、激勵性的競爭。從長遠來看，隨著技術(shù)、平臺和市場地位的旋轉(zhuǎn)和發(fā)展，不受任何一家公司控制或依賴的開放標準通?？梢猿蔀樾袠I(yè)進步的連續(xù)性線索。

創(chuàng)建嵌入式機器學習應用程序

許多互操作部分需要協(xié)同工作來訓練神經(jīng)網(wǎng)絡，并將其成功部署在嵌入式加速推理平臺上，如圖 1 所示。有效的神經(jīng)網(wǎng)絡訓練通常需要大型數(shù)據(jù)集，使用浮點精度，并在功能強大的 GPU 加速桌面機器或云中運行。訓練完成后，經(jīng)過訓練的神經(jīng)網(wǎng)絡將被攝取到針對快速張量操作進行優(yōu)化的推理運行時引擎中，或者將神經(jīng)網(wǎng)絡描述轉(zhuǎn)換為可執(zhí)行代碼的機器學習編譯器中。無論使用引擎還是編譯器，最后一步都是在從 GPU 到專用張量處理器的各種加速器架構(gòu)之一上加速推理代碼。

圖1.訓練神經(jīng)網(wǎng)絡并將其部署在加速推理平臺上的步驟

那么，行業(yè)開放標準如何幫助簡化這一過程呢？圖2.說明了在視野和推理加速度中使用的 Khronos 標準?？偟膩碚f，隨著處理器頻率縮放讓位于并行編程，人們對所有這些標準越來越感興趣，并行編程是以可接受的成本和功耗水平提供所需性能的最有效方法。

圖2.用于加速視覺和推理應用和引擎的 Khronos 標準

從廣義上講，這些標準可以分為兩組：高級和低級。高級 API 側(cè)重于易于編程，并跨多個硬件架構(gòu)提供有效的性能可移植性。相比之下，低級 API 提供對硬件資源的直接、顯式訪問，以實現(xiàn)最大的靈活性和控制力。每個項目都必須了解哪個級別的 API 最適合他們的開發(fā)需求。此外，高級 API 通常會在其實現(xiàn)中使用較低級別的 API。

讓我們更詳細地看一下其中一些Khronos標準。

SYCL - C++ 單源異構(gòu)編程

SYCL（發(fā)音為“鐮刀”）使用C++模板庫來調(diào)度標準 ISO C++應用程序的選定部分以卸載處理器。SYCL 使復雜的C++機器學習框架和庫能夠直接編譯和加速到在許多情況下優(yōu)于手動調(diào)優(yōu)代碼的性能水平。如圖 3 所示，默認情況下，SYCL 是通過較低級別的 OpenCL 標準 API 實現(xiàn)的：將用于加速的代碼饋送到 OpenCL 中，其余主機代碼通過系統(tǒng)的默認 CPU 編譯器輸入。

圖3.SYCL 將標準C++應用程序拆分為 CPU 和 OpenCL 加速代碼

有越來越多的SYCL實現(xiàn)，其中一些使用專有后端，例如NVIDIA的CUDA用于加速代碼。值得注意的是，英特爾新的oneAPI計劃包含一個名為DPC++的并行C++編譯器，它是OpenCL上的SYCL實現(xiàn)。

NNEF – 神經(jīng)網(wǎng)絡交換格式

目前有數(shù)十種神經(jīng)網(wǎng)絡訓練框架在使用，包括Torch，Caffe，TensorFlow，Theano，Chainer，Caffe2，PyTorch和MXNet等等，并且都使用專有格式來描述其訓練的網(wǎng)絡。市場上還有數(shù)十種，甚至數(shù)百種嵌入式推理處理器。迫使許多硬件供應商理解和導入如此多的格式是一個經(jīng)典的碎片化問題，可以通過開放標準解決，如圖 4 所示。

圖4.NNEF 神經(jīng)網(wǎng)絡交換格式可通過推理加速器簡化對訓練網(wǎng)絡的攝取

NNEF 文件格式旨在為網(wǎng)絡訓練和推理芯片世界提供有效的橋梁——Khronos 經(jīng)過驗證的多公司治理模型為硬件社區(qū)提供了強有力的聲音，說明該格式如何以滿足開發(fā)處理器工具鏈和框架的公司的需求的方式發(fā)展，通常在安全關(guān)鍵市場中。

NNEF不是業(yè)界唯一的神經(jīng)網(wǎng)絡交換格式，ONNX是由Facebook和微軟創(chuàng)立的開源項目，是一種廣泛采用的格式，主要關(guān)注訓練框架之間的網(wǎng)絡交換。NNEF 和 ONNX 是互補的，因為 ONNX 跟蹤訓練創(chuàng)新和機器學習研究社區(qū)的快速變化，而 NNEF 針對的是需要具有更深思熟慮的路線圖演變格式的嵌入式推理硬件供應商。Khronos圍繞NNEF啟動了一個不斷發(fā)展的開源工具生態(tài)系統(tǒng)，包括來自關(guān)鍵框架的導入商和導出商以及一個模型動物園，以使硬件開發(fā)人員能夠測試他們的推理解決方案。

OpenVX – 便攜式加速視覺處理

OpenVX（VX代表“視覺加速”）通過提供圖形級抽象來簡化視覺和推理軟件的開發(fā)，使程序員能夠通過連接一組函數(shù)或“節(jié)點”來構(gòu)建所需的功能。這種高級抽象使芯片供應商能夠非常有效地優(yōu)化其OpenVX驅(qū)動程序，以便在幾乎任何處理器架構(gòu)上高效執(zhí)行。隨著時間的推移，OpenVX 在原始視覺節(jié)點之外添加了推理功能 - 神經(jīng)網(wǎng)絡畢竟只是另一個圖！通過將NNEF訓練的網(wǎng)絡直接導入OpenVX圖，OpenVX和NNEF之間的協(xié)同作用越來越大，如圖5所示。

圖5.OpenVX 圖可以描述視覺節(jié)點和從 NNEF 文件導入的推理操作的任意組合

OpenVX 1.3 于 2019 年 10 月發(fā)布，支持針對垂直細分市場（如推理）的精心挑選的規(guī)范子集作為正式標準實施和測試。OpenVX 還與 OpenCL 進行了深度集成，使程序員能夠添加自己的自定義加速節(jié)點以在 OpenVX 圖形中使用，從而提供簡單可編程性和可定制性的獨特組合。

OpenCL – 異構(gòu)并行編程

OpenCL 是一種低級標準，用于對 PC、服務器、移動設備和嵌入式設備中的各種異構(gòu)處理器進行跨平臺并行編程。OpenCL 提供基于 C 和 C++ 的語言，用于構(gòu)建內(nèi)核程序，這些內(nèi)核程序可以在具有 OpenCL 編譯器的系統(tǒng)中的任何處理器上并行編譯和執(zhí)行，從而明確控制程序員在哪些處理器上執(zhí)行哪些內(nèi)核。OpenCL 運行時協(xié)調(diào)加速器設備的發(fā)現(xiàn)，編譯選定設備的內(nèi)核，以復雜的同步級別執(zhí)行內(nèi)核，并收集結(jié)果，如圖 6 所示。

圖6.OpenCL 使 C 或 C++ 內(nèi)核程序能夠在異構(gòu)處理器的任意組合中并行編譯和執(zhí)行

OpenCL 在整個行業(yè)中廣泛使用，為計算、視覺和機器學習庫、引擎和編譯器提供最低的“接近金屬”執(zhí)行層。

OpenCL最初是為在高端PC和超級計算機硬件上執(zhí)行而設計的，但在與OpenVX類似的演變中，需要OpenCL的處理器變得越來越小，精度越來越低，因為它們的目標是邊緣視覺和推理。OpenCL 工作組正在努力定義為嵌入式處理器量身定制的功能，并使供應商能夠完全一致地針對關(guān)鍵功耗和成本敏感用例提供選定的功能。

審核編輯：郭婷