創(chuàng)造智能需要大量數(shù)據(jù)。所有這些數(shù)據(jù)都需要能夠支持它的技術(shù)。

就人工智能 （AI） 而言，這些技術(shù)包括大量直接訪問的高速內(nèi)存；能夠同時處理同一數(shù)據(jù)集的不同部分的并行計算架構(gòu)；并且有點令人驚訝的是，與許多其他應(yīng)用程序相比，計算精度更低。數(shù)據(jù)中心可以提供幾乎無窮無盡的這種技術(shù)組合。

因此，人工智能開發(fā)工具是為互聯(lián)網(wǎng)查詢、語音搜索和在線面部識別等應(yīng)用程序背后的數(shù)據(jù)中心基礎(chǔ)設(shè)施而設(shè)計的。但隨著人工智能技術(shù)的進步，在各種用例中利用它的愿望也在增加——包括那些在小型、資源受限、基于 MCU 的邊緣平臺上運行的用例。因此，例如，編譯器等工具還必須能夠針對占用空間更小的設(shè)備優(yōu)化 AI 數(shù)據(jù)和算法，而不是僅僅關(guān)注運行基于云的推薦系統(tǒng)的高端硬件加速器。

Facebook 的開源機器學(xué)習(xí)編譯器 Glow 就是這種工具演變的一個例子。它使用兩階段中間表示 （IR） “降低”神經(jīng)網(wǎng)絡(luò)圖，該中間表示生成針對各種嵌入式和服務(wù)器級硬件目標(biāo)的特性和內(nèi)存進行專門調(diào)整的機器代碼（圖 1）。它還執(zhí)行提前 （AOT） 編譯，最大限度地減少運行時開銷，以節(jié)省磁盤空間、內(nèi)存、啟動時間等。

圖 1. Glow 高級中間表示中的降低計算圖表示 A 的回歸，該回歸由 Glow 自動區(qū)分。

“我們擁有這個非常高性能的運行時，但很多項目并不關(guān)心，因為它們不在數(shù)據(jù)中心內(nèi)，”Facebook 的研究科學(xué)家 Jordan Fix 解釋道?！八麄冃枰?AOT 編譯，盡可能地縮小，使用量化和并行化，并且沒有太多的依賴關(guān)系。

“AOT 編譯在數(shù)據(jù)中心并不那么重要，但我們可以將 LLVM 后端連接到 Glow 并針對 x86、Arm、RISC-V 和專用架構(gòu)，”Fix 繼續(xù)說道?！癎low 的工作方式是你有幾個級別的 IR，它們使用高級優(yōu)化和量化來限制內(nèi)存。那時，編譯器后端可以接受基于指令的 IR，并根據(jù)需要對其進行優(yōu)化和編譯?！?/p>

Glow 的另一大優(yōu)勢，特別是在多樣化的嵌入式技術(shù)領(lǐng)域，是能夠在簡單的 C 包裝器中編譯模型。這意味著嵌入式 AI 工程師可以針對他們選擇的編譯器后端和架構(gòu)優(yōu)化 Glow。它本機支持來自流行 AI 框架和庫（如 PyTorch 和 Arm 的 CMSIS-NN）的輸入，還可以通過 ONNX 神經(jīng)網(wǎng)絡(luò)交換接受來自 TensorFlow 等環(huán)境的圖形。

AI 編譯器的競爭

當(dāng)然，Glow 并不是唯一可用的神經(jīng)網(wǎng)絡(luò)編譯器。Google 的多級中間表示 （MLIR） 是一種編譯器基礎(chǔ)架構(gòu)，專注于張量處理器，已被 LLVM 吸收。Microsoft 的嵌入式學(xué)習(xí)庫 （ELL） 是另一個用于資源受限的 AI 設(shè)備的交叉編譯工具鏈。

然而，Glow 比任何一個都更成熟，已于 2018 年開源。它也比許多現(xiàn)有的 AI 編譯器選項更高效。

在 i.MX 跨界 MCU 的性能測試中，恩智浦系統(tǒng)工程師使用 TensorFlow Lite 和 Glow 編譯了 32 x 32 CIFAR-10 數(shù)據(jù)集，并將它們輸入 RT1060、RT1170 和 RT685 設(shè)備。Glow 編譯的輸入表現(xiàn)出至少 3 倍幀/秒的性能提升，而圖 2 讓您了解 AOT 編譯與 TensorFlow/TensorFlow Lite 框架中使用的即時 （JIT） 編譯相比的效率如何。

圖 2a 和 2b。與 TensorFlow Lite 等即時 （JIT） 編譯器相比，Glow 的提前 （AOT） 編譯器可節(jié)省大量 RAM 和閃存，同時還具有顯著的每秒幀數(shù)性能優(yōu)勢。

請記住，i.MX1060 具有高達 1 MB 的片上 RAM。NXP 的 eIQ 軟件開發(fā)環(huán)境支持 Glow。

開源人工智能：看不到終點線

人工智能技術(shù)市場瞬息萬變，這使得開發(fā)組織很難致力于任何技術(shù)。這可能是 Glow 最引人注目的方面之一，它甚至與技術(shù)沒有直接關(guān)系。

作為一個擁有 130 多個活躍貢獻者的開源項目，F(xiàn)acebook、英特爾等大型組織繼續(xù)對 Glow 主線做出承諾，因為它們現(xiàn)在依賴于其通用基礎(chǔ)設(shè)施來訪問指令、操作符、內(nèi)核等。

然后，很明顯，開源具有內(nèi)在價值。

“我們經(jīng)常看到我們關(guān)心的外部用戶的貢獻，比如更通用的并行化框架，我們有很多他們正在運行的機器學(xué)習(xí)模型，”Fix 說?！八砸苍S它可以讓他們在我們無需做任何事情的情況下獲得對運營商的支持。“我認為您正在研究這個特定的計算機視覺模型”或者，“我認為這是您所說的操作員?！?他們只是審查它并移植它并登陸它。

“我們都可以從彼此在傳統(tǒng)開源框架中的工作中受益，”他補充道。

審核編輯：郭婷