深度學(xué)習(xí) AI 應(yīng)用是解鎖生產(chǎn)力新時(shí)代的關(guān)鍵，人類的創(chuàng)造力能夠通過機(jī)器得到提高與增強(qiáng)。我們致力于將大量培訓(xùn)數(shù)據(jù)和海量數(shù)學(xué)運(yùn)算用于全面訓(xùn)練每個(gè)神經(jīng)網(wǎng)絡(luò)。訓(xùn)練可使用大規(guī)模批處理功能離線進(jìn)行，歷時(shí)數(shù)天。經(jīng)過訓(xùn)練的網(wǎng)絡(luò)要投入部署，那就面臨嚴(yán)格得多的時(shí)限要求。

為了納入 AI 處理功能，數(shù)據(jù)中心將需要部署更新的服務(wù)器，但空間的局限和功耗的的問題都是阻礙AI 部署的關(guān)鍵問題。與此同時(shí)，客戶期望獲得即時(shí)響應(yīng)，這就需要確保極低時(shí)延。

在汽車駕駛輔助系統(tǒng)或自動(dòng)駕駛汽車等用例中，必須確保生命安全，這不僅要求最大限度地降低時(shí)延，確?？煽康膶?shí)時(shí)響應(yīng)也至關(guān)重要。與此同時(shí)，數(shù)據(jù)中心的規(guī)模和功耗要求甚至更嚴(yán)，重量和散熱問題也是他們必須要考慮的問題。特斯拉近期舉辦自動(dòng)駕駛?cè)栈顒?dòng)，介紹他們?yōu)槭裁催x擇自建芯片，相對于 GPU 而言能夠?qū)崿F(xiàn)低功耗（小于 100?瓦）和低時(shí)延（一個(gè)批處理大?。┑慕Y(jié)合優(yōu)勢。

隨著 AI 不斷在越來越多的領(lǐng)域得到推廣，并助力更快地解決挑戰(zhàn)性問題，已部署的神經(jīng)網(wǎng)絡(luò)也面臨著更高的性能要求。

歷久彌新的高效推斷

無論我們討論的是云端 AI 還是 AI 在汽車等領(lǐng)域的嵌入式應(yīng)用，滿足新型應(yīng)用需求的推斷引擎都必須確保低時(shí)延、低功耗和小尺寸。

將經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)成功用于執(zhí)行現(xiàn)實(shí)環(huán)境的推斷，不僅需要適當(dāng)?shù)恼{(diào)整優(yōu)化，還需要認(rèn)真考慮處理平臺(tái)，從而可以在功耗、尺寸和散熱等常見限制性條件下，確保所需的性能（通常指響應(yīng)時(shí)間或時(shí)延）。隨著 AI 商業(yè)部署的推廣以及最終用戶需求的提升，處理器芯片廠商都在加強(qiáng)高端器件架構(gòu)的開發(fā)以滿足相關(guān)要求。

一些最新型芯片面向自動(dòng)駕駛等應(yīng)用領(lǐng)域，采用結(jié)合 CPU 和應(yīng)用處理器核的混合架構(gòu)，并搭配大量 GPU 進(jìn)行數(shù)學(xué)運(yùn)算。盡管片上資源可用，但架構(gòu)是固定的，因此開發(fā)者受制于不靈活的存儲(chǔ)器接口寬度和數(shù)據(jù)解析度。8 位整數(shù)數(shù)學(xué)通常是最小寬度，但深度學(xué)習(xí)算法能以更低的解析度有效操作數(shù)據(jù)，有時(shí)甚至低至 2 位或 1 位。不靈活的 CPU 或 GPU 計(jì)算架構(gòu)越來越難以滿足神經(jīng)網(wǎng)絡(luò)性能要求，我們需要更靈活的架構(gòu)調(diào)整解析度及核數(shù)量，從而實(shí)現(xiàn)最佳計(jì)算性能與功耗。

調(diào)整優(yōu)化受訓(xùn)練的神經(jīng)網(wǎng)絡(luò)并在目標(biāo)處理器中高效實(shí)施已經(jīng)非常困難，新型更高效神經(jīng)網(wǎng)絡(luò)的開發(fā)源源不斷，更是超越了芯片的發(fā)展速度。項(xiàng)目一開始基于最先進(jìn)的技術(shù)，但很可能在部署時(shí)技術(shù)就已經(jīng)過時(shí)了。不過，部署時(shí)最尖端的神經(jīng)網(wǎng)絡(luò)技術(shù)，在現(xiàn)有處理器架構(gòu)中幾乎肯定無法表現(xiàn)良好。

可配置的?AI?加速

為應(yīng)對性能、功耗和面向未來靈活性的挑戰(zhàn)，開發(fā)團(tuán)隊(duì)目前正在利用 FPGA 提供的靈活應(yīng)變優(yōu)勢來構(gòu)建 AI 加速器。

FPGA 能配置成百上千乃至成千上萬個(gè)高度并行化的計(jì)算單元，最低支持單位解析度，并且為了消除瓶頸還可定制存儲(chǔ)器接口。此外，F(xiàn)PGA 可方便地再編程，這就能讓開發(fā)者在芯片迭代之間更靈活地升級(jí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并跟上技術(shù)發(fā)展的步伐。

2017 年，賽靈思收購了 AI 專業(yè)公司深鑒科技?(DeePhi Tech)，此后加大了先進(jìn)的調(diào)整優(yōu)化工具和 IP 開發(fā)力度，從而可以更好地在 FPGA 中部署神經(jīng)網(wǎng)絡(luò)。通過刪除不具備影響力的近零訓(xùn)練權(quán)重，調(diào)整優(yōu)化可精簡神經(jīng)網(wǎng)絡(luò)，并發(fā)現(xiàn)可最大限度減少計(jì)算操作數(shù)量、降低功耗的網(wǎng)絡(luò)組織方式。深鑒科技的神經(jīng)網(wǎng)絡(luò)優(yōu)化技術(shù)經(jīng)過優(yōu)化后運(yùn)行在 FPGA 上，能減少多達(dá)九成權(quán)重，同時(shí)實(shí)現(xiàn)可接受的圖形識(shí)別精度。性能提速高達(dá) 10?倍，能效也得到大幅提升。

從云端到邊緣

自動(dòng)駕駛技術(shù)是一個(gè)很好的例子，說明了人們對低時(shí)延、小尺寸、少重量和低功耗的迫切需求。雷達(dá)或攝像頭檢測到的對象（如車輛、騎行者、行人等）需要在瞬間加以識(shí)別。眾所周知，人類在四分之一秒的時(shí)間之內(nèi)就能對視覺輸入做出反應(yīng)，因此，自動(dòng)駕駛系統(tǒng)所需的視覺識(shí)別功能至少也應(yīng)達(dá)到相同的速度，甚至應(yīng)當(dāng)更快。要達(dá)到人類駕駛員的水平，就整個(gè)檢測—識(shí)別—響應(yīng)過程而言，系統(tǒng)應(yīng)當(dāng)能在 1.5 秒之內(nèi)做出緊急制動(dòng)決定。

賽靈思近期宣布同奔馳開展研發(fā)合作，實(shí)施基于高性能 FPGA 的深度學(xué)習(xí)處理器，用來分析來自攝像頭、雷達(dá)和激光雷達(dá)的數(shù)據(jù)，實(shí)現(xiàn)駕駛員監(jiān)控、車輛導(dǎo)引和防撞等功能。兩家公司的專家聯(lián)手基于高度自適應(yīng)的汽車平臺(tái)上實(shí)施 AI 算法，并將為奔馳的神經(jīng)網(wǎng)絡(luò)優(yōu)化深度學(xué)習(xí)處理器技術(shù)。該技術(shù)可以最大限度地降低時(shí)延，同時(shí)還能實(shí)現(xiàn)較高的功率效率，確保系統(tǒng)在汽車有限的散熱條件下可靠地工作。

此外，在數(shù)據(jù)中心領(lǐng)域，F(xiàn)PGA 也能支持深度學(xué)習(xí)加速器，其單位功耗性能水平大大超越標(biāo)準(zhǔn)的的 GPU 處理器，韓國 SK 電訊將 Kintex UltraScale FPGA 作為數(shù)據(jù)中心的 AI 加速器，從而成功提升了其語音助理 NUGU 的性能。這是韓國電信產(chǎn)業(yè)首次部署 AI，相對于傳統(tǒng)的 GPU 處理器，SK 的自動(dòng)語音識(shí)別?(ASR)?應(yīng)用速度提升高達(dá) 500%。單位功耗性能提升 16 倍。此外，現(xiàn)有的僅使用 CPU 的服務(wù)器在采用加速器后，處理多個(gè)語音通道時(shí)能顯著降低 SKT 的總體擁有成本?(TCO)。

另一個(gè)例子就是最新型 AI 家庭安全功能。作為與新興市場領(lǐng)域中領(lǐng)先企業(yè)之一 Tend Insights 聯(lián)合開發(fā)的云平臺(tái)的一部分，由 FPGA 加速的低時(shí)延推斷能夠支持更加智能的監(jiān)控功能和創(chuàng)新服務(wù)，如居家護(hù)理等。安裝在家里各個(gè)位置的攝像頭具備識(shí)別有關(guān)事件的基本功能，并能夠?qū)嬅嫔蟼鞯皆谠贫诉\(yùn)行的基于 FPGA 的 AI 加速器中。這些加速器可通過一系列 API 訪問（本例中是作為賽靈思機(jī)器學(xué)習(xí)套件?(ML Suite)?硬件編譯器的一部分），區(qū)分哪些人是家庭成員、哪些是陌生人，哪些是家庭寵物，哪些是其他動(dòng)物，從而判斷是否存在威脅并發(fā)出警報(bào)。內(nèi)部攝像頭的畫面幀在業(yè)主同意下進(jìn)行分析，能夠判斷家庭成員是否面臨困難，比如老人是否摔倒了需要幫助。隨后，該系統(tǒng)能夠發(fā)出呼救，包括撥打指定家庭成員的電話或?qū)で髮I(yè)護(hù)理機(jī)構(gòu)的幫助。

AI 也在眾多其他場合下發(fā)揮作用，用來進(jìn)行復(fù)雜的模式匹配和圖像識(shí)別，并快速獲得結(jié)果。這包括基因組分析，加速醫(yī)療診斷和治療。使用 FPGA 加速 AI 推斷已將病人基因組測序和異常識(shí)別所需時(shí)間從 24 小時(shí)縮短至大約 20-30?分鐘。然后就是原子研究，核聚變實(shí)驗(yàn)畫面捕獲涉及極高清圖形，每幀動(dòng)輒高達(dá) 1 億像素，而且需要在 25ms 之內(nèi)處理。這種挑戰(zhàn)需要引入低時(shí)延神經(jīng)網(wǎng)絡(luò)探測器，傳統(tǒng) CPU 推斷根本無法應(yīng)對。事實(shí)上，傳統(tǒng)方法相差甚遠(yuǎn)。FPGA 已經(jīng)在幫助科學(xué)家獲得他們所需的答案了。

結(jié) 論

AI 最近才成為一個(gè)切實(shí)可行的解決方案，但在人們的日常工作生活中已經(jīng)開始發(fā)揮重要作用。降低運(yùn)營成本、縮短客戶等待時(shí)間、打造新的增值服務(wù)機(jī)遇，這些潛力讓商業(yè)機(jī)構(gòu)深感激動(dòng)，同時(shí)也加大了性能提升的壓力，需要降低時(shí)延、功耗和成本。

創(chuàng)建 AI 有兩大要素，一是訓(xùn)練某種類型的神經(jīng)網(wǎng)絡(luò)，讓其盡可能符合現(xiàn)有任務(wù)要求；二是對經(jīng)過訓(xùn)練的網(wǎng)絡(luò)進(jìn)行調(diào)整優(yōu)化，作為推斷引擎在適當(dāng)?shù)奶幚砥魃蠈?shí)施。

FPGA 架構(gòu)的靈活性和高性能，加上高性能的實(shí)施優(yōu)化工具（如 ML Suite 硬件編譯器和 Deephi 優(yōu)化器），再加上實(shí)施最新神經(jīng)網(wǎng)絡(luò)架構(gòu)帶來的可再配置性使其無需等待芯片更新，這些都是在云端、網(wǎng)絡(luò)或網(wǎng)絡(luò)邊緣實(shí)現(xiàn) AI 推斷加速的關(guān)鍵因素。

審核編輯：湯梓紅