作者：Zvonimir Bandic博士，西部數(shù)據(jù)公司, 研發(fā)工程部，新一代平臺技術(shù)高級總監(jiān)

前言

在過去的幾年里，我們目睹了數(shù)據(jù)的一系列巨大變化，包括數(shù)據(jù)如何被生成、處理以及進一步利用以獲取額外的價值和智能，而這些變化都受到以深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)應(yīng)用為基礎(chǔ)的新興計算模式所影響。這種深刻的變化始于數(shù)據(jù)中心，其利用深度學(xué)習(xí)技術(shù)來提供對海量數(shù)據(jù)的洞察，主要用于分類或識別圖像、支持自然語言處理或語音處理，或者理解、生成或成功學(xué)習(xí)如何玩復(fù)雜的策略游戲。這種變化催生了一批專門針對這些類別的問題而設(shè)計的高功效計算設(shè)備（基于GP-GPU和FPGA），后來還產(chǎn)生了可完全定制的ASIC，進一步加速并提高了基于深度學(xué)習(xí)的系統(tǒng)的計算能力。

大數(shù)據(jù)和快速數(shù)據(jù)

大數(shù)據(jù)應(yīng)用采用專門的GP-GPU、FPGA和ASIC處理器透過深度學(xué)習(xí)技術(shù)來分析大型數(shù)據(jù)集，并揭示趨勢、模式和關(guān)聯(lián)性，從而實現(xiàn)圖像識別、語音識別等功能。因此，大數(shù)據(jù)是基于過去的信息或常駐在云端的靜止數(shù)據(jù)。大數(shù)據(jù)分析的一個常用的功能是執(zhí)行特定任務(wù)“訓(xùn)練過的”神經(jīng)網(wǎng)絡(luò)，例如識別和標(biāo)記圖像或視頻序列中的所有面部，語音識別也展示了神經(jīng)網(wǎng)絡(luò)的強大功能。

這種任務(wù)最好由專門的引擎（或推理引擎）來執(zhí)行，這種引擎直接駐留在邊緣設(shè)備上并由快速數(shù)據(jù)應(yīng)用程序（圖1）來引導(dǎo)。通過在邊緣設(shè)備上處理本地所捕獲的數(shù)據(jù)，快速數(shù)據(jù)能夠利用來自大數(shù)據(jù)的算法提供實時決策和結(jié)果。大數(shù)據(jù)提供了從“過去發(fā)生了什么”到“將來可能會發(fā)生什么”所演繹出的洞察（預(yù)測分析），而快速數(shù)據(jù)則提供了能夠改善業(yè)務(wù)決策、運營并減少低效情形的實時行動，所以這一定會影響最終結(jié)果。這些方法可以適用于各種邊緣和存儲設(shè)備，例如照相機、智能手機和固態(tài)硬盤。

在數(shù)據(jù)上進行計算

新的工作負載基于兩種場景：（1）針對特定工作負載（例如圖像或語音識別）訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)；以及（2）在邊緣設(shè)備上應(yīng)用經(jīng)過訓(xùn)練的（或“適合的”）神經(jīng)網(wǎng)絡(luò)。兩種工作負載都需要大規(guī)模并行的數(shù)據(jù)處理，其中包括大矩陣的乘法和卷積。這些計算功能的最佳實施方式需要在大矢量或數(shù)據(jù)陣列上運行的矢量指令。RISC-V就是一種非常適合于此類型應(yīng)用的架構(gòu)和生態(tài)系統(tǒng)，因為它提供了一套由開源軟件支持的標(biāo)準(zhǔn)化過程，使得開發(fā)人員能夠完全自由地采用、修改甚至添加專有矢量指令。圖1中概述了一些顯而易見的RISC-V計算架構(gòu)機會。

移動數(shù)據(jù)

快速數(shù)據(jù)和邊緣計算的出現(xiàn)產(chǎn)生了一個實際的后果，即：與云端之間來回移動所有數(shù)據(jù)進行計算分析并不是一件有效率的事。首先，在移動網(wǎng)絡(luò)和以太網(wǎng)中進行遠距離傳輸時，它涉及到相對較大的數(shù)據(jù)延遲傳輸，這對于必須實時操作的圖像識別或語音識別應(yīng)用而言并不是理想的。其次，在邊緣設(shè)備上進行計算需要更易于伸縮的架構(gòu)，其中，圖像和語音處理或者在SSD上進行的內(nèi)存計算操作都可用一種伸縮的方式來進行。采用這種方式，每一臺新增的邊緣設(shè)備都會帶來所需要的增量計算能力，對數(shù)據(jù)移動方式和時間進行優(yōu)化是這種架構(gòu)可伸縮性的一項關(guān)鍵因素。

圖1：大數(shù)據(jù)、快速數(shù)據(jù)和RISC-V機會

在圖1a中，云數(shù)據(jù)中心服務(wù)器利用在大型大數(shù)據(jù)集上訓(xùn)練的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)來執(zhí)行機器學(xué)習(xí)的功能。在圖1b中，邊緣設(shè)備中的安全攝像機采用經(jīng)過大數(shù)據(jù)訓(xùn)練的推理引擎來實時識別圖像（快速數(shù)據(jù)）。在圖1c中，智能固態(tài)硬盤設(shè)備采用推理引擎進行數(shù)據(jù)識別和分類，從而有效地利用了此設(shè)備的帶寬。圖1展示了RISC-V內(nèi)核的潛在機會，它可以自由地添加專有的及未來標(biāo)準(zhǔn)化的矢量指令，這些指令對于處理深度學(xué)習(xí)和推理技術(shù)相當(dāng)有效。

另一個類似且重要的趨勢是大數(shù)據(jù)端和云端上數(shù)據(jù)的移動及訪問方式（圖2）。傳統(tǒng)的計算機體系結(jié)構(gòu)（圖2a）采用慢速外圍總線，該總線連接到許多其他設(shè)備（例如，專用機器學(xué)習(xí)加速器、圖形卡、高速固態(tài)硬盤、智能網(wǎng)絡(luò)控制器，等等）。低速總線會影響設(shè)備的利用率，因為它限制了總線本身、主CPU以及主要的潛在持久內(nèi)存之間的通信能力。這些新型計算設(shè)備也不可能在它們之間或與主CPU共享內(nèi)存，從而導(dǎo)致在慢速總線上進行徒勞且受限制的數(shù)據(jù)移動。

關(guān)于如何改善不同計算設(shè)備（例如CPU和計算機及網(wǎng)絡(luò)加速器）之間的數(shù)據(jù)移動，以及如何在內(nèi)存或快速存儲中訪問數(shù)據(jù)，出現(xiàn)了幾個重要的行業(yè)趨勢。這些新趨勢集中在開放標(biāo)準(zhǔn)化工作上，能夠提供更快、更低延遲的串行結(jié)構(gòu)以及更智能的邏輯協(xié)議，從而實現(xiàn)對共享內(nèi)存的一致訪問。

新一代以數(shù)據(jù)為中心的計算

未來的架構(gòu)將需要部署開放接口，以連接到持久性內(nèi)存以及接入計算加速器并支持高速緩存一致性的快速總線（例如TileLink、RapidIO?、OpenCAPI?和Gen-Z），以期大幅度提高性能，而且使所有設(shè)備共享內(nèi)存并減少不必要的數(shù)據(jù)移動。

圖2：計算體系結(jié)構(gòu)中的數(shù)據(jù)移動和訪問

在圖2a中，傳統(tǒng)的計算體系結(jié)構(gòu)由于把一條慢速外設(shè)總線用于快速存儲器及計算加速設(shè)備，其能力已達到其極限。在圖2b中，未來的計算體系結(jié)構(gòu)采用了開放接口，能夠為平臺上所有的計算資源提供統(tǒng)一并支持高速緩存一致性的訪問方式來訪問共享持久內(nèi)存，（這稱為以數(shù)據(jù)為中心的體系結(jié)構(gòu)）。在圖2c中，所部署的設(shè)備能夠使用相同的共享內(nèi)存，從而減少了不必要的數(shù)據(jù)復(fù)制。

CPU 外圍核心及網(wǎng)絡(luò)接口控制器的作用將成為支持數(shù)據(jù)移動的關(guān)鍵因素。CPU外圍核心組件必須支持密鑰內(nèi)存和永久內(nèi)存接口（例如NVDIMM-P），也必須支持駐留在CPU附近的內(nèi)存。還需要實施面向計算加速器、智能網(wǎng)絡(luò)和遠程持久內(nèi)存的智能快速總線。這種總線上的任何設(shè)備（例如CPU、通用或?qū)Ｓ糜嬎慵铀倨?、網(wǎng)絡(luò)適配器、存儲器或內(nèi)存）都可以包含其自己的計算資源并具有訪問共享內(nèi)存的能力（圖2b和圖2c）。

RISC-V技術(shù)正是優(yōu)化數(shù)據(jù)移動的關(guān)鍵推動因素，因為它能夠在所有的計算加速器設(shè)備上針對新的機器學(xué)習(xí)工作負載來執(zhí)行矢量指令。它實現(xiàn)了多種開源CPU技術(shù)，能夠支持開放內(nèi)存和智能總線接口；且實現(xiàn)了以數(shù)據(jù)為中心具有一致性共享內(nèi)存的體系結(jié)構(gòu)。

利用RISC-V解決挑戰(zhàn)

大數(shù)據(jù)和快速數(shù)據(jù)為未來的數(shù)據(jù)移動帶來了挑戰(zhàn)，也為RISC-V指令集架構(gòu)（ISA）鋪平了道路。這種架構(gòu)開放的、模塊化的方法非常適合用作以數(shù)據(jù)為中心的計算體系結(jié)構(gòu)的基礎(chǔ)。它提供了以下功能：

· 擴展邊緣計算設(shè)備的計算資源

· 添加新的指令，例如用于機器學(xué)習(xí)工作負載的矢量指令

· 尋找非常接近于存儲器和內(nèi)存介質(zhì)的小型計算內(nèi)核

· 支持新型計算范式以及模塊化芯片設(shè)計方法

· 支持新型以數(shù)據(jù)為中心的體系結(jié)構(gòu)，其中所有的處理單元都可以透過一致的方式訪問共享的持久內(nèi)存，從而優(yōu)化數(shù)據(jù)移動

RISC-V由超過100個組織機構(gòu)的眾多成員共同開發(fā)，這其中包含一個由軟件和硬件創(chuàng)新者組成的協(xié)作性社區(qū)。這些創(chuàng)新者能夠?qū)SA進行改編，使其適應(yīng)特定的目的或項目。任何加入該組織的人都可以根據(jù)一份“Berkeley Software Distribution”（BSD軟件發(fā)布）許可證來設(shè)計、制造和/或銷售RISC-V芯片和軟件。

結(jié)語

為了實現(xiàn)其價值和可能性，數(shù)據(jù)需要捕獲、保存、訪問并轉(zhuǎn)換，以發(fā)揮其全部潛力。含有大數(shù)據(jù)和快速數(shù)據(jù)應(yīng)用的環(huán)境已經(jīng)使通用計算體系結(jié)構(gòu)的處理能力相形見絀。未來以數(shù)據(jù)為中心的極端應(yīng)用將需要針對特定用途設(shè)計的處理能力，以便以開放的方式支持數(shù)據(jù)資源的獨立擴展。

擁有一套以在持久內(nèi)存中存儲的數(shù)據(jù)為中心的通用開放計算機體系結(jié)構(gòu)，同時又能夠讓所有的設(shè)備發(fā)揮一定的計算作用，這是由新類型機器學(xué)習(xí)計算工作負載所推動的這些新型可擴展體系結(jié)構(gòu)得以出現(xiàn)的關(guān)鍵因素?？缭皆贫思斑吘壴O(shè)備各個部分的下一代應(yīng)用都需要這種新型的低能耗處理方式，因為專門的計算加速處理器將能夠?qū)Ｗ⒂谔幚砥涫诌叺娜蝿?wù)，從而能夠減少來回移動數(shù)據(jù)所浪費的時間，或者能夠執(zhí)行與數(shù)據(jù)無關(guān)的額外計算。通過發(fā)揮數(shù)據(jù)的力量、潛力和可能性，人類、社會以及我們的星球都能夠蓬勃發(fā)展。