《安創(chuàng)“芯”視野》第31期，邀請到Xilinx軟件和AI解決方案市場部高級經(jīng)理劉珊珊，她圍繞賽靈思最新推出的邊緣側(cè)智能視覺加速系統(tǒng)模塊及統(tǒng)一的Vitis軟件工具開發(fā)流程，為大家介紹如何快速打造低時延、低功耗、高吞吐的端到端智能視覺解決方案。

（以下是分享內(nèi)容整理）

大家好，我是來自賽靈思軟件AI解決方案市場部的劉姍姍，今天分享的主題是“自適應(yīng)計算助力智能安防快速升級”，主要包括以下四個部分：

自適應(yīng)計算改變世界

近年，隨著自動駕駛和5G的興起，以及云計算和互聯(lián)網(wǎng)的發(fā)展，我們看到應(yīng)用市場正在經(jīng)歷著前所未有的需求變化。隨之而來也給前端的研發(fā)和產(chǎn)品設(shè)計工程師帶來了諸多問題，比如不斷演進的AI算法和模型、持續(xù)增長的安全和保密需求以及不斷增加的傳感器類型和傳感器接口等等。就目前來看，這些需求引領(lǐng)的創(chuàng)新周期已經(jīng)遠遠超過了一個芯片設(shè)計的周期。為了應(yīng)對這樣的變化，賽靈思根據(jù)實際情況，將產(chǎn)品的適應(yīng)性和靈活性作為主要發(fā)力點，也因此受到了越來越多人的關(guān)注。

以往在談及FPGA的時候，大家可能還非常地陌生；但是近幾年，隨著AI和大數(shù)據(jù)技術(shù)以及它們相關(guān)應(yīng)用的蓬勃發(fā)展，我們再次提到FPGA的時候，相信很多人已經(jīng)有了一個粗淺概念。雖然在真正的工作中大家不一定會接觸并用到它，但是在特定領(lǐng)域進行數(shù)據(jù)處理時，它將是一個非常重要的芯片，因為FPGA帶來的正是這種強大的應(yīng)對變化的能力。與此對應(yīng)地，賽靈思的企業(yè)愿景也正是致力于打造靈活應(yīng)變、萬物智能的世界。因此，我首先與大家分享的是賽靈思如何通過賦能創(chuàng)新來幫助人們實現(xiàn)健康守護、實現(xiàn)高品質(zhì)的生活和探索宇宙的夢想。

在當下席卷全球的新冠疫情中，賽靈思始終優(yōu)先來支持全球客戶進行醫(yī)療設(shè)備的研發(fā)和生產(chǎn)。早在2020年1月，在武漢疫情最為嚴重的時期，賽靈思就開始支持邁瑞來開展病患智能轉(zhuǎn)運監(jiān)護儀的大規(guī)模生產(chǎn)。在整個過程中，賽靈思投入了大量的物流和技術(shù)支持來幫助儀器的研發(fā)和投產(chǎn)，為醫(yī)護人員提供了更便捷、更高效的監(jiān)護設(shè)備，也為病患提供了生命保障。在醫(yī)療領(lǐng)域，很多耳熟能詳?shù)钠髽I(yè)包括外資的GE、飛利浦、西門子以及國內(nèi)的邁瑞、開立，聯(lián)影等企業(yè)都是賽靈思的客戶。

在汽車領(lǐng)域，賽靈思正在幫助全球很多合作伙伴不斷地提高多傳感器的數(shù)據(jù)處理能力，從而改善車輛的感知，提高車輛在道路行駛中的快速決策能力。截止到目前，賽靈思在全球汽車市場累計出貨量已經(jīng)達到了2億顆芯片，其中1/3用于自動駕駛相關(guān)場景。從去年7月開始，國際社會掀起了新一輪星際探測熱潮。中國、美國、阿聯(lián)酋都分別向火星發(fā)射了太空探測器。而賽靈思也在其中發(fā)揮了非常重要的作用——它為毅力號火星車提供了核心的器件。毅力號火星車在火星表面的著陸導(dǎo)航、自動駕駛以及相關(guān)的加速成像和掃描等任務(wù)，都是通過賽靈思的一些航空航天器件來實現(xiàn)的。

因為獨特的靈活性和適應(yīng)性使得賽靈思能夠服務(wù)來自全球60多個國家，超過60000+客戶來進行云端到邊緣側(cè)的應(yīng)用部署。除了剛剛介紹的航空航天、汽車和醫(yī)療方面之外，賽靈思也賦能了其它領(lǐng)域。比如，在音視頻廣播方向，我們會去做一些與視頻編解碼以及信號質(zhì)量增強相關(guān)的任務(wù)；我們在存儲和網(wǎng)絡(luò)加速方面也有著非常優(yōu)異的表現(xiàn)，因為現(xiàn)在數(shù)據(jù)中心里大量的異構(gòu)計算高性能平臺都離不開FPGA；在工業(yè)和視覺方向，原來FPGA主要做一些工業(yè)控制，但現(xiàn)在已經(jīng)融入到機器視覺與機器人的相關(guān)應(yīng)用中去；通信領(lǐng)域，不管是在有線還是無線場景里，我們都會用到FPGA來做一些與信號處理和協(xié)議棧處理的相關(guān)任務(wù)。

為了更好地向我們的用戶提供自適應(yīng)提升的能力，賽靈思這些年里一直在不斷地加速轉(zhuǎn)型。從1985年我們發(fā)明了FPGA開始，賽靈思不斷延續(xù)FPGA的核心價值，把它打造成了可以滿足各種應(yīng)用需求的片上系統(tǒng)。比如隨著28納米和16納米制程的演進，我們不斷推出了MPSoC、RFSoC，以及最新的7納米制程上的ACAP平臺。通過不斷努力，賽靈思研發(fā)出了更易于軟件編程的體系結(jié)構(gòu)，同時也為客戶提供了一些更為廣泛的部署方式。在傳統(tǒng)場景里，客戶采用賽靈思器件時都是把芯片集成到自己的系統(tǒng)里去。而從18年開始，我們不斷推出了像Alveo或是Kria SOM這種即插即用的加速卡和系統(tǒng)級模組，使得大家能夠直接從系統(tǒng)級開發(fā)去做相關(guān)應(yīng)用。此外，我們很多合作伙伴如阿里巴巴、AWS、Nimbix等云服務(wù)商會把FPGA作為一個云端服務(wù)提供給大家，即FaaS這樣的服務(wù)，從而使得更多的客戶能夠更輕松地訪問到這些靈活易用的資源。

在AI領(lǐng)域，賽靈思自適應(yīng)計算平臺所具有的domain specific architecture（特定領(lǐng)域架構(gòu)）可以滿足AI創(chuàng)新在速度方面的要求。目前，很多AI最新的神經(jīng)網(wǎng)絡(luò)正在日益涌現(xiàn)，那么，怎么樣能夠讓硬件處理平臺有效地加速最新的神經(jīng)網(wǎng)絡(luò)成為了一個很大的挑戰(zhàn)。賽靈思的MPSoC平臺可以妥善解決上述問題，它最大的優(yōu)勢是具備整體應(yīng)用的協(xié)同優(yōu)化能力。很多前端研發(fā)人員以及產(chǎn)品開發(fā)人員在實際應(yīng)用中都非常清楚地了解，在一個真實的智能器件或是解決方案里，我們除了需要做AI推理的任務(wù)外，還有大量的前處理和后處理工作，其中又包含了大量的數(shù)據(jù)交互和計算工作。如果通過板級的交互來進行數(shù)據(jù)和數(shù)據(jù)之間的互通，這很容易導(dǎo)致一些系統(tǒng)級的性能瓶頸。因此，賽靈思把這些關(guān)鍵功能進行硬件底層的優(yōu)化加速，再把它緊緊耦合在一個單芯片的方案中。這不僅能夠極大地提升整個系統(tǒng)的工作效率，并且降低了端到端的時延和整體的系統(tǒng)功耗。

智能安防解決方案關(guān)鍵能力及案例

根據(jù)自己的理解，我將廣泛的智能安防場景分為三類：第一個類是我們在城市里能夠見到的與安防相關(guān)的一些解決方案或系統(tǒng)，比如我們非常熟悉的面向公安、交通、消防以及其它的政府應(yīng)急指揮部門為公共服務(wù)而建設(shè)的監(jiān)控系統(tǒng)。我們可以看到，所有的這種系統(tǒng)都有自己相互獨立的一套基礎(chǔ)設(shè)施和網(wǎng)絡(luò)，以保證它們在一些非常關(guān)鍵的時間對關(guān)鍵信息的調(diào)用和留存。比如，我們在道路上經(jīng)常見到的燈桿上的一排攝像頭就可能歸屬于不同的公共體系；樓宇和園區(qū)這類公共場所也有與人員和場所運營服務(wù)相關(guān)的一些智能化系統(tǒng)。而這些系統(tǒng)里其實都分布著大量的攝像頭。其中，有的是傳統(tǒng)的模擬攝像頭，部署得比較早，數(shù)量比較多；有的是數(shù)字攝像頭；有的則是近幾年最新建設(shè)的具有一些智能功能的智能攝像頭。而所有的攝像頭在這樣的安防系統(tǒng)里都充當著一個信息采集員的角色。但是，如果所有的采集員都將本地采集到的信息上傳到云端或是存儲端，就會帶來非常大的數(shù)據(jù)傳輸壓力和存儲壓力。所以我們現(xiàn)在廣為采用的解決方案是先在前端把信息進行預(yù)處理，再把提取到的關(guān)鍵信息比如一些結(jié)構(gòu)化數(shù)據(jù)傳輸?shù)皆贫?，最后進行存儲或是分析、決策等等，以支持智慧城市這樣一個非常大的體系的正常運轉(zhuǎn)。因此，我們在邊緣側(cè)就需要引入大量的智能處理能力。

而在行業(yè)級場景里，我們關(guān)注更多的是電力、能源，礦產(chǎn)這些相關(guān)行業(yè)。這些行業(yè)更加注重安防，因為這些行業(yè)場景里普遍存在著危險因素，而且這些場景里的工作環(huán)境可能也比較惡劣，因此，對于我們解決方案的要求級別也非常高。比如，油井礦井生產(chǎn)系統(tǒng)的監(jiān)控光線和本身的工作環(huán)境都很差；一些電網(wǎng)自動巡檢系統(tǒng)可能對我們的安防解決方案也有一些差異化的要求。

最后是消費級場景。目前應(yīng)用最多的場景是人臉等生物特征識別的門鎖，其次是一些用來防范異常入侵和監(jiān)控老人小孩行為的小型家用攝像頭，以及家里水煤電氣的異常情況告警系統(tǒng)。

智能視覺方案常見處理流程

我們不難發(fā)現(xiàn)，無論是汽車的前視攝像頭還是安防的IP camera，甚至是特殊場景里特殊用途定制的智能攝像頭，它的基本處理流程都是相似的。首先，要有前端的圖像獲取模塊，以及對圖像進行處理的模塊，比如前處理和后處理；接下來會進入到與AI相關(guān)的推理模塊，比如做一些檢測、分類、分割等等，也會基于AI檢測的結(jié)果去做相應(yīng)的決策；同時，基于我們方案的需求，對它進行顯示或者編碼傳輸。這種流程其實是我們現(xiàn)在在主流的視覺方案里比較常見的一種流程。

基于上述流程，賽靈思為這類應(yīng)用提供了一個全流程的應(yīng)用加速庫。比如，在視頻獲取、后處理以及顯示環(huán)節(jié)，我們的加速庫提供了豐富的接口IP，包括了大家常見的MIPI、HDMI、USB、SDI、DP等接口。這些非常豐富的接口IP庫能夠支持設(shè)備之間的互聯(lián)互通。同時，我們也給大家提供了視頻相關(guān)的編解碼處理能力，并且，在視頻的后處理和顯示方面也提供了VCU，實現(xiàn)視頻流的編解碼功能。

了解了視頻圖像的獲取以及后處理環(huán)節(jié)之后，我們來看看它的一些核心功能。一部分核心功能其實就是與視覺相關(guān)的library，就是我們剛剛略過的視頻前處理和后處理里的內(nèi)容。為什么要略過呢？因為我后面會做更詳細的深入分析，現(xiàn)在我們先把它放一下。除此之外，另外一個重要的功能是用來做AI加速的一個DPU的核。這個DPU叫做deep learning process unit，是我們專門為大量的卷積網(wǎng)絡(luò)運算提供的一個從底層硬件層面做好并加速的IP核。我們在這個核里已經(jīng)對現(xiàn)在主流的一些神經(jīng)網(wǎng)絡(luò)框架比如Caffe、TensorFlow、PyTorch等都做好了底層的優(yōu)化。我們大概有100多個優(yōu)化好的網(wǎng)絡(luò)正在GitHub上做開源，大家可以結(jié)合自己應(yīng)用需求，對它進行重訓(xùn)和部署。在這里，我們也針對不同資源的器件給大家提供了8個不同大小型號的IP核——從512的到4096的，就是我們能夠用到的在FPGA上的邏輯資源。大小不一樣，提供的IP核也不一樣。綜上所述，我們做AI加速的核心之一就是DPU的這樣的一個加速IP。

下面來看圖像處理環(huán)節(jié)，因為這個環(huán)節(jié)往往更能體現(xiàn)FPGA的靈活性和方案的差異性。首先，我們來看前處理。前處理主要包含兩大塊任務(wù)：一個是ISP，一個是與AI相關(guān)的一些任務(wù)的前處理。我們先來看ISP環(huán)節(jié)。前端的sensor會將光信號變?yōu)殡娦盘?，這時我們會得到一種貝爾模式的數(shù)據(jù)，然后，我們需要把這個數(shù)據(jù)重建為肉眼可見的RGB格式圖像，并且對這個圖像進行一系列的處理，以得到能夠滿足應(yīng)用要求的一個圖像。我們熟知的比如華為海思、RK、安霸等企業(yè)的安防解決方案里主要采用的SoC，通常是已經(jīng)具備了一些標準的ISP功能，比如把貝爾格式變成RGB格式、做降噪、做自動曝光、做白平衡、做聚焦、以及做色彩校正等等。但是，需要強調(diào)的是一些特定的需求。比如，當我們需要做黑光相機或者高速相機等這類在特定場景里有特定用途的差異化非常大、要求非常高的相機的時候，我們對ISP就會有更高的要求，就需要有更靈活的架構(gòu)來對ISP進行定制。

在機器學(xué)習(xí)模型訓(xùn)練過程中，我們對于輸入數(shù)據(jù)會做一些特別的定義，比如說數(shù)據(jù)格式是什么樣的，RGB還是YUV？它的分辨率是怎么樣的？它的比特位寬是什么樣的？同時還有一些做正則化的要求。對于這些任務(wù)，賽靈思提供了經(jīng)過底層硬件層面加速的庫來滿足大家的個性化需求。在后處理環(huán)節(jié)，我們剛剛著重介紹了我們是采用DPU的IP核來做神經(jīng)網(wǎng)絡(luò)加速的，但是實際上在真實的任務(wù)中，除了用到這種神經(jīng)網(wǎng)絡(luò)加速之外，我們還會用到比如3D視覺、虛擬增強現(xiàn)實、路徑規(guī)劃、行為估計以及環(huán)視攝像頭的拼接和處理等等的一些計算機視覺方案。在這些方案里，大家用到的不僅僅是這種卷積加速還有其它的一些運算方式，所以，我們往往會采用AI和CV混合的方案來解決實際的問題?？偟膩碚f，針對這樣的需求，除了DPU的能力之外，我們同樣提供了一個經(jīng)過硬件加速的CV Library來實現(xiàn)差異化的方案。這也是我們與傳統(tǒng)安防芯片功能不一樣的地方。

這是一款基于賽靈思MPSoC平臺開發(fā)的智能相機。它采用了ZU4芯片。大家可以看到，這個方案具有非常豐富的物理接口以及非常強大的圖像處理能力和AI能力。典型的接口就是我們所熟知的Mini DP、USB等接口。其中還提供了各種內(nèi)存方案，比如eMMC、DDR，內(nèi)置了一個視頻編解碼的內(nèi)核，可以實現(xiàn)4K60幀的實時編解碼能力。這款相機前面的感光和ISP是由我們的合作伙伴安森美開發(fā)的。整體來看，這款智能相機支持120幀的高清成像。從這個智能相機智能的角度來講，它具有超低延遲的特性。其實這個方案在FPGA內(nèi)是用了我們硬化的視頻編解碼的一個內(nèi)核去做的圖像編碼，所以，它在編碼的同時在并行做著一個任務(wù)。是什么呢？就是一些與AI相關(guān)的處理流程，包括MIPI接口進來后的協(xié)議處理、resize前處理、目標detection、結(jié)果輸出。在整個過程中，因為AI和視頻編碼是并行發(fā)生的，所以在每一幀，從圖像獲取到編碼的整個流程需要70毫秒，但是我們的AI處理能力只用到40毫秒。所以，在這個方案里，我們整體的輸出并沒有因為做AI分析而被延長。我剛剛提到這款智能相機的解決方案是用了一顆ZU4的芯片，與之匹配的是我們B3136的一顆DPU的內(nèi)核。它可以做到的實時處理能力是200幀每秒，但是在前端很多應(yīng)用場景里我們其實用不到200幀，所以，我們就可以把它作為一個邊緣計算盒子來做多路視頻，比如可以做4路視頻的實時處理和分析。

Kria SOM智能視覺開發(fā)平臺介紹

這個SOM也是基于MPSoC架構(gòu)的，剛剛提到的案例采用的是ZU4芯片，而這個SOM采用的是ZU5芯片——它的資源更豐富些。首先來給大家解釋為什么我們要做這樣一款模組。雖然這些年來賽靈思一直致力于不斷研發(fā)最新的靈活應(yīng)變的硬件架構(gòu)來實現(xiàn)賦能創(chuàng)新，但是我們客戶在使用賽靈思器件的時候確實還是存在一些從底層向上開發(fā)的不便。以前，客戶們需要將芯片集成到自己的系統(tǒng)中。這其中包含了大量的系統(tǒng)集成工作，而且還要去設(shè)計板子和做代工，等把這個板子調(diào)好之后才能在上面做應(yīng)用開發(fā)。所以，為了把這個創(chuàng)新流程縮短，讓大家能夠采用相對標準化的平臺來把靈活應(yīng)變能力擴展到更廣泛的應(yīng)用里，我們一直在試圖尋找一種更為友好的部署方式。在18年，我們推出了一個在數(shù)據(jù)中心側(cè)可以即插即用的Alveo系列的加速卡。過去幾年里，我們的Alveo卡在金融、安全、高性能計算等等領(lǐng)域得到了非常好的應(yīng)用，并且發(fā)揮了非常重要的作用。于是，出于同樣的構(gòu)想，我們今年推出了一個在edge端也能夠即插即用的最小化的系統(tǒng)級模組，希望能夠在edge端支持更為廣泛的應(yīng)用需求，尤其是智能視覺方面的一些創(chuàng)新需求。

第二個原因是，賽靈思這些年在開發(fā)工具上也做了很多投入。為了讓我們的軟件和應(yīng)用開發(fā)人員能夠很容易地上手我們的自適應(yīng)計算平臺，而不用從最底層的RTL層面去做開發(fā)，我們推出了這款標準化的硬件平臺，希望大家可以在這個標準化硬件平臺上去做標準化的軟件設(shè)計流程以及各類已經(jīng)做好的加速應(yīng)用。當然，這也是一個開箱即用的平臺，成本非常低。能夠讓更多的人以非常低的成本在各類應(yīng)用里感受到FPGA的這種靈活架構(gòu)是極具優(yōu)越性的。與此同時，這個平臺也是一個異構(gòu)平臺。它里面有四核ARM A53的應(yīng)用處理器、兩核R5的實時處理器、Mali的GPU、256K的邏輯單元?；谏厦孢@些資源去與我們的DPU B3136的一顆內(nèi)核做匹配的話，它最大能夠?qū)崿F(xiàn)1.4 TOPS每秒的AI處理能力。這是什么概念呢？這表示我們對一些主流的神經(jīng)網(wǎng)絡(luò)模型進行相應(yīng)的優(yōu)化之后，基本上能夠做到實時或者準實時的處理能力。在接口層面，這塊核心板提供了雙排240-Pin Connector，大家可以在上面去做一些非常豐富的擴展。它最多可以支持15個camera，像常見接口的camera以及CMOS、CCD需求類型的camera都能支持。此外，它最高支持擴展到40G的Ethernet，也包括了多個USB接口以及具備4GB的DDR4 存儲能力?？梢哉f，我們所能想到的在邊緣側(cè)與AI推理相關(guān)的場景基本上都能夠滿足這樣的要求了。

這是一塊即插即用的系統(tǒng)級模組。我們?yōu)?a target="_blank">開發(fā)者提供的這個入門級開發(fā)套件可以讓沒有任何FPGA開發(fā)經(jīng)驗的開發(fā)者在一小時之內(nèi)快速上手，讓一些與AI、智能相機、AI box等相關(guān)的應(yīng)用跑起來。怎么做到的呢？通過我們與賽靈思官方以及第三方合作伙伴一起合作開發(fā)出了一些已經(jīng)做好加速的應(yīng)用：Accelerated Applications。這些應(yīng)用都被我們放在了賽靈思官方網(wǎng)站上的應(yīng)用商城里。應(yīng)用商城里有一個Kria SOM專區(qū)，大家可以在這里找到我們基于這一款標準化的硬件平臺打造的若干標準化的一些應(yīng)用，且這些應(yīng)用已經(jīng)經(jīng)過了加速優(yōu)化。另外，我們已經(jīng)通過overlay的方式把這些應(yīng)用進行了封裝，大家不需要在底層做任何的調(diào)試和部署，就可以直接把這個應(yīng)用丟進去，就會通過非常簡單的命令行代碼讓它跑起來。我們的這塊板子就變成了一個智能相機或者是一個AI box。

其實，現(xiàn)在賽靈思原廠已經(jīng)做好了像smart camera這種model，它可以支持多種接口的輸入，具備多種前后處理功能以及最核心的AI推理能力，最終來對這個攝像頭做顯示或傳輸。對于以上所有功能，我們已經(jīng)在里面都封裝好了，只需要命令行語言去對它進行調(diào)用即可。同時，這里面也帶有RelD功能的AI box和一些基于OpenCV的瑕疵檢測。我們的合作伙伴也對此做了非常多的貢獻。

其實，我們希望提供標準化的硬件和軟件開發(fā)流程，讓更多人能夠把很多廣泛應(yīng)用需求做出來并且貢獻出來。一方面，我們的客戶會根據(jù)自己的需求快速評估這樣的應(yīng)用和器件，可能在這上面還會去做一些進一步優(yōu)化的工作；另一方面，我們也希望極具創(chuàng)新能力的開發(fā)伙伴能夠通過我們的官方平臺把自己做得非常好的一些加速應(yīng)用進行對外發(fā)布和推廣。與此同時，我們也給大家提供了非常專業(yè)的數(shù)字版權(quán)證書的認證和保護服務(wù)。通過這項服務(wù)，我們既可以保證大家的知識產(chǎn)權(quán)，也可以幫助大家在這個過程中通過各種各樣的方式比如使用時長或是license等來幫助大家把自己做好且加速的應(yīng)用商業(yè)化。

為了這樣一個標準化的硬件平臺，我們推出了標準化的軟件開發(fā)流程。首先，作為一個邊緣側(cè)的智能視覺加速的平臺，它可以支持基于yocto的Petalinux也可以支持ubuntu，極大地滿足了嵌入式開發(fā)工程師的需求。同時，通過這個統(tǒng)一的開發(fā)工具和平臺，我們的VITIS及VITIS AI可以為不同類型的開發(fā)者提供最適合的開發(fā)工具以及開發(fā)流程。

對于AI開發(fā)者而言，他可以完全不去顧及AI開發(fā)之外的所有其它流程，只用VITIS AI來定制化自己的神經(jīng)網(wǎng)絡(luò)模型的加速即可。其中，DPU實現(xiàn)了我們所需要的大部分主流神經(jīng)網(wǎng)絡(luò)框架的底層加速，所以，開發(fā)者只需要根據(jù)自己客制化的AI模型和DPU進行相應(yīng)匹配，然后去做相應(yīng)的參數(shù)設(shè)置、型號匹配、模型優(yōu)化等流程，就可以得到一個能夠用于部署的網(wǎng)絡(luò)模型。因此，我們只需要去做神經(jīng)網(wǎng)絡(luò)相關(guān)的替換工作即可，這極大地降低了AI開發(fā)者使用MPSoC門檻。

對于軟件開發(fā)者而言，VITIS開放了大量的經(jīng)過優(yōu)化的軟件加速庫，軟件開發(fā)者只需要使用像C、C++、Open CL這種熟悉的開發(fā)語言以及開發(fā)環(huán)境來調(diào)用這些庫即可。除了DPU部分之外，我們就可以對它的前處理、后處理以及與它的視頻加速流水線相關(guān)的一些應(yīng)用做進一步的定制化加速，從而得到高性能低延遲的一個視頻流解決方案。

對于硬件開發(fā)者而言，不管是使用VITIS還是使用VIVADO開發(fā)工具都可以更充分地發(fā)揮出FPGA架構(gòu)的靈活性以及我們整個片上系統(tǒng)的完備性。我們可以基于RTL的設(shè)計有針對性地對應(yīng)用的全流程進行優(yōu)化。

賽靈思開發(fā)者計劃

賽靈思開發(fā)者計劃是一個面向全球硬件工程師、軟件工程師、算法工程師、系統(tǒng)工程師、學(xué)者、科研人員和學(xué)生推出的專項服務(wù)計劃。為了更好地完善賽靈思的生態(tài)，我們希望能夠引入一些最具突破性構(gòu)想的創(chuàng)新者和變革推動者，賦能他們更便捷、更高效、更全面的自適應(yīng)計算服務(wù)，從而加速創(chuàng)新的發(fā)生。為此，我們打通了賽靈思內(nèi)部和外部很多資源，為大家提供了包括課程學(xué)習(xí)、項目開發(fā)、交流分享等內(nèi)容的一個自循環(huán)的小生態(tài)體系。在這個體系里，大家可以通過更多的途徑得到一些官方技術(shù)文檔教程、參加免費培訓(xùn)、賽靈思的人才認證計劃等。在這個過程中，我們也通過給大家提供免費的license和免費的硬件來鼓勵大家去做開發(fā)嘗試；同時，也通過我們的月度項目以及自適應(yīng)計算挑戰(zhàn)賽來去激勵大家做更多的自適應(yīng)計算方面的項目開發(fā)嘗試。此外，我們也打造了豐富的線上線下活動與大家進行交流分享。線上，我們有社區(qū)、應(yīng)用商城、開發(fā)者網(wǎng)站，所以不管是在個人層面還是企業(yè)小型創(chuàng)業(yè)項目層面，我們都給大家提供了一個全方位交流分享的機會；同時，也為大家量身定制了很多線下專屬活動。

今天也借這個機會跟大家做一個小征集。一個是征集一些月度項目。如果大家有在賽靈思平臺上做出來的比較好的作品，我們希望能夠把這些作品征集過來，然后通過我們官方平臺進行展示；同時，也會通過我們的一些技術(shù)專家資源幫助大家進行進一步的優(yōu)化，并通過我們的市場資源把它推向市場。所以，我們希望大家把自己做好的這些作品，比如一個早期的小demo，發(fā)布到開源的平臺上去，然后把這個demo視頻傳到第三方網(wǎng)站比如B站、優(yōu)酷視頻等等網(wǎng)站上。之后，你只要把這兩個鏈接發(fā)給賽靈思開發(fā)者計劃的郵箱即可，我們就會和你在線下做進一步的溝通和交流。另外，我們希望征集更多的開發(fā)者計劃的志愿者幫助我們服務(wù)更廣泛的開發(fā)者群體。如果你是一個互聯(lián)網(wǎng)意見領(lǐng)袖，或者你在做自己的科技類自媒體，或者你是一個資深的FPGA發(fā)燒友，或者你是高校里科技相關(guān)社團的非?；钴S的小伙伴，我們非常歡迎你的加入。我們希望這樣的人能夠把自己周邊非常活躍的技術(shù)交流圈子介紹給我們，讓我們在其中投入相應(yīng)的市場資源，量身打造一些專屬活動，從而為更廣泛的開發(fā)者朋友們提供更好的服務(wù)。所以，關(guān)于以上兩點，大家有什么想法都可以聯(lián)系我們。

以上就是我今天分享的內(nèi)容。謝謝大家。
? ? ? 責任編輯:tzh