7月27日，英特爾在北京召開了主題為“智能端到端，英特爾變革物聯(lián)網(wǎng)”的視覺解決方案及策略發(fā)布會。在此次發(fā)布會上，英特爾面向中國市場推出了基于英特爾硬件平臺的專注于加速深度學習的OpenVINO工具包，可幫助企業(yè)在邊緣側快速實現(xiàn)高性能計算機視覺與深度學習的開發(fā)。

物聯(lián)網(wǎng)加速人工智能在邊緣計算中的應用

此前人工智能的很多運算處理都是發(fā)生在服務器、數(shù)據(jù)中心這樣的云端，因為只有在這樣的一個環(huán)境里面才能提供強大計算力和便利的支撐。但是，隨著物聯(lián)網(wǎng)時代的到來，將會有越來越多的設備和傳感器接入網(wǎng)絡，情況正在發(fā)生改變。

根據(jù)IDC預測，到2020年全球會有超過500億的智能設備，超過2120億個傳感器。這也意味著每天都將會產生海量的數(shù)據(jù)。

根據(jù)研究機構預測，隨著物聯(lián)網(wǎng)的快速發(fā)展，到2020年每個互聯(lián)網(wǎng)用戶每天將生成約1．5GB的數(shù)據(jù)，一個智能醫(yī)院每天將產生超過3000GB的數(shù)據(jù)；每臺自動駕駛汽車每天將生成超過4000 GB的數(shù)據(jù)；聯(lián)網(wǎng)飛機每天將產生超過40000GB數(shù)據(jù)；一個智慧工廠聯(lián)網(wǎng)，假如說有一千多臺設備，每臺設備上有很多個傳感器，時時刻刻都會產生數(shù)據(jù)，那么整個智慧工廠每天產生的數(shù)據(jù)量將是1PB。到2020年全世界每天產生的數(shù)據(jù)總量將是44ZB。（注：1ZB就是1000EB，1EB是1000PB、1個PB是1000TB，1TB是1000個GB。）

面對如此海量的數(shù)據(jù)，如果仍然只是依靠云端來做數(shù)據(jù)處理的化，這將對云端的計算力和網(wǎng)絡帶寬都帶來了極大的挑戰(zhàn)。雖然計算力和通信技術也在不斷發(fā)展，但是這個速度還是難以趕上數(shù)據(jù)增長的速度。所以，邊緣計算，即數(shù)據(jù)在終端側進行人工智能分析和處理早已是大勢所趨勢。

IDC預測，到2018年將有45％的物聯(lián)網(wǎng)數(shù)據(jù)需要在邊緣進行存儲處理和分析（足見物聯(lián)網(wǎng)對于在終端側部署人工智能需求的增長之快），有50％的物聯(lián)網(wǎng)的網(wǎng)絡會面臨帶寬的問題。正是由于物聯(lián)網(wǎng)所帶來的海量數(shù)據(jù)的增長以及對于帶寬的極大挑戰(zhàn)，在終端側部署人工智能已經變得非常必要。

而且，在終端側部署人工智能，還有著數(shù)據(jù)處理的實時性更高、低延時，更低的帶寬需求的優(yōu)勢。比如在自動駕駛領域，對應這方面的要求就非常的高。

另外，在終端側部署人工智能也有利于數(shù)據(jù)隱私的保護。因為很多用戶是不希望把數(shù)據(jù)上傳到云端的，希望這些數(shù)據(jù)在本地進行處理，本地處理完以后，上傳的是一些是經過處理完以后的特殊的數(shù)據(jù)，對隱私保護相對比較高的場景，也需要一些數(shù)據(jù)放在邊緣進行處理。

可以說，隨著物聯(lián)網(wǎng)的發(fā)展，正在加速人工智能在邊緣計算中的應用，但是這并不意味著云端人工智能就不需要了、就會走向消亡。云端人工智能它能夠把數(shù)據(jù)源進行匯總，它能夠做一些更綜合的應用。如果要給用戶提供一個完整的人工智能服務和解決方案，一定是一種邊緣與云端協(xié)同的端到端的人工智能解決方案。

目前，包括英特爾在內的一些廠商都能夠提供端到端的架構了，所以現(xiàn)在“分布式計算”的概念已經是一個比較成熟的概念。也就是說，做云端解決方案的人需要把它的架構切到邊緣來，幫助解決邊緣的問題。

在英特爾看來，“視頻（攝像頭）是物聯(lián)網(wǎng)的終極傳感器”。確實，在邊緣側，視頻所帶來的信息流是最為龐大的。值得注意的是，2016年－2012年網(wǎng)絡視頻監(jiān)控流量增長了700％。也就是說，在物聯(lián)網(wǎng)時代，視頻將是人工智能應用爆發(fā)的一個關鍵點。因此，視頻監(jiān)控領域也成為了英特爾端到端人工智能方案的切入重點。

英特爾的全棧式AI硬件解決方案

對于英特爾來說，在云端的服務器及數(shù)據(jù)中心市場，英特爾是絕對的老大，市場占有率超過9成。針對這塊市場，英特爾擁有Xeon處理器與Xeon Phi處理器，以及能支持各種對特定運行負載進行最佳化的加速器，包括現(xiàn)場可編程化邏輯閘陣列（FPGA），以及Nervana。

相對來說，CPU并不適合用來做人工智能運算，不過英特爾依然能夠通過集成的GPU，再結合FPGA來實現(xiàn)云端的人工智能運算加速。更何況，英特爾2016年還以4億美元的高價收購了機器學習初創(chuàng)公司Nervana，將推出一款專為深度學習而打造的神經網(wǎng)絡處理器。

在終端側，英特爾除了可以利用其現(xiàn)有的針對終端的CPU、集顯、FPGA產品之外，2016年9月，英特爾收購了計算機視覺芯片公司Movidius，開始加碼終端側的人工智能布局。Movidius的Myriad 系列 VPU目前有被大疆Spark無人機、谷歌Clips相機等知名廠商的產品采用。去年，英特爾還推出了針對終端設備進行人工智能加速的Movidius神經計算棒。

▲英特爾副總裁兼物聯(lián)網(wǎng)事業(yè)部中國區(qū)總經理陳偉博士

“我們英特爾有自己的CPU，有自己集顯GPU，在加上我們的Movidius、Nervana這些加速技術，還有FPGA，至少從硬件的角度來講，我們是可以根據(jù)應用去勾勒出一個功耗、成本最優(yōu)化的端到端的全棧式解決方案，這是我們的一個起點。”英特爾副總裁兼物聯(lián)網(wǎng)事業(yè)部中國區(qū)總經理陳偉博士表示：“要獲得好的人工智能體驗，就需要有多元的、高質量的硬件平臺，但是，將這些硬件直接應用到人工智能應用上，還有很多的壁壘。主要的壁壘是怎么樣能夠深度的挖掘和充分的運用硬件的能力。”

我們都知道，同樣一種人工智能算法，應用到不同的硬件平臺上，所得到的效果差異會非常的大。因為一種算法通過是根據(jù)某個硬件平臺來優(yōu)化的。

由于不同的網(wǎng)元所能提供的計算量是不一樣的，它能夠支撐的操作系統(tǒng)也各不相同的，因此有各自適用的不同的芯片架構。而不同的芯片往往有各自不同的開發(fā)方法，這樣對開發(fā)者而言就帶來一定的困擾，也就是說如果我們?yōu)槟骋环N芯片所開發(fā)的軟件換了一個架構以后，它可能是不適用的，這樣無形中就增加了開發(fā)的門檻。

那么如何讓終端廠商能夠輕松的采用同樣一套AI算法，輕松實現(xiàn)從云端到終端側的跨平臺部署，并發(fā)揮出各個硬件平臺的能力呢？對此英特爾推出了全新的視覺推理和神經網(wǎng)絡優(yōu)化工具套件OpenVINO。

強大的OpenVINO工具包

OpenVINO是英特爾基于自身現(xiàn)有的硬件平臺開發(fā)的一種可以加快高性能計算機視覺和深度學習視覺應用開發(fā)速度工具套件，支持各種英特爾平臺的硬件加速器上進行深度學習，并且允許直接異構執(zhí)行。

具體來看，OpenVINO包括英特爾深度學習部署工具包，具有模型優(yōu)化器和推理引擎，以及面向OpenCV和OpenVx的優(yōu)化的傳統(tǒng)計算機視覺庫。OpenVINO工具包可通過基于英特爾架構的處理器（CPU）及核顯（Integrated GPU）和深度學習加速器（FPGA、Movidius VPU）的深度學習加速芯片，增強視覺系統(tǒng)功能和性能。

▲英特爾中國區(qū)物聯(lián)網(wǎng)事業(yè)部首席技術官兼首席工程師張宇博士

“在計算機視覺領域，業(yè)界有兩類方法被廣泛的使用。一類是深度學習的方法（主要做物體檢測、目標識別），另外一類是傳統(tǒng)的計算機視覺的方法（比如做光流的計算或者圖像的增強），這兩類方法實際上都有在被使用。在OpenVINO里面，我們對這兩類方法都有很好的支持（針對后一種，英特爾在OpenVINO中集成了媒體軟件開發(fā)套件Media SDK，可幫助開發(fā)者調用英特爾CPU里面集成GPU資源來實現(xiàn)視頻的編碼、解碼以及轉碼的操作）。OpenVINO包含一個深度學習的部署工具套件，這個工具套件可以幫助開發(fā)者，把已經訓練好的網(wǎng)絡模型部署到目標平臺之上進行推理操作，所以OpenVINO是幫助大家做推理的，而不是幫助大家做訓練的。我們是幫助大家把這些訓練的結果更好的、更快的能夠部署到英特爾的目標平臺上做推理操作?！庇⑻貭栔袊鴧^(qū)物聯(lián)網(wǎng)事業(yè)部首席技術官兼首席工程師張宇博士解釋到。

目前比較流行的深度學習的框架主要有Caffe、Tensor Flow、MxNet，英特爾在設計OpenVINO的時候考慮到了目前開發(fā)者的習慣，所以模型優(yōu)化器通過配置以后可以把這三個主要的開發(fā)框架上所開發(fā)的網(wǎng)絡能夠導入到英特爾的平臺上，而且導入的過程中，英特爾會根據(jù)目標平臺的特性做一定的優(yōu)化，把這些優(yōu)化的結果轉換成中間表述文件——IR文件。這個文件里會包含優(yōu)化以后的網(wǎng)絡拓撲結構，以及優(yōu)化之后的模型參數(shù)和模型變量。這個IR文件后面會被推理引擎進行讀取，推理引擎會根據(jù)開發(fā)者所選用的目標平臺去選用相應的硬件插件。目前，OpenVINO可支持英特爾的CPU的插件、GPU插件、FPGA的插件以及Myriad VPU的插件。

大家應該都知道，如果在一個針對數(shù)據(jù)中心的通用處理器上做的訓練，它所產生的訓練模型，如果把它部署在前端的一個嵌入式的推理平臺之上，它將會可能無法工作或者效果大打折扣，因為不同的推理平臺數(shù)據(jù)的精度不同，所支持的操作系統(tǒng)也不同，能夠提供的內存的容量和計算性能也是不同的。因此，在應用到前端之前需要對之前的模型進行一定的優(yōu)化。

據(jù)介紹，例如自動剔除Dropout層（主要用于訓練），對一些激活函數(shù)的優(yōu)化等都可以OpenVINO的模型優(yōu)化器來實現(xiàn)。目前英特爾已經驗證了超過150個在Caffe、MxNet和Tensor Flow上所設計的模型。

在推理引擎方面，OpenVINO的推理引擎實際上是一套C＋＋函數(shù)庫以及C＋＋的類，這樣一個推理引擎，實現(xiàn)的是對輸入數(shù)據(jù)的處理，并得到最終的結果，推理引擎是經過簡單、統(tǒng)一的API接口，來支持所有的英特爾架構，實現(xiàn)深度學習推理所需要的操作。這些操作包括對數(shù)據(jù)的讀取、對輸入輸出數(shù)據(jù)格式的定義以及調用相應的硬件的插件，把這些中間的數(shù)據(jù)文件下載到你最終的執(zhí)行平臺之上，這是推理引擎要做的工作。

另外，OpenVINO這個工具套件訪問實際上是分層的，不同的開發(fā)者可以根據(jù)自己的使用的要求以及開發(fā)的能力去選擇不同的API接口進行調用OpenVINO。比如，對于一個新手，只是有一個好的想法，但沒有相應的算法或者也不了解深度學習到底如何在硬件上進行實現(xiàn)的話，也可以通過OpenVINO里包含的很多應用的示例來進行學習實現(xiàn)。如果開發(fā)者是能力極強的“超級用戶”，OpenVINO也可以提供直接調用硬件底層的接口實現(xiàn)對硬件直接的訪問能力。

總結一下英特爾的OpenVINO？工具套件能帶來的一些優(yōu)勢：首先是性能方面的提升，因為通過OpenVINO，大家可以方便的使用英特爾的各種硬件的加速資源，包括CPU、GPU、VPU、FPGA，這些資源能夠幫助大家提升深度學習的算法在做推理的時候的性能，而且這些執(zhí)行的過程中是支持異構處理和異步執(zhí)行的，這樣的話能夠減少由于系統(tǒng)資源等待所占用的時間。另外，OpenVINO使用了經過優(yōu)化以后的OpenCV和OpenVX，同時提供了很多應用示例，可以縮短開發(fā)時間。這些庫都支持異構的執(zhí)行，所以大家如果編程的話，編寫一次，以后就可以通過異構的接口支撐跑在其他的硬件平臺之上。

另外在深度學習方面，OpenVINO帶有模型優(yōu)化器、推理引擎以及超過20個預先訓練的模型，大家可以利用給大家提供的這些工具，快速的實現(xiàn)自己基于深度學習的應用，而且OpenVINO？使用了OpenCV、OpeenVX的基礎庫，大家可以利用這些基礎庫去開發(fā)自己特定的算法，實現(xiàn)自己的定制和創(chuàng)新。

根據(jù)英特爾公布的數(shù)據(jù)顯示，通過OpenVINO的提升，如果在英特爾的酷睿i77800X這個處理器平臺上去跑Google Nex這樣的一些開放網(wǎng)絡，它的相應的性價比是目前市面上解決方案（NVIDIA Tesla P4）的兩倍以上。如果選用英特爾的FPGA的產品Altera 10 1150KLE PCIe卡，它的推理性能／功耗／成本比值的綜合考量的因素性能大概能達到NVIDIA Tesla P4的1．4倍以上。如果是基于Movidius平臺的Myriad 2 VPU，其經過優(yōu)化的性能／功耗／成本的比值相比NVIDIA Tegra TX2 Jetson模塊將提升5倍以上，所以我們從中可以看到，使用OpenVINO在英特爾硬件平臺上所帶來的提升還是非常明顯的。

客戶怎么看？

現(xiàn)在圖象處理的算法實際上是非常多樣化的，圖象處理除了人臉識別以外，還有車輛分析、結構化分析、行為分析等等，比如智能安防領域里基本上已經很難有一個場景說只需要一種算法，絕大部分都是要多種算法融合。所以，異構計算應該是一個趨勢。

作為英特爾的合作伙伴代表，宇視研發(fā)副總裁兼AI產品線總監(jiān)湯立波表示：“OpenVINO有幾個非常重要的價值，第一個就是可以通過一次訓練來滿足不同的硬件平臺。在我們這個行業(yè)，所有的產品在不同位置、不同場景的產品，對芯片的要求是不一樣的。比如它的功耗承受能力不一樣，性能要求也不一樣。所以我們在不同的產品上要用不同的芯片。以前是怎么辦呢？是在不同的硬件平臺就芯片上面落地的時候，研究開發(fā)人員是要多次的開發(fā)，產生了大量的人力的浪費，而且大家知道現(xiàn)在人工智能這么火，人力的成本是非常高昂的，通過OpenVINO這樣一個方式，我們可以大量的節(jié)省成本，這也是一個好處。”

在本次發(fā)布會上，國內知名的人工智能廠商云從科技還率先在國內發(fā)布了首款基于OpenVINO工具包開發(fā)的產品，并已開始進行大規(guī)模量產。

“2017年，我們自己開始準備推出我們自己基于英特爾平臺的產品，隨后就做了一款產品，外觀上一般，但是產品很不錯，因為有英特爾X86里面的并行計算的模塊，更主要的是有OpenVINO的核心模塊在里面?；谶@個，我們在人工智能以及各行業(yè)的廣泛應用上，得到了很好的開發(fā)。現(xiàn)在這款產品，我們已經在幾十家行業(yè)客戶，以及幾百個行業(yè)網(wǎng)點做推廣，也是有賴于英特爾成熟的生態(tài)體系。一款產品同時支持幾十家不同客戶需求的時候，無論是算法還是應用不同的需求都能夠得心應手，當然這里面有很多英特爾同事的支持，因為我們選擇了一個合適的平臺。”云從科技項目總監(jiān)李軍這樣總結到。