作者

英特爾AI軟件布道師

武卓博士

曾主持國家級及省部級科研項目十余項，已授權(quán)國際國內(nèi)專利十余項。

目前，數(shù)字化浪潮席卷全球，人類社會已經(jīng)進入智能時代。萬物互聯(lián)的數(shù)字化浪潮下，端—邊—云協(xié)同是實現(xiàn)數(shù)字化智能化的重要架構(gòu)之一。本文我們將簡要分析邊云協(xié)同的必要性，并介紹如何使用英特爾開源的OpenVINO工具套件，在“端—邊—云”快速實現(xiàn)高性能人工智能推理。

1邊云協(xié)同的必要性及

OpenVINO工具套件簡介

眾所周知，18世紀60年代人類開始了第一次工業(yè)革命，從此進入“蒸汽時代”，接著進入了電氣時代和信息時代，當(dāng)前人類社會正在發(fā)生第四次工業(yè)革命，即智能時代。英特爾首席執(zhí)行官帕特·基辛格在2021年世界互聯(lián)網(wǎng)大會烏鎮(zhèn)峰會上指出，要擁抱四大超級技術(shù)力量。這四大超級技術(shù)力量分別是：第一，無所不在的計算。計算能力正滲透到我們生活的方方面面，作為人和技術(shù)的交互點，跨越現(xiàn)有和新興設(shè)備。第二，無處不在的連接，即萬物互聯(lián)。第三，從云到邊緣的基礎(chǔ)設(shè)施。它創(chuàng)造一個動態(tài)可靠的路徑來連接計算和數(shù)據(jù)，實現(xiàn)規(guī)模和容量無限擴展的云與無限延伸的智能邊緣相結(jié)合。第四是人工智能。這四大超級技術(shù)力量并不是技術(shù)孤島，而且相互協(xié)同，相互融合，共同推動產(chǎn)業(yè)的巨大變革。

四大超級技術(shù)力量使得數(shù)據(jù)一旦產(chǎn)生之后，能夠在相應(yīng)的節(jié)點做快速且及時的處理，從而減少數(shù)據(jù)處理的延時；高價值數(shù)據(jù)經(jīng)過邊緣提取后，高效率的傳遞到云端，借助云端的超級計算力量挖掘數(shù)據(jù)背后隱含的價值，讓用戶可以開發(fā)相應(yīng)的服務(wù)，實現(xiàn)科技向善。沒有邊云協(xié)同，這四大超級技術(shù)力量將被割裂，數(shù)據(jù)將成為孤島，智能時代要求的智能化、無人化和集群化將無法實現(xiàn)。如下圖所示，將云端規(guī)模開發(fā)的優(yōu)勢與邊緣端推理的好處結(jié)合起來，能夠使得邊云協(xié)同的優(yōu)勢發(fā)揮到最大化，將無限的數(shù)據(jù)變成可操作的洞察力。

下圖是一個智能制造工廠中，利用“端—邊—云”協(xié)同架構(gòu)，利用人工智能技術(shù)實現(xiàn)實時產(chǎn)品缺陷檢測的例子。在這個場景中，每個工位構(gòu)成了“端”，在工位上架設(shè)的攝像頭可以每秒采集超過400張產(chǎn)品生產(chǎn)過程中的圖片。因此，在端這一側(cè)利用 AI 推理技術(shù)，對實時產(chǎn)生的大量圖片進行 AI 推理，從而避免將海量數(shù)據(jù)同時傳輸?shù)皆贫水a(chǎn)生的高成本及延時。生產(chǎn)流水線構(gòu)成了這個場景中的“邊”，一些更為復(fù)雜的推理任務(wù)可以實時的在邊側(cè)完成，并進行跨工位的調(diào)度。最終所有的推理結(jié)果可以進一步推送到云端，進行數(shù)據(jù)集中以及更為深層次的分析，同時邊緣端產(chǎn)生的部分數(shù)據(jù)也可以推送至云端，作為訓(xùn)練數(shù)據(jù)的補充，用于對深度學(xué)習(xí)模型進行重訓(xùn)練，以獲得更高的準(zhǔn)確性。

通過上述的例子，我們可以看出，在邊云協(xié)同的架構(gòu)中，一個很重要的步驟就是將 AI 的推理擴展到邊緣端，避免邊緣端產(chǎn)生的大量數(shù)據(jù)向云端同時進行傳輸所引起的高成本，可以獲得接近或處于邊緣的近實時決策。而能夠?qū)崿F(xiàn)邊緣端方便進行 AI 模型部署及推理加速的重要工具之一，就是由英特爾開源的OpenVINO工具套件。

OpenVINO工具套件經(jīng)過近四年的發(fā)展和演進，現(xiàn)已正式發(fā)布了迄今為止變化最大的版本，即 OpenVINO 2022.1版本。在這一版本中，不僅支持包括基于 Tensorflow，PyTorch 在內(nèi)的深度學(xué)習(xí)框，更可以支持深受中國開發(fā)者喜愛的 PaddlePaddle 飛槳深度學(xué)習(xí)框架。同時，為了方便開發(fā)者在邊緣端部署深度學(xué)習(xí)模型，實現(xiàn)“一次撰寫，任意部署（Write once，deploy anywhere）”的目的，OpenVINO可以支持包括英特爾 CPU、集成 GPU（iGPU）以及 VPU 在內(nèi)的多個硬件平臺的部署。只需要改動一行代碼，就可以實現(xiàn)多硬件平臺部署。

尤為值得一提的是，在 OpenVINO2022.1版本中，為了使得開發(fā)者更加便捷的使用 OpenVINO進行深度學(xué)習(xí)的推理，更推出了 AUTO 插件（“auto device”）。開發(fā)者只需要使用這樣的一行代碼

就可以在邊緣端實施 AI 推理時，由 AUTO 插件自動化的檢測開發(fā)者環(huán)境中可以用來進行 AI 推理的設(shè)備，并自動化的選擇更為合適的硬件設(shè)備進行 AI 推理。另外，根據(jù)不同使用場景的使用需求不同，AUTO 插件在使用時，還允許開發(fā)者選擇不同的“performance hint”性能指標(biāo)模式，從而按照使用需求，獲得高吞吐量或者低延時的推理性能。

2在微軟云機器學(xué)習(xí)平臺 Azure ML 上利用

OpenVINO快速實現(xiàn) AI 推理

除了在邊緣端可以很方便地利用 OpenVINO工具套件進行快速部署以外，在云端，比如微軟云 Azure 的機器學(xué)習(xí)平臺 Azure ML 上，也可以利用 OpenVINO工具套件快速實現(xiàn)深度學(xué)習(xí)模型的部署，并進行相應(yīng)的深度學(xué)習(xí)模型的優(yōu)化及推理加速。實現(xiàn)步驟如下：

步驟一

在 Azure 上注冊個人賬號，并在機器學(xué)習(xí)平臺上建立自己的工作室，就類似于建立一個自己運行推理的專用路徑。工作室建立好之后，每次運行 AI 推理時，只需要點擊“啟動工作室”之后，就可以進入可以進行模型部署及推理的頁面了。

步驟二

在啟動工作室之后，即進入以下頁面。由于我們是利用OpenVINOnotebooks的 notebook代碼示例資源，因此，我們在頁面上相應(yīng)選擇Notebooks，即進入可以使用Jupyter Notebook 運行代碼，進行 AI 推理的頁面。

頁面地址：https://github.com/openvinotoolkit/openvino_notebooks

步驟三

在進入 Notebooks 頁面后，即可根據(jù)界面提示由本地上傳所有 Notebooks 文件夾中的代碼示例。也可以新建終端 Terminals，在終端頁面以 git clone 的方式，直接將OpenVINO Notebooks 在 GitHub 上的資源導(dǎo)入在 Azure ML 平臺上的工作室。

所有 notebooks 代碼示例導(dǎo)入過后，即可看到文件夾內(nèi)包含的所有代碼示例。

步驟四

申請 Azure 上的計算資源，運行 notebook 代碼。

以運行 Notebook 213 機器問答代碼示例，在申請好并打開計算資源的使用后，運行機器問答 notebook 代碼示例，運行結(jié)果如下，

3小結(jié)：

在上面的內(nèi)容中，我們跟大家分享了邊云協(xié)同的必要性，以及在邊緣端能夠?qū)崿F(xiàn)快速深度學(xué)習(xí)模型優(yōu)化、推理及任意部署的英特爾開源 OpenVINO工具套件。并通過一個實例，向大家展示了如何在 Azure 機器學(xué)習(xí)平臺上利用 OpenVINO快速實現(xiàn)深度學(xué)習(xí)模型的推理。

關(guān)于英特爾 OpenVINO開源工具套件的詳細資料，包括其中我們提供的三百多個經(jīng)驗證并優(yōu)化的預(yù)訓(xùn)練模型的詳細資料，請您點擊：

https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/overview.html

除此之外，為了方便大家了解并快速掌握 OpenVINO工具套件的使用，我們還提供了一系列開源的 Jupyter notebook demo。運行這些 notebook，就能快速了解在不同場景下如何利用 OpenVINO工具套件實現(xiàn)一系列、包括 OCR 在內(nèi)的、計算機視覺及自然語言處理任務(wù)。OpenVINO notebooks的資源可以在 Github 以下地址下載安裝：

https://github.com/openvinotoolkit/openvino_notebooks

審核編輯：湯梓紅