傳統(tǒng)企業(yè)、AI初創(chuàng)公司，還是高校創(chuàng)新項目，所有加入這場熱潮的人都面臨AI落地難題。據(jù)英特爾預(yù)測，大規(guī)模推理時代將至，2020年，推理與訓(xùn)練周期比率超過5:1，「推理」正成為人工智能落地的關(guān)鍵。這家老牌芯片公司推出了AI技術(shù)矩陣，助力企業(yè)與高校實現(xiàn)技術(shù)落地，地平線、南京大學(xué)、韻達(dá)和銀聯(lián)均已“入群”體驗。

AI不是圍城——外面的人依然想沖進(jìn)去，但里面的人不想逃出來，而是思索如何呆得更久。

但企業(yè)難找“城門”，如何讓AI與自身業(yè)務(wù)更好的結(jié)合，實現(xiàn)落地亦是一大難題，即使已經(jīng)入局的AI明星初創(chuàng)公司也并非全能選手。

據(jù)英特爾預(yù)測，2020年，推理與訓(xùn)練周期比率超過5:1，“大規(guī)模推理”時代將至。這一時代的來臨將有助于打破AI落地瓶頸，而這一過程仍有不少難題需要解決，例如：

「推理」將占用近 80% 的AI 流程，這會提高對硬件的要求——加速AI深度學(xué)習(xí)推理的技術(shù)；

目前三大主流AI技術(shù)路徑：機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和基于規(guī)則的學(xué)習(xí)都有局限性，面對復(fù)雜情況時，混合技術(shù)路徑才是王道；

AI初創(chuàng)企業(yè)以及高校實驗室大多都更專注于算法軟件方面的研究，但其研究領(lǐng)域，例如自動駕駛，則面臨著海量數(shù)據(jù)處理需求，這就提出對計算、存儲等硬件功能方面的挑戰(zhàn)。

這家51歲的老牌芯片大廠正在用AI技術(shù)矩陣解決這些難題。

2020年推理與訓(xùn)練周期比率超過5:1，“大規(guī)模推理”時代將至，可打破落地瓶頸

AI迎來第三次浪潮后，以深度學(xué)習(xí)為代表的人工智能已經(jīng)進(jìn)入應(yīng)用階段。

深度學(xué)習(xí)分為訓(xùn)練和推理兩個階段。

訓(xùn)練階段需要大量的算力和數(shù)據(jù)，并且對數(shù)據(jù)吞吐量要求很高；而推理方面，通常在數(shù)據(jù)量方面要求沒有那么高，但需要的是盡可能快的響應(yīng)和能耗效率優(yōu)化。

按照英特爾預(yù)測，到2020 年，推理周期和訓(xùn)練周期之間的比率將從深度學(xué)習(xí)初期的 1:1 提高至超過 5:1。也就是說，在人工智能領(lǐng)域，推理的比重將會越來越重要。

英特爾稱這一轉(zhuǎn)變?yōu)椤按笠?guī)模推理”。

事實上，讓人工智能落地更多是推理層面的工作——根據(jù)真實世界中的少量數(shù)據(jù)，迅速地提供正確的答案。

如果未來推理將占用近 80% 的AI 流程，硬件架構(gòu)就成為AI落地的重中之重。

而做大規(guī)模推理，CPU平臺具有較大優(yōu)勢，用戶學(xué)習(xí)門檻低、部署速度快的同時還能保證低風(fēng)險。

今年4月，第二代英特爾至強(qiáng)可擴(kuò)展處理器全面上市，針對企業(yè)落地AI的需求，特意嵌入了新技術(shù)：

集成加速AI深度學(xué)習(xí)推理的技術(shù)，加速數(shù)據(jù)中心、企業(yè)和智能邊緣計算環(huán)境中的AI推理工作負(fù)載，例如圖像識別、對象檢測及圖像分割等。

支持英特爾傲騰數(shù)據(jù)中心級持久內(nèi)存，為英特爾以數(shù)據(jù)為中心的計算產(chǎn)品組合提供兼具經(jīng)濟(jì)性和大容量的持久內(nèi)存功能。

英特爾公司執(zhí)行副總裁兼數(shù)據(jù)中心事業(yè)部總經(jīng)理孫納頤展示新一代英特爾至強(qiáng)處理器的晶圓

但沒有一種方案能解決所有問題，AI并非“一策萬能”。除硬件外，根據(jù)不同推理需求，英特爾提供不同的軟件，對深度學(xué)習(xí)推理進(jìn)行大量的軟硬件調(diào)優(yōu)。

傳統(tǒng)行業(yè)實現(xiàn)AI落地的主要目的之一通常是提升工作效率，物流行業(yè)的巨頭——韻達(dá)就計劃用機(jī)器視覺技術(shù)來提升快件測量的效率與質(zhì)量。

英特爾AnalyticsZoo平臺提供的圖像分類技術(shù)在其中發(fā)揮了作用——利用內(nèi)置的圖像識別模型，AI 應(yīng)用首先能夠提取出待測量的快件輪廓，進(jìn)而通過平臺提供的TensorFlow等深度學(xué)習(xí)框架，結(jié)合至強(qiáng)可擴(kuò)展處理器提供的算力，完成從模型訓(xùn)練、模型重定義到模型推理的AI處理全流程，最終獲得準(zhǔn)確的大小件測量數(shù)據(jù)。

除了傳統(tǒng)行業(yè)外，互聯(lián)網(wǎng)公司目前也試圖用AI增強(qiáng)自身業(yè)務(wù)，愛奇藝將AI與云計算結(jié)合，構(gòu)建了創(chuàng)新的Jarvis深度學(xué)習(xí)云平臺。

平臺的成功很大程度上在于提升深度學(xué)習(xí)推理效率。除至強(qiáng)可擴(kuò)展處理器提供的強(qiáng)勁算力外，還基于英特爾架構(gòu)處理器的技術(shù)特性，對平臺的深度學(xué)習(xí)推理進(jìn)行了大量的軟、硬件調(diào)優(yōu)，包括利用 OpenVINO執(zhí)行的系統(tǒng)級優(yōu)化。

來自愛奇藝的測試數(shù)據(jù)顯示，OpenVINO的引入，幫助Jarvis平臺將實時彈幕顯示的推理速度提升達(dá)5倍左右。

AI并非一策萬能，創(chuàng)新“三明治”結(jié)構(gòu)呈現(xiàn)混合技術(shù)路徑優(yōu)勢

如今，深度學(xué)習(xí)雖然火爆，但實現(xiàn)人工智能的途徑并非只有這一條，同時也要考慮是否試用。

在一些行業(yè)的AI落地過程中，例如金融的一些應(yīng)用，要求結(jié)果是可追溯的，這種情況下單使用深度學(xué)習(xí)并不可取，需要選擇其他路徑。

深度學(xué)習(xí)、一般的機(jī)器學(xué)習(xí)和基于規(guī)則的學(xué)習(xí)都是目前AI領(lǐng)域的主流技術(shù)路徑，下圖為這三種AI技術(shù)路徑的優(yōu)勢與局限性：

現(xiàn)階段主流AI技術(shù)路徑的優(yōu)勢、適用場景和局限性總結(jié) 來源：英特爾

人工智能、機(jī)器學(xué)習(xí)及深度學(xué)習(xí)的關(guān)系示意圖來源：英特爾

可以看出，每種AI技術(shù)路徑都有其局限性，所以在現(xiàn)實場景中，這些技術(shù)路徑可基于不同特性來實現(xiàn)互補(bǔ)。

例如，在AI技術(shù)進(jìn)行銀行卡反欺詐中，如果只使用一般的機(jī)器學(xué)習(xí)，將出現(xiàn)對序列化交易特征學(xué)習(xí)能力不足；而只使用深度學(xué)習(xí)，則會出現(xiàn)單筆交易內(nèi)特征學(xué)習(xí)能力有限。

在這樣的場景下，兩大技術(shù)融合才是更好的解決路徑：區(qū)別于傳統(tǒng)的分類器方法或單一的RNN方法，銀聯(lián)電子商務(wù)與電子支付國家工程實驗室和眾安科技，以及英特爾公司共同提出了GBDT→GRU→RF三明治結(jié)構(gòu)欺詐偵測模型架構(gòu)。

融合了一般的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的三明治結(jié)構(gòu)欺詐偵測模型架構(gòu)

這種混合路徑，對于底層硬件設(shè)施的性能有著很高的要求，尤其是對各類AI技術(shù)的兼容性。

“三明治”這一創(chuàng)新模型選擇了基于英特爾至強(qiáng)處理器的CPU平臺——CPU架構(gòu)對目前幾乎所有的AI主流技術(shù)、乃至新涌現(xiàn)的技術(shù)都有出色的兼容性，同時輔之各個層面的加速與優(yōu)化。

GPU難發(fā)揮長處，什么才能支撐“深度森林”的計算方案？

CPU不僅能在AI主流技術(shù)上能發(fā)揮優(yōu)勢，一些高校的創(chuàng)新技術(shù)也能基于此實現(xiàn)加速和優(yōu)化。

同時，促進(jìn)AI落地需要更早、更準(zhǔn)確地對人工智能、深度學(xué)習(xí)領(lǐng)域的創(chuàng)新項目進(jìn)行支持。這些項目往往對強(qiáng)勁計算力有著很高的要求。

來自南京大學(xué)機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘研究所（簡稱LAMDA 團(tuán)隊）的周志華教授與他的團(tuán)隊，提出了“深度森林”：一種基于樹的方法，來拓展深度學(xué)習(xí)的體系。

在設(shè)置可類比的情況下，新方法 gcForest 取得了和深度神經(jīng)網(wǎng)絡(luò)相當(dāng)甚至更好的結(jié)果，而且更容易訓(xùn)練，小數(shù)據(jù)也能運(yùn)行，更重要的是相比神經(jīng)網(wǎng)絡(luò)，基于樹的方法不會存在那么困難的理論分析問題。

周志華和馮霽在論文里寫道，“我們認(rèn)為，要解決復(fù)雜的問題，學(xué)習(xí)模型也需要往深了去。然而，當(dāng)前的深度模型全部都是神經(jīng)網(wǎng)絡(luò)。這篇論文展示了如何構(gòu)建深度樹（deep forest），為在許多任務(wù)中使用深度神經(jīng)網(wǎng)絡(luò)之外的方法打開了一扇門”。

深度森林 gcForest 模型結(jié)構(gòu)

從一顆幼苗發(fā)展成一片森林，則需要硬件基礎(chǔ)設(shè)施這一“土壤”作為支撐。深度森林需要并行地在多棵樹上執(zhí)行任務(wù)，而這些任務(wù)更多是需要進(jìn)行決策計算。

在這方面，GPU很難發(fā)揮其長處，周志華的團(tuán)隊選擇從兩個方面進(jìn)行加速：一是通過分布式計算技術(shù)做出更大模型，二則是通過硬件加速來提高它的可擴(kuò)展性——擁有眾核、高頻能力的英特爾架構(gòu)處理器更有助于應(yīng)對深度森林多任務(wù)并行處理的需求。

實現(xiàn)加速后，英特爾從硬件基礎(chǔ)設(shè)施方案出發(fā)，優(yōu)化深度森林相關(guān)的算法與模型設(shè)計，幫助其實現(xiàn)產(chǎn)業(yè)落地。

此前測試顯示，深度森林在召回率和準(zhǔn)確率方面表現(xiàn)優(yōu)秀?；诖丝梢酝茢?，在套現(xiàn)欺詐行為的檢測任務(wù)上，深度森林可以助力金融企業(yè)構(gòu)建更優(yōu)異的反欺詐風(fēng)控解決方案。

芯片巨頭+AI明星初創(chuàng)公司：分級存儲助力算法研發(fā)

事實上，即使AI從實驗室里走出來了，那些已入局的明星AI初創(chuàng)公司也不是十八般武藝樣樣精通。

不少AI初創(chuàng)公司都更專注于算法軟件方面的研究，在計算、存儲方面的等硬件設(shè)備上相對薄弱。

今年2月，地平線完成6億美元的B輪融資，成為全球估值第一的AI芯片初創(chuàng)公司，地平線曾透露，未來主戰(zhàn)場將是智能駕駛和AIoT。

但在利用深度學(xué)習(xí)研發(fā)AI芯片和算法的過程中，地平線面臨著海量的數(shù)據(jù)處理需求。尤其是自動駕駛領(lǐng)域，每天的路面數(shù)據(jù)量高達(dá)4TB。另外，這些數(shù)據(jù)通常是以幾十KB大小的小文件形式存在。

當(dāng)?shù)仄骄€需要利用這些數(shù)據(jù)進(jìn)行深度學(xué)習(xí)所需的數(shù)據(jù)處理與訓(xùn)練時，對存儲系統(tǒng)的IOPS性能有著非常嚴(yán)苛的要求。

然而傳統(tǒng)HDD機(jī)械硬盤的IOPS性能并不理想，而全固態(tài)盤模式雖然IOPS能力強(qiáng)，但成本很高，這對存儲容量的擴(kuò)展造成了限制。

分級存儲是緩解性能與容量這對矛盾的有效手段。

英特爾傲騰固態(tài)盤+HDD構(gòu)建的分級存儲模式

在金山云EPC存儲集群采用的分級存儲方案中，非活動數(shù)據(jù)存放在HDD硬盤組成的存儲池，而活動數(shù)據(jù)則被置放在由英特爾傲騰固態(tài)盤DC PDC P4800X構(gòu)成的緩存區(qū)中。

一項測試數(shù)據(jù)表明，這款固態(tài)盤的IOPS最高可達(dá) 500,000，同時讀取響應(yīng)時間低于30微秒，并可承受最高2GB/秒的隨機(jī)寫入壓力，適用于大數(shù)據(jù)、高并發(fā)的應(yīng)用場景。

數(shù)據(jù)才是AI最核心要素，大數(shù)據(jù)分析處理如何無縫過渡到AI應(yīng)用？

除了毫無AI基礎(chǔ)的傳統(tǒng)企業(yè)，以及AI技術(shù)強(qiáng)大的公司和高校，還有一部分企業(yè)處于“尷尬”的中間地段。

那些已經(jīng)擁有大數(shù)據(jù)分析處理基礎(chǔ)的公司如何無縫對接到AI應(yīng)用呢？

英特爾認(rèn)為，在AI三大支柱中——數(shù)據(jù)、算力和AI算法中，數(shù)據(jù)才是AI最核心的要素，對于那些想要平滑過渡到AI應(yīng)用的企業(yè)來講，如何“釋放數(shù)據(jù)紅利”是更實際的選擇。

畢竟，2018年底有調(diào)研顯示：全球超過一半的數(shù)據(jù)創(chuàng)建于過去兩年，但其中只有不到2%的數(shù)據(jù)經(jīng)過了分析。

而在讓人工智能走出實驗室需要一條數(shù)據(jù)分析流水線，但在這條線上，20%的任務(wù)是深度學(xué)習(xí)，但80%都是在做數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)管理、數(shù)據(jù)清理、數(shù)據(jù)預(yù)處理。

因此，當(dāng)一家企業(yè)已有大數(shù)據(jù)分析基礎(chǔ)時，想要啟動AI應(yīng)用構(gòu)建時無需從零開始，而是要充分利用既有的數(shù)據(jù)基礎(chǔ)，部署AI應(yīng)用。

英特爾提供的分布式深度學(xué)習(xí)庫BigDL，以及大數(shù)據(jù)分析+AI的平臺AnalyticsZoo可以幫助已有數(shù)據(jù)基礎(chǔ)的企業(yè)更高效地實現(xiàn)AI應(yīng)用。

其中，AnalyticsZoo提供了統(tǒng)一的數(shù)據(jù)分析+ AI平臺，可將Spark，TensorFlow和BigDL程序無縫集成到一個統(tǒng)一的數(shù)據(jù)分析流水線中；然后，整個流水線可以透明地擴(kuò)展到Hadoop/ Spark集群，以進(jìn)行分布式訓(xùn)練或推理。

美的 / KUKA的工業(yè)檢測平臺就是一個建立在Analytics Zoo之上的端到端數(shù)據(jù)分析流水線，這條流水線可將Spark，BigDL和TensorFlow程序無縫集成，從而構(gòu)建并部署基于大數(shù)據(jù)的深度學(xué)習(xí)的，包括分布式訓(xùn)練和推理，以及低延遲在線服務(wù)在內(nèi)的應(yīng)用程序。

改弦更張絕非最佳選擇，借助合適的平臺、從大數(shù)據(jù)分析處理平滑過渡到AI應(yīng)用，對企業(yè)來講是更合算的選擇。

無論是面對企業(yè)還是高校，英特爾正致力成為一個為所有AI落地問題提供支撐與加速的公司——讓AI真正問世。