都說人工智能落地難。難在哪里？

“目前的平臺框架，不管是TensorFlow或是其他，都無法做到對不同的芯片實現(xiàn)全部支持，因此做算法、做方案的公司，在解決最后1公里的落地問題時，甚至需要把前面99公里的東西都再學一遍，因此增加了很大的工作量，造成了落地困難?！?a target="_blank">Arm中國生態(tài)發(fā)展副總裁/OPEN AI LAB創(chuàng)始人兼CEO金勇斌表示。

如何扭轉這一局面？需實現(xiàn)從芯片、算法到解決方案全部打通，使后端設計人員無需關注底層的差異——這是Arm“周易”平臺希望帶來的改變。

IoT設備實現(xiàn)人工智能是必然趨勢

軟銀孫正義曾提出，2035年全球將有萬億級IoT設備在線。在這些設備上實現(xiàn)本地人工智能，是未來的必然趨勢。要做到這一點，必須進一步將降低人工智能的算力成本。Arm“周易”平臺，主打適用性、兼容性、安全性，希望大幅降低人工智能算力、芯片和應用成本、加快應用研發(fā)周期，在更多的IoT設備上實現(xiàn)人工智能。“AI要想普及化，必須實現(xiàn)85%以上的智能化都在終端實現(xiàn)。”金勇斌表示。

讓端側芯片集成AI能力更容易

“周易”平臺的核心包含兩部分，一是Tengine軟件框架，二是AIPU（人工智能處理單元），主要處理卷積神經(jīng)網(wǎng)絡、深度神經(jīng)網(wǎng)絡為代表的AI計算。
從優(yōu)化端側芯片開發(fā)的角度看，“周易”平臺降低了兩個門檻：一方面是SoC集成AI功能的設計門檻，另一方面是上層軟件的開發(fā)門檻。

金勇斌強調，之所以叫AIPU而不是AI Chip，主要因為它只是SoC中的一個處理單元，像傳統(tǒng)的CPU、GPU一樣，只是功能有所不同，能夠實現(xiàn)終端SoC的高度集成化，實現(xiàn)靈活性和高效率的平衡。
對于已有的芯片，“周易”平臺可以通過Tengine軟件框架，進行統(tǒng)一推理，通過定義標準的Tengine API，人工智能應用程序可以使用標準API在不同的硬件上部署，大大節(jié)省了移植或者在特定的硬件上進行優(yōu)化的工作量。

而對于新開發(fā)的芯片，“周易”平臺可以讓芯片合作伙伴使用AIPU IP設計新的SoC，并提供了驗證測試向量、參考用例和后端實現(xiàn)參考流程等全面支持，以加速新的SoC設計；同時，周易AIPU 仿真軟件用于軟件應用程序前期開發(fā)。這將大大加快產(chǎn)品的上市時間。

當芯片設計出來后，周易Tengine軟件框架內包含不同的library，包括Arm全球library，OPEN AI LAB library等。通過這些高性能的library，可以對不同算力做分布和調度。而在上層支持不同的主流算法，比如Caffe、PyTorch等?；谶@些框架開發(fā)出來的算法可以無縫地應用在Tengine上。

如何賦能現(xiàn)有AI產(chǎn)業(yè)？

“在2020年之前，誰的軟件最好用，誰就能真正掌控市場”，金勇斌表示，“只要軟件工具好用，就能夠幫助下游合作伙伴迅速開發(fā)產(chǎn)品，搶占落地先機。”也正是如此，Arm提供整套完整的工具鏈，從IP開發(fā)到軟件開發(fā)，其中包括編譯器、性能優(yōu)化庫等。對芯片廠商來說，可以通過其中包含的仿真器和算法示例等來幫助軟件開發(fā)。因此，“周易”AI處理引擎對用戶來說相當于是一鍵式開發(fā)服務，可以把他們想實現(xiàn)的算法一鍵式地部署到“周易”上。


芯片公司不必專門開發(fā)基于AIPU的專用AI芯片，或是包含AIPU單元的芯片。哪怕是基于現(xiàn)有的成熟芯片，通過Tengine把算力提取出來，可以直接實現(xiàn)更多現(xiàn)成的算法，能夠大幅度提高性能，改善用戶體驗。如下圖所示，可以帶來順流而下的改變，“在上游把一個根本問題解決了，下游的普及速度就會非?？?。”金勇斌說道。


“周易”平臺作為Arm中國首款自主研發(fā)產(chǎn)品，在去年11月的世界互聯(lián)網(wǎng)大會上首次亮相。半年過去了，這款產(chǎn)品取得了哪些實質性的進展？

據(jù)了解，一些基于“周易”平臺Tengine的使用場景已經(jīng)落地。比如行車記錄、智能停車、ADAS等，包括對司機的行為檢測。另外還有一個重要的應用就是安防，比如人臉識別的門禁和閘機。以前需要把采集的人臉數(shù)據(jù)交由后端服務器處理，而現(xiàn)在通過Tengine，無需硬件改動，可自動在前端進行人臉識別，只需將匹配結果上傳。這樣極大地降低了網(wǎng)絡的部署成本，數(shù)據(jù)流量實現(xiàn)了指數(shù)級減小。根據(jù)一個做前端人臉布控系統(tǒng)的用戶案例，布一點一線綜合成本需要一萬八，而基于“周易”成本基本控制在了兩千元以內，整體成本幾乎實現(xiàn)了十倍節(jié)省。據(jù)透露，最快明年年中會有基于“周易”AIPU的SoC產(chǎn)品問世。

AI生態(tài)需要交叉合作、競爭

金勇斌作為Arm中國生態(tài)發(fā)展副總裁，同時也是OPEN AI LAB創(chuàng)始人兼CEO。談及AI目前的生態(tài)建設時，他表示，很多AI公司處理器、框架、應用等都是自己垂直在做，這樣的做法有點像IBM早期做PC的模式，獨立開發(fā)處理器、指令集、芯片、設備、應用、系統(tǒng)等。而為什么微軟的Windows就能夠非常普及？主要因為它開放給第三方做應用程序，這樣就形成了巨大的生態(tài)。他認為，AIoT時代也一樣，一家公司從沙子做到云的模式一定是行不通的，AI生態(tài)需要在每個層級上進行交叉合作、競爭，這樣才能夠把成本降下來，把普及率提高，把滲透性做好，這樣才能盡早實現(xiàn)未來的1萬億市場。

也許這是AI創(chuàng)業(yè)最好的時代。大量涌入的資本，加之強大的平臺支持，值得創(chuàng)業(yè)者能夠更加快速地開發(fā)出SoC芯片。但是，即使芯片開發(fā)的門檻有所降低，芯片開發(fā)一定要謹慎，并且要在設計之初做好產(chǎn)品規(guī)劃、明確市場應用空間，否則，最終還是難免慘遭淘汰。