邊緣AI應(yīng)用正處于大規(guī)模落地的前夕，巨大的IoT市場(chǎng)和革命性的AI技術(shù)產(chǎn)生的劇烈交互將帶來(lái)前所未有的應(yīng)用革命和商業(yè)機(jī)會(huì)。那么在邊緣設(shè)備部署AI應(yīng)用的瓶頸都有哪些？

有人有現(xiàn)成的芯片和應(yīng)用場(chǎng)景，卻為缺乏算法和平臺(tái)苦惱。

有人有自己的算法，卻為缺乏一個(gè)好用的嵌入式跨平臺(tái)框架而苦惱。

有人有自己的算法和硬件平臺(tái)，卻為嵌入式平臺(tái)有限算力苦惱。

OPEN AI LAB看到了業(yè)界痛點(diǎn)，順應(yīng)市場(chǎng)需求推出了專(zhuān)為嵌入式平臺(tái)設(shè)計(jì)的AI推理框架——Tengine。

專(zhuān)門(mén)針對(duì)Arm嵌入式設(shè)備優(yōu)化的神經(jīng)網(wǎng)絡(luò)推理引擎

OPEN AI LAB于2016年12月成立，由Arm中國(guó)聯(lián)合產(chǎn)業(yè)伙伴發(fā)起，致力于推動(dòng)芯片、硬件、算法、軟件整個(gè)產(chǎn)業(yè)鏈的深度合作，加速人工智能產(chǎn)業(yè)化應(yīng)用部署和應(yīng)用場(chǎng)景邊界拓展。Tengine便是一款輕量級(jí)模塊化高性能的神經(jīng)網(wǎng)絡(luò)推理引擎，專(zhuān)門(mén)針對(duì)Arm嵌入式設(shè)備優(yōu)化。完美支持Arm平臺(tái)，支持Arm Cortex CPU，Arm Mali GPU，Arm DLA，第三方DSP，堪稱(chēng)兼容“全能王”。

而開(kāi)發(fā)者可以使用Tengine一網(wǎng)打盡主流框架模型和嵌入式操作系統(tǒng)，還能異構(gòu)調(diào)度平臺(tái)里的各類(lèi)硬件，充分利用硬件算力。此外，Tengine還提供了常見(jiàn)AI應(yīng)用算法，包括圖像檢測(cè)，人臉識(shí)別，語(yǔ)音識(shí)別等。不懂AI沒(méi)關(guān)系，上手就能跑AI應(yīng)用。Tengine同時(shí)還支持各類(lèi)常見(jiàn)卷積神經(jīng)網(wǎng)絡(luò)，包括SqueezeNet，MobileNet，AlexNet，ResNet等，支持層融合、8位量化等優(yōu)化策略。并且通過(guò)調(diào)用針對(duì)不同CPU微構(gòu)架優(yōu)化的HCL庫(kù)，將Arm CPU的性能充分挖掘出來(lái)。

Tengine的“發(fā)動(dòng)機(jī)”——HCL計(jì)算庫(kù)

有人說(shuō)NCNN是一個(gè)為手機(jī)端極致優(yōu)化的高性能神經(jīng)網(wǎng)絡(luò)前向計(jì)算框架，從設(shè)計(jì)之初深刻考慮手機(jī)端的部署和使用。在過(guò)去，NCNN確實(shí)是這樣的，只是那時(shí)候還沒(méi)有Tengine。

現(xiàn)在，HCL計(jì)算庫(kù)作為T(mén)engine的插件，是性能最快的Arm CPU NN計(jì)算庫(kù)，并且支持動(dòng)態(tài)8位量化計(jì)算，精度幾乎不變，相比于NCNN最快能帶來(lái)2-3倍的性能提升，內(nèi)存使用減少為三分之一。

*Tengine性能數(shù)據(jù)A72，A53性能基于RK3399平臺(tái)測(cè)試，A17性能基于RK3288平臺(tái)測(cè)試

NCNN數(shù)據(jù)為2018年9月7日

HCL INT8量化計(jì)算精度變化

FP32INT8Diff

TOP1TOP5TOP1TOP5TOP1TOP5

MobileNetv167.86%87.60%66.40%86.44%-1.46%-1.16%

SqueezeNet57.86%79.86%57.80%79.92%-0.06%0.06%

GoogLeNet68.48%88.82%68.70%88.82%0.22%0.00%

ResNet5071.60%89.90%71.60%89.86%0.00%-0.04%

*采用ILSVRC2012_VAL數(shù)據(jù)集測(cè)試5000張圖片得到量化精度測(cè)試結(jié)果如下

Tengine + HCL，不同人群的量身定制

Tengine作為AI 應(yīng)用框架，不僅對(duì)上層應(yīng)用提供推理API接口，支持主流模型與格式，還在下層定義硬件接口，適配嵌入式平臺(tái)各類(lèi)計(jì)算模塊，此外支持同時(shí)運(yùn)行多個(gè)AI應(yīng)用算法以及調(diào)用多個(gè)計(jì)算模塊計(jì)算。因此，Tengine的面世對(duì)AI開(kāi)源生態(tài)具有里程碑的意義。有了Tengine，應(yīng)用和算法廠商可以擺脫復(fù)雜的嵌入式平臺(tái)適配工作，配合HCL直接挖掘硬件的全部潛能；有了Tengine，芯片廠能夠站在Arm 嵌入式AI生態(tài)的肩膀上，以最快的速度順利將芯片推向市場(chǎng)，在邊緣AI應(yīng)用中部署。作為OPEN AI LAB為邊緣AI應(yīng)用部署開(kāi)發(fā)的兩大利器，Tengine + HCL將助力嵌入式人工智能產(chǎn)業(yè)加速向前推進(jìn)，為最終實(shí)現(xiàn)萬(wàn)物智能貢獻(xiàn)力量。