作者｜donatello1996

來源 | 電子發(fā)燒友

題圖｜飛凌嵌入式

飛凌嵌入式OKMX8MP-C開發(fā)板基于NXP i.MX 8M Plus處理器開發(fā)設(shè)計(jì)，該系列處理器專注于機(jī)器學(xué)習(xí)與視覺、高級多媒體以及具有高可靠性的工業(yè)自動化。旨在滿足智慧城市、工業(yè)互聯(lián)網(wǎng)、智能醫(yī)療、智慧交通等應(yīng)用的需求。強(qiáng)大的四核或雙核Arm Cortex-A53處理器，主頻高達(dá)1.6GHz，帶有神經(jīng)處理單元(NPU)，最高運(yùn)行速率可達(dá)2.3TOPS。

本文采用的硬件板卡為飛凌嵌入式OKMX8MP-C開發(fā)板，系統(tǒng)版本Linux5.4.70+Qt5.15.0，主要介紹移植官方NPU TensorFlow例程。

在OKMX8MP-C 開發(fā)板提供的產(chǎn)品使用手冊中，有一章是針對板上NPU的圖像識別例程，位于EMMC分區(qū)的/usr/bin/tensoRFlow-lite-2.3.1/examples，我將EMMC分區(qū)mount為了/media分區(qū)，找到對應(yīng)的例程位置。

切換到EMMC啟動，進(jìn)入/usr/bin/tensorflow-lite-2.3.1/examples/目錄下，運(yùn)行測試example：

再切回TF卡系統(tǒng)運(yùn)行，提示報(bào)錯(cuò)，label_image程序的nnapi需要?jiǎng)討B(tài)鏈接庫支持：

libm-2.30.solibneuralnetworks.so.1.1.9libnnrt.so.1.1.9libArchModelSw.solibGAL.solibNNArchPerf.solibOpenVX.so.1.3.0libovxlib.so.1.1.0libVSC.so

其中l(wèi)ibm-2.30.so被鏈接為ld-linux-aarch64.so.1，位于/usr/lib/aarch64-linux-gnu/目錄下，若在移植后的目標(biāo)系統(tǒng)的/usr/lib/aarch64-linux-gnu/下沒有該庫文件的話，是會在運(yùn)行時(shí)提示報(bào)錯(cuò)的。將上述所有動態(tài)鏈接庫復(fù)制到正確位置(/usr/lib和/usr/lib/aarch64-linux-gnu/)，再次運(yùn)行：

可以看到?jīng)]有任何報(bào)錯(cuò)，運(yùn)行庫環(huán)境移植成功，接下來可以愉快地進(jìn)行tensorflow例程的玩耍了。

二、TensorFlow例程驗(yàn)證

先用飛凌嵌入式官方DEMO做一下驗(yàn)證，其驗(yàn)證結(jié)果如下。

0.780392: 653 military unIForm0.105882: 907 Windsor tie0.0156863: 458 bow tie0.0117647: 466 bulletproof vest0.00784314: 835 suit

78%結(jié)果吻合陸軍制服，10%結(jié)果吻合溫莎領(lǐng)帶，1%結(jié)果吻合領(lǐng)結(jié)，1%結(jié)果吻合防彈背心，不到1%結(jié)果吻合西裝，總的來說這個(gè)結(jié)果還是挺令人滿意的，NPU的算力確實(shí)還可以，多次運(yùn)行程序，得出的結(jié)果完全相同，說明NPU計(jì)算時(shí)使用的是固定的/靜態(tài)的圖像識別庫。

我這邊突發(fā)奇想，用這個(gè)Demo去測一下我自己的論壇頭像，看看結(jié)果：

0.352941: 274 dingo0.254902: 265 Cardigan0.184314: 264 Pembroke0.0666667: 163 beagle0.0156863: 354 gazelle

35%的野狗，25%的毛衣，18%的Pembroke？？？，6%的小獵犬（beagle），1%的羚羊，看到羚羊（gazelle）我屬實(shí)蚌埠住了，哈哈。

再來試試另外幾張圖片，為了檢驗(yàn)這NPU的人工智能算力到底行不行，集齊十張圖，豪華尊享。由于源碼不開放，所以無法移植源碼到自己的例程中：

0.160784: 639 maillot0.137255: 436 bathtub0.117647: 886 velvet0.0705882: 586 hair spray0.0509804: 440 bearskin

0.972549: 644 mask0.00392157: 918 comic book0.00392157: 904 wig0.00392157: 797 ski mask0.00392157: 732 plunger

0.380392: 583 grocery store0.321569: 957 custard apple0.0862745: 955 banana0.0352941: 956 jackfruit0.027451: 954 pineapple

0.254902: 918 comic book0.0470588: 771 running shoe0.0470588: 474 can opener0.0470588: 412 apron0.0392157: 794 shower cap

0.52549: 922 book jacket0.0705882: 788 shield0.0705882: 452 bolo tie0.0588235: 627 lighter0.0352941: 701 paper towel

0.121569: 656 miniskirt0.054902: 835 suit0.0470588: 852 television0.0470588: 440 bearskin0.0392157: 679 neck brace

0.65098: 918 comic book0.172549: 747 puck0.0196078: 922 book jacket0.0196078: 723 ping-pong ball0.0117647: 806 soccer ball

0.678431: 918 comic book0.0784314: 418 balloon0.0470588: 880 umbrella0.0470588: 722 pillow0.0156863: 644 mask

0.184314: 585 hair slide0.156863: 794 shower cap0.0941176: 797 ski mask0.0431373: 644 mask0.0352941: 571 gasmask

十張圖片的識別結(jié)果均以編碼方式呈現(xiàn)，從識別的概率結(jié)果來看，OKMX8MP-C開發(fā)板的NPU的算力還是非常強(qiáng)的。

據(jù)官方介紹，i.MX 8M Plus處理器內(nèi)置NPU，可達(dá)到2.3 TOPS（Tera Operations Per Second，1TOPS代表處理器每秒鐘可進(jìn)行一萬億次操作）算術(shù)處理，并實(shí)現(xiàn)先進(jìn)的AI算法處理。并且NXP為i.MX 8M Plus處理器的NPU提供了一些特定用例，例如能夠處理40,000多個(gè)英文單詞，MobileNet v1模型可以每秒處理超過500張圖像的圖像分類。

作者簡介

donatello1996，某大型企業(yè)資深嵌入式工程師，電子發(fā)燒友論壇技術(shù)大牛，同時(shí)也是飛凌嵌入式多年鐵粉，曾基于飛凌多款板卡產(chǎn)出過優(yōu)質(zhì)測評文章或使用心得。本期三篇文章為donatello1996在使用OKMX8MP-C開發(fā)板過程中精心產(chǎn)出的干貨，在此對donatello1996表示感謝。