MPCam和MPTherm是意法半導(dǎo)體授權(quán)合作伙伴Siana Systems的兩款STM32MP1開(kāi)發(fā)板，展示了為什么計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)在邊緣成為主流。兩種系統(tǒng)具有相似的規(guī)格。他們使用 Octavo 的 OSD32MP15x 系統(tǒng)級(jí)封裝，我們?cè)谥暗牟┛臀恼轮薪榻B了這一點(diǎn)。Siana選擇的型號(hào)包含512 MB的DDR3。這些板還配有 4 GB eMMC 閃存，用于存儲(chǔ)可啟動(dòng)映像、SD 卡插槽、以太網(wǎng)端口、USB 主機(jī)功能和用于外部電源適配器的 9 V 連接器。MPCam提供5萬(wàn)像素的圖像傳感器，而MPTherm采用Lynred的80 x 80熱傳感器。

為什么計(jì)算機(jī)視覺(jué)很困難？

計(jì)算機(jī)視覺(jué)仍然是一個(gè)需要解決的復(fù)雜技術(shù)問(wèn)題。然而，越來(lái)越多的沒(méi)有工程能力的公司希望從中受益。零售商店希望使用人員跟蹤應(yīng)用程序來(lái)改善運(yùn)營(yíng)，同時(shí)尊重客戶(hù)的隱私。購(gòu)物中心需要更好的方法來(lái)監(jiān)控容量，尤其是在全球大流行之后。從社交距離檢測(cè)到簡(jiǎn)單的物體識(shí)別，計(jì)算機(jī)視覺(jué)正受到越來(lái)越多的關(guān)注。不幸的是，正如Siana Systems所分享的那樣，問(wèn)題在于大約十分之九的項(xiàng)目沒(méi)有走出原型設(shè)計(jì)階段。公司不知道如何制定他們需要什么或了解商業(yè)實(shí)施的需求。因此，解決方案是可以將管理人員帶回現(xiàn)實(shí)的開(kāi)發(fā)板。

計(jì)算機(jī)視覺(jué)是什么樣的？

第一個(gè)挑戰(zhàn)是了解計(jì)算機(jī)視覺(jué)系統(tǒng)的樣子。因此，MPCam和MPTherm通過(guò)將小型PCB直接交到開(kāi)發(fā)人員和決策者手中來(lái)幫助公司，這些開(kāi)發(fā)人員和決策者可以快速看到他們正在使用的內(nèi)容。這就是為什么Siana選擇使用Octavo的SiP而不是從頭開(kāi)始做所有事情的原因。正如該公司所分享的那樣，這種方法代表了更快的上市時(shí)間和更小的PCB。盡管擁有這些能力，Siana還是希望專(zhuān)注于應(yīng)用程序，而不是調(diào)整RAM，弄清楚電源管理以及微處理器所需的所有其他技術(shù)實(shí)現(xiàn)。

為什么要在邊緣構(gòu)建計(jì)算機(jī)視覺(jué)應(yīng)用程序？

公司也在與應(yīng)用程序本身作斗爭(zhēng)。許多人沒(méi)有想到簡(jiǎn)單地將視頻流推送到云端，但沒(méi)有意識(shí)到這種方法所需的成本和基礎(chǔ)設(shè)施。例如，一個(gè)依賴(lài)其Wi-Fi網(wǎng)絡(luò)的商場(chǎng)如果整天流式傳輸多個(gè)視頻頻道，很快就會(huì)看到其傳統(tǒng)接入點(diǎn)陷入困境。因此，提供 AI 功能的邊緣設(shè)備通常是成功應(yīng)用程序的典型特征。這就是為什么MPCam和MPTherm使用STM32MP1和Coral，一個(gè)張量處理單元（TPU）。事實(shí)上，系統(tǒng)必須很小，但功能強(qiáng)大，可以在本地執(zhí)行計(jì)算，以減輕帶寬需求。

如何在邊緣構(gòu)建計(jì)算機(jī)視覺(jué)應(yīng)用程序？

即使是那些了解邊緣對(duì)人工智能需求的人也可能沒(méi)有意識(shí)到 Linux 操作系統(tǒng)的內(nèi)容以及如何創(chuàng)建必要的用戶(hù)體驗(yàn)以促進(jìn)系統(tǒng)管理程序等。因此，MPCam和MPTherm帶有基于OpenSTLinux（嵌入式Linux發(fā)行版）的可引導(dǎo)Linux映像。此外，Siana還與意法半導(dǎo)體密切合作，使用我們的X-LINUX-AI軟件包，該軟件包有助于開(kāi)箱即用地運(yùn)行三個(gè)演示。X-LINUX-AI支持Python 3.10，TensorFlow Lite 2.8.0，OpenCV 4.5等。

這些框架使Siana能夠提供圖像識(shí)別和對(duì)象檢測(cè)應(yīng)用程序。此外，該公司還與 Stura.io 合作提供專(zhuān)有的人員跟蹤計(jì)劃。跟蹤人們特別挑剔，因?yàn)橥ㄟ^(guò)多次計(jì)算同一個(gè)人或未能監(jiān)控他們的運(yùn)動(dòng)來(lái)獲得錯(cuò)誤的結(jié)果太容易了。事實(shí)上，擁有合適的硬件、操作系統(tǒng)和框架是不夠的。每個(gè)用例都需要新的數(shù)據(jù)集、算法和優(yōu)化。通過(guò)使用OpenSTLinux和X-LINUX-AI，Siana幫助客戶(hù)入門(mén)。MPCam和MPTherm附帶一個(gè)Web服務(wù)器?？蛻?hù)可以使用瀏覽器連接到它，并在幾分鐘內(nèi)開(kāi)始運(yùn)行演示應(yīng)用程序。

如何在邊緣普及計(jì)算機(jī)視覺(jué)？

Siana的董事會(huì)為那些無(wú)需內(nèi)部數(shù)據(jù)科學(xué)家即可體驗(yàn)計(jì)算機(jī)視覺(jué)的公司提供了一個(gè)獨(dú)特的機(jī)會(huì)。意法半導(dǎo)體合作伙伴計(jì)劃的成員解釋說(shuō)，這通常是幫助企業(yè)確定計(jì)算機(jī)視覺(jué)是否適合他們以及如何使其成為可操作現(xiàn)實(shí)的最佳方式。最終產(chǎn)品接近最終PCB布局，Stura.io 可以幫助開(kāi)發(fā)適合獨(dú)特需求的應(yīng)用。通過(guò)使用STM32MP1 SiP和意法半導(dǎo)體的軟件解決方案，Siana為沒(méi)有技術(shù)專(zhuān)長(zhǎng)的公司揭開(kāi)了計(jì)算機(jī)視覺(jué)的神秘面紗，以確保他們能夠?yàn)樽约旱臉I(yè)務(wù)做出最佳決策。

部署挑戰(zhàn)是什么？

意法半導(dǎo)體授權(quán)合作伙伴現(xiàn)在正在尋求破解下一個(gè)挑戰(zhàn)：部署。在許多情況下，安裝電路板是有問(wèn)題的，特別是如果客戶(hù)沒(méi)有技術(shù)知識(shí)。因此，Siana正在開(kāi)發(fā)套件，以使現(xiàn)場(chǎng)實(shí)施更容易。設(shè)計(jì)公司也密切關(guān)注微控制器。事實(shí)上，雖然該公司還沒(méi)有想到任何細(xì)節(jié)，但它解釋說(shuō)，它越來(lái)越多地致力于依賴(lài)STM32H7或STM32F7的嵌入式系統(tǒng)，并且UI框架和性能的進(jìn)步正在推動(dòng)越來(lái)越多的項(xiàng)目采用MCU。 因此，意法半導(dǎo)體合作伙伴計(jì)劃的成員也是TouchGFX的實(shí)施者。

Siana和TouchGFX，或嵌入式系統(tǒng)的未來(lái)

使用STM32MP1有什么優(yōu)勢(shì)？

雖然MPCam和MPTherm只使用意法半導(dǎo)體的微處理器，但Siana分享說(shuō)，他們也一直在開(kāi)發(fā)其他使用STM32微控制器的項(xiàng)目，并且是TouchGFX的早期采用者。因此，了解該公司如何使用MPU和MCU很有趣。事實(shí)上，使用微處理器和Linux使得設(shè)計(jì)用戶(hù)界面和體驗(yàn)相對(duì)簡(jiǎn)單。該公司甚至有一位專(zhuān)門(mén)從事圖形設(shè)計(jì)而不是代碼開(kāi)發(fā)的用戶(hù)體驗(yàn)專(zhuān)家。通過(guò)使用意法半導(dǎo)體合作伙伴計(jì)劃的另一個(gè)成員Crank這樣的框架，設(shè)計(jì)人員不需要代碼生成方面的專(zhuān)業(yè)知識(shí)。它使工作流程更容易，并有助于架起與客戶(hù)溝通的橋梁。

為什么TouchGFX越來(lái)越受歡迎？

盡管如此，Siana還分享了他們?nèi)绾卧赟TM32 MCU上看到類(lèi)似的趨勢(shì)。他們的團(tuán)隊(duì)嚴(yán)重依賴(lài)TouchGFX模擬器，這使他們能夠與圖形團(tuán)隊(duì)或客戶(hù)一起進(jìn)行設(shè)計(jì)，而無(wú)需處理代碼庫(kù)本身。該公司還解釋說(shuō)，像STM32H7這樣的設(shè)備的性能縮小了與微處理器的差距，使工程師能夠在微控制器上做更多的事情。Linux 和實(shí)時(shí)環(huán)境在 UI 設(shè)計(jì)方面仍然存在明顯差異。同樣，某些應(yīng)用需要 MPU 提供的功率。我們并不是說(shuō)它們是可以互換的。盡管如此，有趣的是，一家在基于Linux的嵌入式系統(tǒng)方面擁有廣泛專(zhuān)業(yè)知識(shí)的設(shè)計(jì)公司越來(lái)越多地投資于TouchGFX和MCU。

隨著邊緣計(jì)算機(jī)視覺(jué)變得無(wú)處不在，我們預(yù)計(jì)市場(chǎng)將傾向于更具成本效益的解決方案，其中將不可避免地包括微控制器。令人著迷的是，我們的TouchGFX團(tuán)隊(duì)在減少摩擦和使我們的框架對(duì)設(shè)計(jì)師友好方面所做的工作直接影響了像Siana這樣的設(shè)計(jì)公司的活動(dòng)。如果計(jì)算機(jī)視覺(jué)已經(jīng)成為現(xiàn)實(shí)，那么像這樣的創(chuàng)新將使邊緣設(shè)備無(wú)處不在。

審核編輯：郭婷