關(guān)于虹科智能感知

虹科智能感知事業(yè)部專注于智能感知與機(jī)器視覺(jué)領(lǐng)域，已經(jīng)和IDS，Blickfeld和Gidel等有著重要地位的國(guó)際公司展開(kāi)深度的技術(shù)合作。我們的解決方案包括3D激光雷達(dá)，工業(yè)相機(jī)，視覺(jué)處理平臺(tái)，圖像采集卡及視覺(jué)系統(tǒng)集成等。虹科的工程師積極參與國(guó)內(nèi)外專業(yè)協(xié)會(huì)和聯(lián)盟的活動(dòng)，我們非常重視技術(shù)培訓(xùn)和積累，公司定期與國(guó)內(nèi)外專家團(tuán)隊(duì)進(jìn)行交流和培訓(xùn)。

AI速度快，耐用，錯(cuò)誤極低，不需要停歇。由于這些優(yōu)點(diǎn)，在必須持續(xù)高效率和高質(zhì)量執(zhí)行工作流程的領(lǐng)域，AI比人類更有優(yōu)勢(shì)。人們希望在機(jī)器視覺(jué)環(huán)境中使用AI與機(jī)器人技術(shù)進(jìn)行交互，以提高流程效率和成本效益?！耙曈X(jué)引導(dǎo)機(jī)器人”用例展示了典型的取放任務(wù)，在不使用PC的情況下通過(guò)機(jī)器人和嵌入式AI視覺(jué)相機(jī)實(shí)現(xiàn)智能自動(dòng)化。
對(duì)于“智能抓取”，不同學(xué)科必須以最佳方式合作。舉個(gè)例子來(lái)說(shuō)，要使用機(jī)器人對(duì)不同大小、形狀、材料或質(zhì)量的產(chǎn)品進(jìn)行分類，那么不但要進(jìn)行抓取，還必須事先進(jìn)行識(shí)別、分析和定位。對(duì)于基于規(guī)則的圖像處理系統(tǒng)，這通常不僅非常耗時(shí)（處理小批量任務(wù)時(shí)尤其嚴(yán)重），而且在經(jīng)濟(jì)效益上說(shuō)幾乎不可行。但是，工業(yè)機(jī)器人與基于AI的推理結(jié)合后，已經(jīng)具備了熟練工人所需的技能和產(chǎn)品知識(shí)。事實(shí)上，不再需要為單個(gè)子任務(wù)重新設(shè)計(jì)方案。只需要讓合適的產(chǎn)品以跨學(xué)科的方式有效協(xié)同工作，構(gòu)成一個(gè)“智能機(jī)器人視覺(jué)系統(tǒng)”，就足夠應(yīng)對(duì)這類任務(wù)。

01

智能拾取用例

在生產(chǎn)線中，物體隨機(jī)散布在傳送帶上。必須檢測(cè)、選擇對(duì)象，根據(jù)需要將其放入包裝中，或?qū)⑵鋫鬟f到正確的位置，以便進(jìn)行進(jìn)一步的處理或分析。虹科合作伙伴開(kāi)發(fā)了一種基于PC的解決方案，用于檢測(cè)物體和控制機(jī)器人。他們訓(xùn)練的AI模型能夠識(shí)別相機(jī)圖像中物體的位置和方向，從而確定機(jī)器人的抓取坐標(biāo)。現(xiàn)在的目標(biāo)是將該解決方案遷移到虹科的基于AI的嵌入式視覺(jué)系統(tǒng)。對(duì)于他們來(lái)說(shuō)，解決方案中最重要的兩大要求是：

（1）用戶應(yīng)該在不需要特殊AI專業(yè)知識(shí)的情況下，輕松針對(duì)不同用例調(diào)整系統(tǒng)。這意味著，即使生產(chǎn)環(huán)境發(fā)生一些變化，例如照明、對(duì)象的外觀發(fā)生變化，甚至增加了其他對(duì)象類型，系統(tǒng)依然可以發(fā)揮作用。

（2）實(shí)現(xiàn)設(shè)備組件之間的直接通信，使整個(gè)系統(tǒng)可以徹底擺脫對(duì)PC的依賴，從而減小成本、降低重量并節(jié)省空間。

虹科推出的IDS NXT ocean推理相機(jī)系統(tǒng)可以滿足這兩項(xiàng)要求。

02

位置檢測(cè)和機(jī)器通信

經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)識(shí)別圖像中的所有對(duì)象，并檢測(cè)它們的位置和方向。AI不僅能處理外觀保持不變的固定對(duì)象，也適用于存在大量自然變化的情況，例如食物、植物或其他柔性物體。這使得物體的位置和方向識(shí)別非常穩(wěn)定。我們可以使用自己的軟件和知識(shí)為客戶訓(xùn)練網(wǎng)絡(luò)，然后將其上傳到虹科的智能相機(jī)。要做到這一點(diǎn)，必須將它轉(zhuǎn)化成一種特殊的優(yōu)化格式，類似于一種“鏈表”。借助虹科提供的Ferry工具，將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)移植到推理相機(jī)中就變得非常容易。在這個(gè)過(guò)程中，CNN網(wǎng)絡(luò)的每一層都成為一個(gè)節(jié)點(diǎn)描述符，這種描述符可以精確描述每一層。最終的結(jié)果是以二進(jìn)制表示的CNN的完整串聯(lián)列表。CNN加速器是專門為該相機(jī)開(kāi)發(fā)的，以FPGA為基礎(chǔ)，非常適合執(zhí)行這個(gè)通用CNN。

然后，虹科開(kāi)發(fā)的視覺(jué)應(yīng)用根據(jù)檢測(cè)數(shù)據(jù)計(jì)算機(jī)器人的最佳抓取位置。但這還不夠。除了抓取什么、在哪里以及如何抓取的結(jié)果外，智能相機(jī)和機(jī)器人之間還必須建立直接通信，不應(yīng)低估這項(xiàng)任務(wù)的重要性。這通常是決定解決方案需要投入多少時(shí)間、金錢和人力的關(guān)鍵因素。我們通過(guò)虹科Vision App Creator在相機(jī)的視覺(jué)應(yīng)用中實(shí)現(xiàn)了基于XMLRPC的網(wǎng)絡(luò)協(xié)議，可以將具體的工作指令直接傳遞給機(jī)器人。最終的AI視覺(jué)應(yīng)用能在大約200毫秒內(nèi)檢測(cè)到物體，并實(shí)現(xiàn)了+/-2度的定位精度。

虹科智能相機(jī)中的神經(jīng)網(wǎng)絡(luò)定位并檢測(cè)物體的準(zhǔn)確位置機(jī)器人可以根據(jù)這些圖像信息，獨(dú)立取放這些物體

03

擺脫對(duì)PC機(jī)的依賴，實(shí)現(xiàn)人工智能

這個(gè)用例的突出之處不僅僅是人工智能，這個(gè)解決方案完全可以在沒(méi)有PC的情況下工作。這一點(diǎn)有兩個(gè)方面的優(yōu)勢(shì)。首先，由于相機(jī)本身不僅僅傳送圖像，更可以生成圖像處理結(jié)果，這樣就可以省去PC硬件和所有相關(guān)基礎(chǔ)設(shè)施。最終可以降低系統(tǒng)的購(gòu)置和維護(hù)成本。然而，通常情況下，直接在生產(chǎn)現(xiàn)場(chǎng)做出流程決策也很重要，也就是要滿足“及時(shí)”的要求。這樣，系統(tǒng)就可以更快地執(zhí)行后續(xù)處理，并消除延遲，這在某些情況下還能夠提高時(shí)鐘頻率。
其次，這種方式可以降低開(kāi)發(fā)成本。AI視覺(jué)或神經(jīng)網(wǎng)絡(luò)訓(xùn)練的工作方式與基于規(guī)則的經(jīng)典圖像處理完全不同，這也改變了圖像處理任務(wù)的方法和處理方式。最終質(zhì)量不再由圖像處理專家和應(yīng)用開(kāi)發(fā)人員人工開(kāi)發(fā)的程序代碼決定。換句話說(shuō)，如果可以基于AI實(shí)現(xiàn)一個(gè)應(yīng)用，虹科智能相機(jī)方案還可以節(jié)省相應(yīng)專家的成本和時(shí)間，因?yàn)橛辛擞脩粲押玫娜孳浖h(huán)境，每個(gè)用戶群都可以訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)相應(yīng)的視覺(jué)應(yīng)用，并在相機(jī)上執(zhí)行。該用例展示了計(jì)算機(jī)視覺(jué)如何成為無(wú)PC的嵌入式AI視覺(jué)應(yīng)用。基于視覺(jué)應(yīng)用的概念的可擴(kuò)展性、針對(duì)不同目標(biāo)群體的應(yīng)用開(kāi)發(fā)以及端到端生產(chǎn)商支持也是小型嵌入式系統(tǒng)的優(yōu)勢(shì)。有了智能相機(jī)，就可以在應(yīng)用中清楚分配各種能力。用戶的注意力可以集中在他的產(chǎn)品上，而我們則專注于訓(xùn)練和運(yùn)行AI，以進(jìn)行圖像處理和控制機(jī)器人。另一個(gè)優(yōu)勢(shì)是，通過(guò)基于以太網(wǎng)通信和開(kāi)放式平臺(tái)，視覺(jué)應(yīng)用還可以輕松適應(yīng)其他物體、其他機(jī)器人模型，從而適應(yīng)許多其他類似應(yīng)用。

一體化推理小體積智能相機(jī)——虹科NXT rio GS18031C-HQ

虹科NXT rio GS18031C-HQ工業(yè)推理相機(jī)，采用Sony IMX265LQR-C CMOS傳感器，像素達(dá)300萬(wàn)，幀率為20fps，自帶128M圖像內(nèi)存。我們提供的NXT工業(yè)相機(jī)平臺(tái)，可以實(shí)現(xiàn)本地圖像處理?？捎糜趯?shí)現(xiàn)視覺(jué)解決方案的所有步驟，從圖像采集、圖像分析與處理到工業(yè)生產(chǎn)設(shè)備的控制。我們可以提供包括硬件、軟件和基礎(chǔ)設(shè)施在內(nèi)的所有相關(guān)技術(shù)知識(shí)和支持，用戶只需擁有應(yīng)用場(chǎng)合相關(guān)的專業(yè)知識(shí)和樣本圖像即可搭建神經(jīng)網(wǎng)絡(luò)。借助云軟件平臺(tái)Lighthouse，即使是沒(méi)有人工智能知識(shí)的用戶，也能利用自己的圖像數(shù)據(jù)來(lái)訓(xùn)練AI分類器或是物體檢測(cè)器。Lighthouse是一款Web應(yīng)用程序，用戶可立刻使用它的所有功能和基礎(chǔ)架構(gòu)。即用戶無(wú)需事先搭建個(gè)人開(kāi)發(fā)環(huán)境，直接可以開(kāi)始訓(xùn)練他們專屬的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)訓(xùn)練只需三步：上傳樣本數(shù)據(jù)，給圖像貼上標(biāo)簽，然后按一下按鈕即可創(chuàng)建所需網(wǎng)絡(luò)。生成的網(wǎng)絡(luò)可以直接在NXT相機(jī)上運(yùn)行，將其變成推理相機(jī)——意味著他們能將深度學(xué)習(xí)所獲得的知識(shí)，應(yīng)用到新的數(shù)據(jù)中。由于NXT相機(jī)具有特殊的AI處理器，因此神經(jīng)網(wǎng)絡(luò)能由硬件加速，并直接在設(shè)備上運(yùn)行。