第一代機(jī)器人，如第一批消費(fèi)級機(jī)器人吸塵器，相對來說比較簡單，自我導(dǎo)航和執(zhí)行任務(wù)的能力有限。這些機(jī)器人通過紅外發(fā)射器等探測障礙物，使用震動(dòng)傳感器檢測碰撞。但是，這些都已成為歷史。

隨著人工智能（AI）、機(jī)器學(xué)習(xí)（ML）和計(jì)算機(jī)視覺（CV）等融合技術(shù)的進(jìn)步，現(xiàn)在，機(jī)器人可以看到周圍的環(huán)境，分析動(dòng)態(tài)場景或變化的條件，并做出決定。而硬件創(chuàng)新進(jìn)一步推動(dòng)了這些功能的完善，比如越來越強(qiáng)大的移動(dòng)平臺(tái)、更復(fù)雜的傳感器和高分辨率圖像捕獲。

有了這些資源，開發(fā)者可以專注于開發(fā)更少依賴外部硬件（如GPS）的更自主的智能機(jī)器人，機(jī)器人的工作環(huán)境也得到大大的拓展（如，在室內(nèi)、在弱光下等），并且可以處理不斷變化的環(huán)境和移動(dòng)物體。為零售、汽車、農(nóng)業(yè)、工業(yè)物聯(lián)網(wǎng)（IoT）、健康和企業(yè)等領(lǐng)域的新型機(jī)器人應(yīng)用鋪平了道路。

為實(shí)現(xiàn)上述目標(biāo)，機(jī)器人開發(fā)者應(yīng)努力克服機(jī)器人視覺三大挑戰(zhàn)：

? 確定對象的方向：不僅要識別周圍環(huán)境中的對象，還必須確定它們在3D空間中的方向，以便機(jī)器人與這些對象交互和/或回避這些對象。

? 處理移動(dòng)對象：給定環(huán)境中的對象可能不是靜態(tài)的。機(jī)器人需要在空間和時(shí)間上檢測、識別和跟蹤對象。

? 導(dǎo)航：要使機(jī)器人具有自主性，還需要相應(yīng)的算法，允許其在變化的環(huán)境中進(jìn)行移動(dòng)。

四階段戰(zhàn)略

開發(fā)者可以根據(jù)要求，通過采用四階段策略來克服這些挑戰(zhàn)：

1. 預(yù)處理：從現(xiàn)實(shí)世界（如，傳感器和相機(jī)）收集數(shù)據(jù)并轉(zhuǎn)換，使數(shù)據(jù)更加方便使用。

2. 特征檢測：從預(yù)處理數(shù)據(jù)中提取諸如角落、邊緣等特征。

3. 對象檢測和分類：從特征檢測對象，并且可以根據(jù)已知的特征圖對對象進(jìn)行分類。

4. 對象跟蹤和導(dǎo)航：跟蹤已識別對象，包括對象和在機(jī)器人導(dǎo)航時(shí)改變環(huán)境的視點(diǎn)。

然后，這些階段生成的數(shù)據(jù)可用于控制伺服、制定決策以及執(zhí)行其他高級機(jī)器人任務(wù)。

聽起來好像工作量很大，事實(shí)上也可能如此，但幸運(yùn)的是，現(xiàn)在有相應(yīng)的框架和硬件，幫助您解決這個(gè)問題。Qualcomm Technologies, Inc.最近發(fā)布了 Qualcomm機(jī)器人RB3平臺(tái)（RB3）（基于QualcommSDA845 SoC（SDA845））及相關(guān)的Qualcomm RoboticsRB3開發(fā)套件。該套件為開發(fā)者提供了移動(dòng)硬件功能和豐富的工具支持，助力您解決上述挑戰(zhàn)。

本系列文章共兩篇，在第一篇中，我們將介紹該策略的前兩個(gè)階段：預(yù)處理和特征檢測，以及如何使用功能豐富的開發(fā)工具包（如Qualcomm Robotics RB3開發(fā)套件。

預(yù)處理

機(jī)器人使用一個(gè)或多個(gè)攝像頭和/或其他傳感器從現(xiàn)實(shí)世界收集數(shù)據(jù)。但是，這些原始數(shù)據(jù)可能不適合于滿足既定目標(biāo)所需的準(zhǔn)確計(jì)算和預(yù)測。此時(shí)，可以使用數(shù)字信號處理（DSP）等方法，“清理”數(shù)據(jù)，使其方便使用。比如，可以采用多種方式清理圖像數(shù)據(jù)，包括調(diào)整大小、伽馬校正和對比度增強(qiáng)；而傳感器數(shù)據(jù)，如來自Qualcomm Robotics RB3開發(fā)套件上的慣性測量單元（IMU）、加速度計(jì)、氣壓計(jì)和/或麥克風(fēng)的傳感器數(shù)據(jù)，可以進(jìn)行融合、內(nèi)推和/或過濾。

在處理圖像數(shù)據(jù)時(shí)，必須規(guī)劃好收集數(shù)量和速度。Qualcomm Robotics RB3開發(fā)套件支持兩個(gè)（立體）圖像，這意味著系統(tǒng)必須同時(shí)處理兩個(gè)平面。此外，還可以支持16-32萬像素的分辨率和30-60 fps的幀速率。同樣，可以使用Qualcomm SDA845上的高速和低速連接器以及您采用的傳感器類型，以各種頻率和比特率收集傳感器數(shù)據(jù)。

為減少處理這些數(shù)據(jù)的開銷，一般希望使用最低采樣率和分辨率，滿足應(yīng)用程序所需的數(shù)據(jù)量即可。此外，還應(yīng)盡可能將處理流程卸載到合適的處理器。Qualcomm SDA845與專用硬件兼容，包括Qualcomm Hexagon 685 DSP和Qualcomm Spectra 280 ISP，以及更通用的Qualcomm Kryo385 CPU和面向圖形的Qualcomm Adreno 630 GPU。

在API方面，開發(fā)者可以使用Qualcomm計(jì)算機(jī)視覺庫，該庫包含許多用于圖像預(yù)處理的硬件加速API。也可以使用Qualcomm神經(jīng)處理引擎SDK，其中包含圖像預(yù)處理API，用于處理神經(jīng)網(wǎng)絡(luò)中的圖像。另外，還可以選擇使用Qualcomm驍龍異構(gòu)計(jì)算SDK，進(jìn)一步控制計(jì)算操作的執(zhí)行方式。

特征檢測

通過提供干凈的數(shù)據(jù)，可以提取功能。對于可視化數(shù)據(jù)，計(jì)算機(jī)視覺開發(fā)者希望的四種常用特性包括：

? 角落：具有局部2D結(jié)構(gòu)的點(diǎn)狀特征

? 邊緣：兩個(gè)區(qū)域之間的一組點(diǎn)

? Blob：感興趣的區(qū)域

? 脊：具有脊點(diǎn)的曲線

這篇維基百科文章提供了有關(guān)這些特性的更多信息，并列出了許多特性檢測器算法以及以檢測的特性類型。下圖顯示了從可視數(shù)據(jù)中檢測到的特性：

特征檢測算法需要大量處理能力，但通常逐個(gè)像素運(yùn)行，因此，很適合在Qualcomm SDA845不同處理器上并行執(zhí)行。開發(fā)者可以使用計(jì)算機(jī)視覺庫中的特性檢測API，其中包括Harris角檢測器、FAST、Hough Transform和其他檢測器，以及基于最大穩(wěn)定極值區(qū)（MSER）的對象檢測API。

結(jié)論

前兩個(gè)階段為機(jī)器人視覺處理打下了堅(jiān)實(shí)的基礎(chǔ)。預(yù)處理將數(shù)據(jù)轉(zhuǎn)換為可用形式，而特征檢測則是了解數(shù)據(jù)的過程。在以后的文章中，我們將繼續(xù)探討最后兩個(gè)階段：對象檢測和分類、對象跟蹤和導(dǎo)航，為機(jī)器人提供導(dǎo)航和與周圍環(huán)境交互所需的數(shù)據(jù)。（來源于Qualcomm）

責(zé)任編輯：xj

原文標(biāo)題：機(jī)器人視覺處理四階段策略

文章出處：【微信公眾號：新機(jī)器視覺】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。