總所周知，完全集成的?2D?和?3D?數(shù)據(jù)很好，?歸功于?3D?點云帶有完整的?RGB?圖像。?在?2D?圖像中找到描述特征的像素后，可以直接將其與相同像素的?3D?數(shù)據(jù)相關(guān)聯(lián)。?所有這些信息都可以由?Zivid?彩色相機提供，因此只需一臺設(shè)備即可查看完整的工作。

從同一傳感器傳送所有場景信息可簡化系統(tǒng)的整體設(shè)置。?例如，無需將外部?2D?彩色相機校準到與?3D?相機相同的坐標系。?所以，機器人安裝任務(wù)變得簡單，可獲得所需的所有信息，并在所需環(huán)境中靈活成像。且動態(tài)放置相機可以獲得場景的最佳成像位置。

今天向您展示一種有趣的方式來探索數(shù)據(jù)與高質(zhì)量?3D?點云相結(jié)合的實用性。?用大頭針觸碰氣球而不弄破它。

第?1?步：構(gòu)建檢測框架

圖?1：帶有深度著色的氣球點云

開始構(gòu)建系統(tǒng)，我們將專注于檢測方面。?第一個目標是在?2D?圖像中找到氣球。?并沒有嘗試為此任務(wù)構(gòu)建一個完整的檢測算法，而是采用一種相當基本的方法來檢查場景中的顏色值。?場景中的每個像素都有一個指定的?R、G、B?值。?這些中的每一個都有一個介于?0-255?之間的值，比較這些值可以指示像素具有哪種顏色。?這是一種相當粗略的方法，但是可以接受的。?顏色值應(yīng)按預(yù)期分布：

紅色：R?>?200，G?

綠色：R??200，B?>?60

藍色：R?

黃色：R?>?200，G?>?200，B?

圖?2：氣球四種顏色的?2D?彩色圖像。

創(chuàng)建一個與原始圖像大小相同的二進制掩碼。?1?值表示條件語句為真的區(qū)域，0?表示顏色為假的區(qū)域，這顯示為尋找下面的藍色氣球。

使用?OpenCV，我們可以對位掩碼進行一些邊緣檢測，找到最大的黃色部分的輪廓并將其填充，顯示我們找到氣球表面的位置。?這個區(qū)域是目標點位置的地方。?下一步將是找到正確的進場方向。

圖?4：檢測到的氣球表面帶有青色的?2D?圖像。

借助?Zivid?提供的數(shù)據(jù)，我們可以在不做任何額外工作的情況下找出有關(guān)點云中每個點的大量信息。?現(xiàn)在我們有了想要觸摸的點的?XYZ?位置，我們可以找到該點的接近方向。?為此，我們可以使用?Zivid?SDK?提供的表面法線向量，并將其用作目標方向的?Z?軸，以創(chuàng)建可以驅(qū)動機器人到達的接近目標。?這一步要記住的一個關(guān)鍵部分是機器人將要接近的目標的?X?和?Y?方向。

圖?5：模擬捕獲顯示圍繞?Z?軸的兩個不同姿勢方向。

對于我們的案例，最佳做法是將?X?和?Y?方向?qū)R，使其與機器人的當前位置和方向相似。?這使我們能夠?qū)z像頭保持在機器臂上側(cè)，并降低導致電纜拉傷或與機器人發(fā)生任何碰撞的風險。?由于相機與地板平行，因此可以參考相機坐標系來幫助定義觸摸姿勢的?X?和?Y?向量。

在選取點的一側(cè)選擇一個點，以幫助定義用于定義姿勢的幫助向量。?然后我們可以對該向量進行歸一化，并使用幫助向量和?Z?向量的叉積來定義?y?向量。?現(xiàn)在有相互垂直的?Y?和?Z?向量，可以使用通過叉積來找到位姿的最終?X?向量。?使用這三個向量，我們可以定義?4x4?齊次變換的旋轉(zhuǎn)矩陣。

圖?6：3D?渲染上目標姿勢可視化的屏幕截圖

第?2?步：手眼標定

一個永遠不會過時的話題是執(zhí)行手眼標定。為了從系統(tǒng)中獲得最佳精度，通過使用手眼校準找到從相機幀到末端執(zhí)行器幀的轉(zhuǎn)換是絕對必要的。安裝時的任何小角度或變化都可能導致與?CAD?圖紙的輸出截然不同。?Zivid?具有?API?支持以及?CLI?工具，可用于在手眼和手眼設(shè)置中執(zhí)行手眼。本次使用的校準目標是?ZVD-CB01?校準目標。此目標用于手眼和內(nèi)場校正。為了在您的設(shè)置中獲得最佳性能，建議在執(zhí)行手眼標定之前執(zhí)行內(nèi)場校正。

每次相機被碰撞、敲擊或從進行手眼的位置移開時，都必須再次進行手眼標定。安裝連接中的微米級移動或幾分之一度的變化就會引起手眼變換。所以，遵守數(shù)據(jù)表中提供的?Zivid?安裝硬件推薦的密封性指南非常重要。

第?3?步：使用手眼標定

從手眼標定返回的變換是?4x4?齊次變換矩陣的形式。這將用于該項目數(shù)學中的所有轉(zhuǎn)換的格式。手眼變換可以與拾取點?4x4?矩陣相乘，將點位置轉(zhuǎn)換為末端執(zhí)行器框架，然后可以通過將其與機器人的位姿相乘將其轉(zhuǎn)換為機器人基礎(chǔ)框架，也可以作為?4x4轉(zhuǎn)換。這會將?TCP（工具中心點）需要移動到的點放置到基礎(chǔ)框架中，然后機器人可以被驅(qū)動到該點。有了這個，你就有了一個氣球觸摸機器人！

使用?Zivid?相機，可以簡化任務(wù)以查找和定位環(huán)境中的重要的內(nèi)容。我們的主要目標之一是盡可能地簡化過程。如果您對如何與?Zivid?SDK?交互有任何其他疑問，請聯(lián)系美城工作人員！

上海美城智能科技有限公司為行業(yè)提供領(lǐng)先的成像和視覺系統(tǒng)解決方案，高品質(zhì)的成像和視覺產(chǎn)品，以及專業(yè)化一體化的服務(wù)。公司致力于3D成像應(yīng)用場景化研發(fā)，推動行業(yè)的3D應(yīng)用發(fā)展，深度覆蓋工業(yè)、國防、科研、交通、3D交互和生命科學等行業(yè)。豐富的全球化合作資源和自主研發(fā)技術(shù)相結(jié)合，為客戶打造優(yōu)質(zhì)的產(chǎn)品和方案。

審核編輯：符乾江