描述

杰森姐妹

Jetson姐妹是兩款基于Jetson Nano開(kāi)發(fā)系統(tǒng)的輔助機(jī)器人。這些機(jī)器人被設(shè)計(jì)為老年人或獨(dú)居者的助手機(jī)器人。每個(gè)機(jī)器人都具有彼此不同的特征，因此每個(gè)機(jī)器人都可以提供可以更好地與用戶交互的技能。大姐姐是專為戶外工作而設(shè)計(jì)的機(jī)器人。它更堅(jiān)固，非常適合在家外工作。作為專為戶外工作而設(shè)計(jì)的機(jī)器人，大姐姐可以承載更多的重量，這可以讓用戶將其用作去超市購(gòu)物的工具或作為伴侶（該機(jī)器人具有差分運(yùn)動(dòng)學(xué)）。

另一方面，小姐姐是一種更小、更不堅(jiān)固的機(jī)器人，專為小公寓等室內(nèi)設(shè)計(jì)而設(shè)計(jì)（該機(jī)器人具有全向運(yùn)動(dòng)學(xué)）。由于這些機(jī)器人的可能用途，每個(gè)機(jī)器人都包含人工智能 (AI) 算法，使它們能夠識(shí)別人、情緒并識(shí)別家中的不同位置。由于 Jetson 姐妹的主要想法是與人互動(dòng)，因此我們加入了與語(yǔ)音助手 Alexa 的聯(lián)系。這樣，用戶可以通過(guò)自然語(yǔ)言（語(yǔ)音）控制姐妹們，允許下達(dá)諸如“你可以去廚房”之類的命令。

姐姐嵌入了回聲輸入（圖 2）。而妹妹可以通過(guò) Alexa 生態(tài)系統(tǒng)中的任何其他設(shè)備進(jìn)行控制。

而妹妹可以通過(guò) Alexa 生態(tài)系統(tǒng)中的任何其他設(shè)備進(jìn)行控制。

然而，用如此強(qiáng)大的開(kāi)發(fā)工具構(gòu)建了一個(gè)搶劫并能夠使用語(yǔ)音連接到 Alexa，我想到了......為什么不讓大姐通過(guò)低功耗藍(lán)牙 (BLE) 進(jìn)行通信，從而連接可穿戴設(shè)備并將這些信息顯示在 LCD 屏幕上？好吧，從這次叛亂中，大姐姐整合了一個(gè)BLE通信系統(tǒng)，它允許通過(guò)alexa，知道你的每分鐘節(jié)拍，步數(shù)等。所有這些信息都是從TTGO T-Watch獲得的（雖然這個(gè)項(xiàng)目沒(méi)有考慮這種可能性使用深度學(xué)習(xí)分析信號(hào)，同時(shí)我正在這樣做，但由于時(shí)間問(wèn)題，它們沒(méi)有顯示）。

Alexa 技能

為了為 Alexa 創(chuàng)建技能，我們?cè)?Alexa Amazon 中注冊(cè)了一個(gè)帳戶。

在這一步之后，我們通過(guò)單擊“創(chuàng)建技能”按鈕來(lái)創(chuàng)建我們的技能：

創(chuàng)建技能后，將向用戶提供調(diào)用詞以開(kāi)始與其交互。例如，如果技能名稱是“robot one”，用戶需要說(shuō)“Alexa start the robot one”。由于這個(gè)項(xiàng)目不是關(guān)于如何做一個(gè)alexa技能，而是關(guān)于實(shí)現(xiàn)深度學(xué)習(xí)、機(jī)器人和jetson nano，你可以查看這個(gè)教程。

以下是對(duì)杰森姐妹各部分的介紹。這兩個(gè)系統(tǒng)可以具有相同的視覺(jué)硬件，因?yàn)榉诸愃惴í?dú)立于機(jī)器人。出于預(yù)算原因，我不得不進(jìn)行硬件分發(fā)，這意味著一個(gè)姐妹將擁有一個(gè) 360o 相機(jī)，另一個(gè)姐妹將擁有一個(gè)深度相機(jī) :'(。

實(shí)感相機(jī)

英特爾? 實(shí)感? 深度攝像頭 D435 是一種立體跟蹤解決方案，可為各種應(yīng)用提供優(yōu)質(zhì)深度。其廣闊的視野非常適合機(jī)器人或增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)等應(yīng)用，在這些應(yīng)用中，盡可能多地看到場(chǎng)景至關(guān)重要。這款相機(jī)的范圍可達(dá) 10 米，其小巧的尺寸使其可以輕松集成到任何硬件中。它配備了英特爾實(shí)感 SDK 2.0 和多平臺(tái)支持。

實(shí)感相機(jī)

英特爾? 實(shí)感? 深度攝像頭 D435 是一種立體跟蹤解決方案，可為各種應(yīng)用提供優(yōu)質(zhì)深度。它的寬視野非常適合機(jī)器人或增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)等應(yīng)用，在這些應(yīng)用中，盡可能多地看到場(chǎng)景至關(guān)重要。這款小型相機(jī)的范圍可達(dá) 10 米，可以輕松集成到任何解決方案中，并配備了我們的英特爾實(shí)感 SDK 2.0 和跨平臺(tái)支持。

理光THETA V

這個(gè)機(jī)器人有一個(gè)單廣角鏡頭相機(jī)，這是理光在RICOH THETA Dream and Build Contest中給我頒發(fā)的。相機(jī)的技術(shù)特性可以在以下鏈接中看到。

只需按下快門按鈕，您就可以捕捉到整個(gè)周圍的環(huán)境。享受您從未體驗(yàn)過(guò)的全新影像世界。

最引起我注意的功能之一是它的處理器 Snapdragon 625。

所以，我想知道我能用這臺(tái)相機(jī)做什么，用它來(lái)拍照，將它們發(fā)送到網(wǎng)絡(luò)服務(wù)，分析它們并返回分析后的信息……嗯，對(duì)我來(lái)說(shuō)這是一種浪費(fèi)。這就是為什么我想到將我的想法分為兩部分，第一部分（簡(jiǎn)單的東西）我的機(jī)器人以簡(jiǎn)單的方式使用相機(jī)。將它用作另一個(gè)攝像頭，這樣我的機(jī)器人就可以對(duì)其環(huán)境有全局視野。

硬件說(shuō)明

在本節(jié)中，我將描述構(gòu)成 Jetson 的兩個(gè)姐妹的不同部分。

大姐

至此我們已經(jīng)完成了系統(tǒng)的第一部分，接下來(lái)就是大姐的搭建了。為了制作這種結(jié)構(gòu)，我使用了鋁結(jié)構(gòu)（圖 12）：

圖 13 顯示了使用 SolidWorks 工具制作的 3D 設(shè)計(jì)，這是機(jī)器人可以擁有的眾多形狀之一。因?yàn)?，在使用模塊化系統(tǒng)時(shí)，機(jī)器人可以有任何形狀。

下面的圖 14 [A 到 D] 顯示了用于控制機(jī)器人輪子的組件。

大姐分為兩個(gè)部分幫助控制機(jī)器人，第一部分負(fù)責(zé) Arduino Mega 2560，第二部分使用 Jetson Nano（圖 10）。Arduino負(fù)責(zé)控制與機(jī)器人底層相關(guān)的一切，即它控制電機(jī)和一些Sharp GP2Y0A2YK0F距離傳感器。這些傳感器用于在檢測(cè)到一定距離內(nèi)的物體時(shí)為機(jī)器人提供反應(yīng)控制。為了控制電機(jī)機(jī)器人，Jetson Nano 發(fā)送一個(gè) JSON 命令。發(fā)送到 Arduino 的消息被序列化，Arduino 提取不同的元素對(duì)其進(jìn)行反序列化。發(fā)送給Arduino的消息如下：

"Stop_robot": "False", "direction": "True", "linear_speed": "0.2", "angular_speed": "0.0"}

"Stop_robot": "False", "direction": "True", "linear_speed": "0.2", "angular_speed": "0.0"}

此消息由 4 個(gè)字段組成，兩個(gè)布爾值和兩個(gè)浮點(diǎn)值，布爾字段允許電機(jī)的方向控制（CW 或 CCW）和電機(jī)的停止。另外兩個(gè)字段是線速度和角速度。出于安全原因，最大速度被限制為 0.2，這在 PWM 中相當(dāng)于總速度的 20%。

機(jī)器人使用的電機(jī)是兩個(gè)吸塵板電機(jī)。

霍爾編碼器連接和電機(jī)電源線的配置如圖 16 所示。

要控制這些電機(jī)，需要為每個(gè)電機(jī)配備一個(gè) ESC 控制器。該控制器必須支持 36V 的電壓，因此我們使用了帶有 MODET 晶體管的 ESC，該控制器如下所示（圖 17）。

圖 18 顯示了為控制電機(jī)而進(jìn)行的不同連接（控制電機(jī)和編碼器的電纜顏色是所有電機(jī)的標(biāo)準(zhǔn)顏色）。

然而，這些電機(jī)的一個(gè)問(wèn)題是編碼器，用于控制機(jī)器人的 ESC 具有輸入和輸出。arduino 中斷使用此輸出來(lái)計(jì)算電機(jī)的旋轉(zhuǎn)，唯一的問(wèn)題是如果輪子改變旋轉(zhuǎn)，通過(guò)中斷引腳的信號(hào)不會(huì)改變。

為此需要添加一個(gè)外部編碼器，這個(gè)編碼器可以幫助機(jī)器人知道輪子的旋轉(zhuǎn)角度和行進(jìn)的距離。用于執(zhí)行此操作的編碼器是AS5048B-TS_EK_AB 。

妹妹

妹妹是使用全向輪式平臺(tái)建造的（圖 20 和 21）。

?

軟件說(shuō)明

在本節(jié)中，我將描述所使用的軟件工具的不同部分，以便 Jetson 工具執(zhí)行不同的交互和多分類任務(wù)。重要的是確定姐妹們使用了三個(gè)訓(xùn)練好的模型。其中兩個(gè)是靜態(tài)的（情感分類和房子里的地方分類），也就是說(shuō)只訓(xùn)練一次，第三個(gè)模型可以是動(dòng)態(tài)的。由于用戶可以動(dòng)態(tài)增加分類的數(shù)量。最后一個(gè)模型被稱為“Things of the house”。

?

?

?

深度學(xué)習(xí)部分

這個(gè)龐大項(xiàng)目最重要的部分之一是技術(shù)的應(yīng)用和使用 Jetson Nano 的深度學(xué)習(xí)工具。重要的是要指出這些機(jī)器人的想法是它們可以在房子里或街道上工作，最后一個(gè)可能是最復(fù)雜的，因?yàn)槲覜](méi)有在戶外工作的激光雷達(dá)：' （。我的機(jī)器人當(dāng)時(shí)使用不同的模型來(lái)分類，也就是說(shuō)機(jī)器人使用相同的圖像來(lái)確定它所在的位置，人的情緒（如果它檢測(cè)到人臉）和檢測(cè)家里的物品。

注意：此項(xiàng)目?jī)H適用于此軟件版本：

蟒蛇版本：3.6.9

張量流版本：2.0.0

喀拉斯版本：2.3.1

居所分類

為了使之可行，機(jī)器人必須能夠識(shí)別家中的各個(gè)地方。為此，機(jī)器人需要一些預(yù)先的過(guò)程，即機(jī)器人需要了解它們將展開(kāi)的位置。為此，需要將機(jī)器人放置在家里的每個(gè)房間、廚房、客廳、走廊、房間等。每個(gè)地方大約拍攝 200 張圖像。這些圖像是使用360o Ricoh Theta V 相機(jī)騙取的。

這些圖 26 被調(diào)整為 224x224 的大小，一旦調(diào)整大小，數(shù)據(jù)集就被創(chuàng)建，將用于訓(xùn)練網(wǎng)絡(luò)。

圖 27 顯示了在驗(yàn)證階段從房屋中的地點(diǎn)分類獲得的矩陣。從該圖中可以確定，系統(tǒng)正確識(shí)別了機(jī)器人所在的位置。

情緒分類

情緒分類是機(jī)器人的一個(gè)重要方面，因?yàn)榍榫w會(huì)影響人類行為并影響您的健康。正是出于這個(gè)原因，我引入了一個(gè)情緒分類模型，它可以對(duì) 7 種情緒進(jìn)行分類：AF = 害怕，AN = 憤怒，DI = 厭惡，HA = 快樂(lè)，NE = 中性，SA = 悲傷和 SU = 驚訝。

?

家里的東西

這是一個(gè)負(fù)責(zé)對(duì)房屋內(nèi)的物品進(jìn)行分類的模型，這是一個(gè)動(dòng)態(tài)模型。這意味著用戶可以修改它，在模型中添加類。這個(gè)模型的活力，主要是因?yàn)椴⒉皇撬械姆孔佣加邢嗤膶?duì)象。

?

?

附錄

機(jī)器人要與alexa skill進(jìn)行通信，需要用到ngrok工具。這允許在 alexa 和機(jī)器人之間創(chuàng)建一個(gè)通信隧道。

端口：3000

sudo ./ngrok http 3000

NVIDIA 開(kāi)發(fā)用戶：Jaime Andres Rincon Arango

?

?

結(jié)論和未來(lái)的工作

已展示的項(xiàng)目是我正在做的個(gè)人項(xiàng)目的一小部分，主要目標(biāo)是將深度學(xué)習(xí)算法集成到 Jetson Nano 中。與此同時(shí)，我一直在嘗試將這些機(jī)器人與亞馬遜的 Alexa 語(yǔ)音助手相結(jié)合。然而，由于機(jī)器人需要時(shí)間來(lái)整理情緒、房子的位置和房子里的東西，所以這種整合并不成功。作為未來(lái)的工作，我希望與 Nvidia Isaac 集成，以減少語(yǔ)音交互時(shí)的延遲。除了改進(jìn)導(dǎo)航算法外，對(duì)內(nèi)部（小姐姐）和外部（大姐姐）使用激光雷達(dá)，并通過(guò)強(qiáng)化使機(jī)器人融入學(xué)習(xí)。集成基于多代理系統(tǒng)的系統(tǒng)，使兩姐妹相互協(xié)作，

可能的錯(cuò)誤

如果您在使用 Flask、Keras 和 Tensorflow 時(shí)遇到此錯(cuò)誤，可以在此鏈接中查看解決方案。

AttributeError: '_thread._local' 對(duì)象沒(méi)有屬性 'value'

注意：已描述的項(xiàng)目不是周末項(xiàng)目。這是一個(gè)復(fù)雜的項(xiàng)目，其中集成了不同的 AI 技術(shù)以及不同級(jí)別的編程。

?