資料介紹
描述
杰森姐妹
Jetson姐妹是兩款基于Jetson Nano開(kāi)發(fā)系統(tǒng)的輔助機(jī)器人。這些機(jī)器人被設(shè)計(jì)為老年人或獨(dú)居者的助手機(jī)器人。每個(gè)機(jī)器人都具有彼此不同的特征,因此每個(gè)機(jī)器人都可以提供可以更好地與用戶交互的技能。大姐姐是專為戶外工作而設(shè)計(jì)的機(jī)器人。它更堅(jiān)固,非常適合在家外工作。作為專為戶外工作而設(shè)計(jì)的機(jī)器人,大姐姐可以承載更多的重量,這可以讓用戶將其用作去超市購(gòu)物的工具或作為伴侶(該機(jī)器人具有差分運(yùn)動(dòng)學(xué))。
另一方面,小姐姐是一種更小、更不堅(jiān)固的機(jī)器人,專為小公寓等室內(nèi)設(shè)計(jì)而設(shè)計(jì)(該機(jī)器人具有全向運(yùn)動(dòng)學(xué))。由于這些機(jī)器人的可能用途,每個(gè)機(jī)器人都包含人工智能 (AI) 算法,使它們能夠識(shí)別人、情緒并識(shí)別家中的不同位置。由于 Jetson 姐妹的主要想法是與人互動(dòng),因此我們加入了與語(yǔ)音助手 Alexa 的聯(lián)系。這樣,用戶可以通過(guò)自然語(yǔ)言(語(yǔ)音)控制姐妹們,允許下達(dá)諸如“你可以去廚房”之類的命令。
姐姐嵌入了回聲輸入(圖 2)。而妹妹可以通過(guò) Alexa 生態(tài)系統(tǒng)中的任何其他設(shè)備進(jìn)行控制。

而妹妹可以通過(guò) Alexa 生態(tài)系統(tǒng)中的任何其他設(shè)備進(jìn)行控制。
然而,用如此強(qiáng)大的開(kāi)發(fā)工具構(gòu)建了一個(gè)搶劫并能夠使用語(yǔ)音連接到 Alexa,我想到了......為什么不讓大姐通過(guò)低功耗藍(lán)牙 (BLE) 進(jìn)行通信,從而連接可穿戴設(shè)備并將這些信息顯示在 LCD 屏幕上?好吧,從這次叛亂中,大姐姐整合了一個(gè)BLE通信系統(tǒng),它允許通過(guò)alexa,知道你的每分鐘節(jié)拍,步數(shù)等。所有這些信息都是從TTGO T-Watch獲得的(雖然這個(gè)項(xiàng)目沒(méi)有考慮這種可能性使用深度學(xué)習(xí)分析信號(hào),同時(shí)我正在這樣做,但由于時(shí)間問(wèn)題,它們沒(méi)有顯示)。
Alexa 技能
為了為 Alexa 創(chuàng)建技能,我們?cè)?Alexa Amazon 中注冊(cè)了一個(gè)帳戶。

在這一步之后,我們通過(guò)單擊“創(chuàng)建技能”按鈕來(lái)創(chuàng)建我們的技能:

創(chuàng)建技能后,將向用戶提供調(diào)用詞以開(kāi)始與其交互。例如,如果技能名稱是“robot one”,用戶需要說(shuō)“Alexa start the robot one”。由于這個(gè)項(xiàng)目不是關(guān)于如何做一個(gè)alexa技能,而是關(guān)于實(shí)現(xiàn)深度學(xué)習(xí)、機(jī)器人和jetson nano,你可以查看這個(gè)教程。
以下是對(duì)杰森姐妹各部分的介紹。這兩個(gè)系統(tǒng)可以具有相同的視覺(jué)硬件,因?yàn)榉诸愃惴í?dú)立于機(jī)器人。出于預(yù)算原因,我不得不進(jìn)行硬件分發(fā),這意味著一個(gè)姐妹將擁有一個(gè) 360o 相機(jī),另一個(gè)姐妹將擁有一個(gè)深度相機(jī) :'(。
實(shí)感相機(jī)
英特爾? 實(shí)感? 深度攝像頭 D435 是一種立體跟蹤解決方案,可為各種應(yīng)用提供優(yōu)質(zhì)深度。其廣闊的視野非常適合機(jī)器人或增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)等應(yīng)用,在這些應(yīng)用中,盡可能多地看到場(chǎng)景至關(guān)重要。這款相機(jī)的范圍可達(dá) 10 米,其小巧的尺寸使其可以輕松集成到任何硬件中。它配備了英特爾實(shí)感 SDK 2.0 和多平臺(tái)支持。
實(shí)感相機(jī)
英特爾? 實(shí)感? 深度攝像頭 D435 是一種立體跟蹤解決方案,可為各種應(yīng)用提供優(yōu)質(zhì)深度。它的寬視野非常適合機(jī)器人或增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)等應(yīng)用,在這些應(yīng)用中,盡可能多地看到場(chǎng)景至關(guān)重要。這款小型相機(jī)的范圍可達(dá) 10 米,可以輕松集成到任何解決方案中,并配備了我們的英特爾實(shí)感 SDK 2.0 和跨平臺(tái)支持。

理光THETA V
這個(gè)機(jī)器人有一個(gè)單廣角鏡頭相機(jī),這是理光在RICOH THETA Dream and Build Contest中給我頒發(fā)的。相機(jī)的技術(shù)特性可以在以下鏈接中看到。
只需按下快門按鈕,您就可以捕捉到整個(gè)周圍的環(huán)境。享受您從未體驗(yàn)過(guò)的全新影像世界。

最引起我注意的功能之一是它的處理器 Snapdragon 625。
所以,我想知道我能用這臺(tái)相機(jī)做什么,用它來(lái)拍照,將它們發(fā)送到網(wǎng)絡(luò)服務(wù),分析它們并返回分析后的信息……嗯,對(duì)我來(lái)說(shuō)這是一種浪費(fèi)。這就是為什么我想到將我的想法分為兩部分,第一部分(簡(jiǎn)單的東西)我的機(jī)器人以簡(jiǎn)單的方式使用相機(jī)。將它用作另一個(gè)攝像頭,這樣我的機(jī)器人就可以對(duì)其環(huán)境有全局視野。
硬件說(shuō)明
在本節(jié)中,我將描述構(gòu)成 Jetson 的兩個(gè)姐妹的不同部分。
大姐
至此我們已經(jīng)完成了系統(tǒng)的第一部分,接下來(lái)就是大姐的搭建了。為了制作這種結(jié)構(gòu),我使用了鋁結(jié)構(gòu)(圖 12):

圖 13 顯示了使用 SolidWorks 工具制作的 3D 設(shè)計(jì),這是機(jī)器人可以擁有的眾多形狀之一。因?yàn)?,在使用模塊化系統(tǒng)時(shí),機(jī)器人可以有任何形狀。

下面的圖 14 [A 到 D] 顯示了用于控制機(jī)器人輪子的組件。




大姐分為兩個(gè)部分幫助控制機(jī)器人,第一部分負(fù)責(zé) Arduino Mega 2560,第二部分使用 Jetson Nano(圖 10)。Arduino負(fù)責(zé)控制與機(jī)器人底層相關(guān)的一切,即它控制電機(jī)和一些Sharp GP2Y0A2YK0F距離傳感器。這些傳感器用于在檢測(cè)到一定距離內(nèi)的物體時(shí)為機(jī)器人提供反應(yīng)控制。為了控制電機(jī)機(jī)器人,Jetson Nano 發(fā)送一個(gè) JSON 命令。發(fā)送到 Arduino 的消息被序列化,Arduino 提取不同的元素對(duì)其進(jìn)行反序列化。發(fā)送給Arduino的消息如下:
"Stop_robot": "False", "direction": "True", "linear_speed": "0.2", "angular_speed": "0.0"}
"Stop_robot": "False", "direction": "True", "linear_speed": "0.2", "angular_speed": "0.0"}
此消息由 4 個(gè)字段組成,兩個(gè)布爾值和兩個(gè)浮點(diǎn)值,布爾字段允許電機(jī)的方向控制(CW 或 CCW)和電機(jī)的停止。另外兩個(gè)字段是線速度和角速度。出于安全原因,最大速度被限制為 0.2,這在 PWM 中相當(dāng)于總速度的 20%。
機(jī)器人使用的電機(jī)是兩個(gè)吸塵板電機(jī)。

要控制這些電機(jī),需要為每個(gè)電機(jī)配備一個(gè) ESC 控制器。該控制器必須支持 36V 的電壓,因此我們使用了帶有 MODET 晶體管的 ESC,該控制器如下所示(圖 17)。

圖 18 顯示了為控制電機(jī)而進(jìn)行的不同連接(控制電機(jī)和編碼器的電纜顏色是所有電機(jī)的標(biāo)準(zhǔn)顏色)。

然而,這些電機(jī)的一個(gè)問(wèn)題是編碼器,用于控制機(jī)器人的 ESC 具有輸入和輸出。arduino 中斷使用此輸出來(lái)計(jì)算電機(jī)的旋轉(zhuǎn),唯一的問(wèn)題是如果輪子改變旋轉(zhuǎn),通過(guò)中斷引腳的信號(hào)不會(huì)改變。
為此需要添加一個(gè)外部編碼器,這個(gè)編碼器可以幫助機(jī)器人知道輪子的旋轉(zhuǎn)角度和行進(jìn)的距離。用于執(zhí)行此操作的編碼器是AS5048B-TS_EK_AB 。

妹妹
妹妹是使用全向輪式平臺(tái)建造的(圖 20 和 21)。


?

軟件說(shuō)明
在本節(jié)中,我將描述所使用的軟件工具的不同部分,以便 Jetson 工具執(zhí)行不同的交互和多分類任務(wù)。重要的是確定姐妹們使用了三個(gè)訓(xùn)練好的模型。其中兩個(gè)是靜態(tài)的(情感分類和房子里的地方分類),也就是說(shuō)只訓(xùn)練一次,第三個(gè)模型可以是動(dòng)態(tài)的。由于用戶可以動(dòng)態(tài)增加分類的數(shù)量。最后一個(gè)模型被稱為“Things of the house”。
?

?
?
深度學(xué)習(xí)部分
這個(gè)龐大項(xiàng)目最重要的部分之一是技術(shù)的應(yīng)用和使用 Jetson Nano 的深度學(xué)習(xí)工具。重要的是要指出這些機(jī)器人的想法是它們可以在房子里或街道上工作,最后一個(gè)可能是最復(fù)雜的,因?yàn)槲覜](méi)有在戶外工作的激光雷達(dá):' (。我的機(jī)器人當(dāng)時(shí)使用不同的模型來(lái)分類,也就是說(shuō)機(jī)器人使用相同的圖像來(lái)確定它所在的位置,人的情緒(如果它檢測(cè)到人臉)和檢測(cè)家里的物品。
注意:此項(xiàng)目?jī)H適用于此軟件版本:
蟒蛇版本:3.6.9
張量流版本:2.0.0
喀拉斯版本:2.3.1
居所分類
為了使之可行,機(jī)器人必須能夠識(shí)別家中的各個(gè)地方。為此,機(jī)器人需要一些預(yù)先的過(guò)程,即機(jī)器人需要了解它們將展開(kāi)的位置。為此,需要將機(jī)器人放置在家里的每個(gè)房間、廚房、客廳、走廊、房間等。每個(gè)地方大約拍攝 200 張圖像。這些圖像是使用360o Ricoh Theta V 相機(jī)騙取的。
這些圖 26 被調(diào)整為 224x224 的大小,一旦調(diào)整大小,數(shù)據(jù)集就被創(chuàng)建,將用于訓(xùn)練網(wǎng)絡(luò)。

圖 27 顯示了在驗(yàn)證階段從房屋中的地點(diǎn)分類獲得的矩陣。從該圖中可以確定,系統(tǒng)正確識(shí)別了機(jī)器人所在的位置。

情緒分類
情緒分類是機(jī)器人的一個(gè)重要方面,因?yàn)榍榫w會(huì)影響人類行為并影響您的健康。正是出于這個(gè)原因,我引入了一個(gè)情緒分類模型,它可以對(duì) 7 種情緒進(jìn)行分類:AF = 害怕,AN = 憤怒,DI = 厭惡,HA = 快樂(lè),NE = 中性,SA = 悲傷和 SU = 驚訝。


?
家里的東西
這是一個(gè)負(fù)責(zé)對(duì)房屋內(nèi)的物品進(jìn)行分類的模型,這是一個(gè)動(dòng)態(tài)模型。這意味著用戶可以修改它,在模型中添加類。這個(gè)模型的活力,主要是因?yàn)椴⒉皇撬械姆孔佣加邢嗤膶?duì)象。
?

?
附錄
機(jī)器人要與alexa skill進(jìn)行通信,需要用到ngrok工具。這允許在 alexa 和機(jī)器人之間創(chuàng)建一個(gè)通信隧道。
端口:3000
sudo ./ngrok http 3000
NVIDIA 開(kāi)發(fā)用戶:Jaime Andres Rincon Arango
?

?
結(jié)論和未來(lái)的工作
已展示的項(xiàng)目是我正在做的個(gè)人項(xiàng)目的一小部分,主要目標(biāo)是將深度學(xué)習(xí)算法集成到 Jetson Nano 中。與此同時(shí),我一直在嘗試將這些機(jī)器人與亞馬遜的 Alexa 語(yǔ)音助手相結(jié)合。然而,由于機(jī)器人需要時(shí)間來(lái)整理情緒、房子的位置和房子里的東西,所以這種整合并不成功。作為未來(lái)的工作,我希望與 Nvidia Isaac 集成,以減少語(yǔ)音交互時(shí)的延遲。除了改進(jìn)導(dǎo)航算法外,對(duì)內(nèi)部(小姐姐)和外部(大姐姐)使用激光雷達(dá),并通過(guò)強(qiáng)化使機(jī)器人融入學(xué)習(xí)。集成基于多代理系統(tǒng)的系統(tǒng),使兩姐妹相互協(xié)作,
可能的錯(cuò)誤
如果您在使用 Flask、Keras 和 Tensorflow 時(shí)遇到此錯(cuò)誤,可以在此鏈接中查看解決方案。
AttributeError: '_thread._local' 對(duì)象沒(méi)有屬性 'value'
注意:已描述的項(xiàng)目不是周末項(xiàng)目。這是一個(gè)復(fù)雜的項(xiàng)目,其中集成了不同的 AI 技術(shù)以及不同級(jí)別的編程。
?
- 基于Python的AI助手機(jī)器人 1次下載
- 基于Arduino Nano的物體回避機(jī)器人alseTv
- GRIPP3R助手機(jī)器人開(kāi)源分享
- 使用Jetson Nano的CSI相機(jī)接口
- 帶有Arduino和Python的AI助手機(jī)器人
- arduino nano避障機(jī)器人
- 瞳步迎賓講解機(jī)器人
- 瞳步消毒機(jī)器人方案
- NVIDIA Jetson Nano 電源適配器 (供電)
- ABB機(jī)器人CP中級(jí)應(yīng)用培訓(xùn) 12次下載
- 了解機(jī)器人電子教材下載 19次下載
- 機(jī)器人無(wú)線充電電路設(shè)計(jì) 49次下載
- 基于Matlab的機(jī)構(gòu)與機(jī)器人分析資料下載 13次下載
- 基于DSP和PC的農(nóng)業(yè)機(jī)器人控制系統(tǒng) 18次下載
- 基于DSP芯片的足球機(jī)器人實(shí)現(xiàn)與設(shè)計(jì) 27次下載
- 簡(jiǎn)單易學(xué)的Jetson Nano問(wèn)題排除小秘訣 8846次閱讀
- 使用NVIDIA Jetson Orin Nano解決入門級(jí)邊緣人工智能挑戰(zhàn) 2567次閱讀
- 將Jetson AGX Orin開(kāi)發(fā)者套件轉(zhuǎn)化為任何Jetson Orin模塊 2113次閱讀
- 面對(duì)疫情 醫(yī)療機(jī)器人能幫上什么忙? 2236次閱讀
- 微雪電子NVIDIA Jetson Nano人工智能開(kāi)發(fā)套件AI板介紹 5597次閱讀
- 工業(yè)機(jī)器人編程入門_工業(yè)機(jī)器人的編程要求 9787次閱讀
- 醫(yī)用機(jī)器人的定義_醫(yī)用機(jī)器人發(fā)展 3257次閱讀
- 醫(yī)用機(jī)器人的功能_醫(yī)用機(jī)器人分類 2462次閱讀
- 協(xié)作機(jī)器人的起源_為什么需要協(xié)作機(jī)器人 8322次閱讀
- 用Jetson Nano打造您的專屬機(jī)器人 1.1w次閱讀
- 盤點(diǎn)2018年機(jī)器人領(lǐng)域十大技術(shù) 3425次閱讀
- 如何區(qū)分機(jī)器人、協(xié)作機(jī)器人和移動(dòng)機(jī)器人? 7029次閱讀
- 軟體機(jī)器人 前所未見(jiàn)的機(jī)器人 3770次閱讀
- 機(jī)器人的最佳編程語(yǔ)言是什么?機(jī)器人十大流行編程語(yǔ)言匯總 3.5w次閱讀
- 手機(jī)如何連接小米掃地機(jī)器人_小米掃地機(jī)器人怎么連wifi 17.7w次閱讀
下載排行
本周
- 1山景DSP芯片AP8248A2數(shù)據(jù)手冊(cè)
- 1.06 MB | 532次下載 | 免費(fèi)
- 2RK3399完整板原理圖(支持平板,盒子VR)
- 3.28 MB | 339次下載 | 免費(fèi)
- 3TC358743XBG評(píng)估板參考手冊(cè)
- 1.36 MB | 330次下載 | 免費(fèi)
- 4DFM軟件使用教程
- 0.84 MB | 295次下載 | 免費(fèi)
- 5元宇宙深度解析—未來(lái)的未來(lái)-風(fēng)口還是泡沫
- 6.40 MB | 227次下載 | 免費(fèi)
- 6迪文DGUS開(kāi)發(fā)指南
- 31.67 MB | 194次下載 | 免費(fèi)
- 7元宇宙底層硬件系列報(bào)告
- 13.42 MB | 182次下載 | 免費(fèi)
- 8FP5207XR-G1中文應(yīng)用手冊(cè)
- 1.09 MB | 178次下載 | 免費(fèi)
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234315次下載 | 免費(fèi)
- 2555集成電路應(yīng)用800例(新編版)
- 0.00 MB | 33566次下載 | 免費(fèi)
- 3接口電路圖大全
- 未知 | 30323次下載 | 免費(fèi)
- 4開(kāi)關(guān)電源設(shè)計(jì)實(shí)例指南
- 未知 | 21549次下載 | 免費(fèi)
- 5電氣工程師手冊(cè)免費(fèi)下載(新編第二版pdf電子書)
- 0.00 MB | 15349次下載 | 免費(fèi)
- 6數(shù)字電路基礎(chǔ)pdf(下載)
- 未知 | 13750次下載 | 免費(fèi)
- 7電子制作實(shí)例集錦 下載
- 未知 | 8113次下載 | 免費(fèi)
- 8《LED驅(qū)動(dòng)電路設(shè)計(jì)》 溫德?tīng)栔?/a>
- 0.00 MB | 6656次下載 | 免費(fèi)
總榜
- 1matlab軟件下載入口
- 未知 | 935054次下載 | 免費(fèi)
- 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
- 78.1 MB | 537798次下載 | 免費(fèi)
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420027次下載 | 免費(fèi)
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234315次下載 | 免費(fèi)
- 5Altium DXP2002下載入口
- 未知 | 233046次下載 | 免費(fèi)
- 6電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191187次下載 | 免費(fèi)
- 7十天學(xué)會(huì)AVR單片機(jī)與C語(yǔ)言視頻教程 下載
- 158M | 183279次下載 | 免費(fèi)
- 8proe5.0野火版下載(中文版免費(fèi)下載)
- 未知 | 138040次下載 | 免費(fèi)
評(píng)論