實(shí)驗(yàn)指南

概述

本實(shí)驗(yàn)將為您介紹如何在e2 studio中使用Reality AI相關(guān)組件來(lái)進(jìn)行AI開(kāi)發(fā)，主要涉及如何使用Reality AI Data shipper/collector，Reality AI Data Storage Tool等工具來(lái)采集，存儲(chǔ)數(shù)據(jù)文件，同時(shí)將數(shù)據(jù)文件上傳到Reality AI portal中進(jìn)行模型訓(xùn)練與生成，代碼部署與調(diào)試。

本實(shí)驗(yàn)基于3軸加速度傳感器的X，Y，Z，3軸加速度在不同動(dòng)作下的變化，使用Reality AI tools訓(xùn)練并生成模型，來(lái)識(shí)別不同的動(dòng)作。開(kāi)發(fā)流程簡(jiǎn)單，快捷易用。

實(shí)驗(yàn)?zāi)繕?biāo)

掌握Reality AI Data shipper/collector的基本使用方法

掌握Reality AI Data Storage Tool的基本使用方法

實(shí)驗(yàn)材料

Windows10/11 PC

FPB-RA6E2開(kāi)發(fā)板及其配件

ICM-42670-P模塊

FSP 5.4.0

e2 studio 2024-04及以上

Reality AI Tools賬號(hào)

技能要求

熟悉Renesas e2 studio操作

了解RA MCU的外圍接口

一安裝和準(zhǔn)備

本節(jié)要點(diǎn)

本節(jié)學(xué)習(xí)如何搭建實(shí)驗(yàn)以及如何將套件連接至電腦端。

步驟

1.1首先確保已安裝所有實(shí)驗(yàn)工具。

e2stduio 2024-04及以上版本

（此鏈接包含了FSP5.4.0）

https://github.com/renesas/fsp/releases/download/v5.4.0/setup_fsp_v5_4_0_e2s_v2024-04.exe

JLink RTT-Viewer V7.96g及以上版本

https://www.segger.com/downloads/jlink/

1.2本實(shí)驗(yàn)將用到如下組件：

Micro USB數(shù)據(jù)線1根

FPB-RA6E21塊

ICM-42670-P模塊1塊

PMOD bridge板1塊

1.3請(qǐng)按以下步驟操作：

將ICM-42670-P模塊和PMOD bridge板，按照下圖安裝（注意安裝方向）。再與FPB-RA6E2的左下PMOD1端口連接。

用Micro USB線，一端接入FPB-RA6E2板Micro USB端口，另一端接入PC USB接口。

右上黃色Debug LED和右上綠色Power LED會(huì)常亮。如果是處于代碼調(diào)試過(guò)程中，黃色Debug LED會(huì)處于閃爍狀態(tài)。

1.4打開(kāi)PC設(shè)備管理器，在端口（COM和LPT）中會(huì)顯示“Jlink CDC UART Port（COMxx）”，表示PC已經(jīng)識(shí)別到FPB-RA6E2板上的JLink CDC UART。在通用總線設(shè)備中會(huì)顯示“BULK interface”（這個(gè)不是必要的，有些版本的windows不會(huì)顯示這個(gè)信息）。

注意：中文版本的Windows顯示信息會(huì)略有不同，會(huì)顯示通信端口（COMxx）或者串行端口（COMxx）。

1.5使用已經(jīng)申請(qǐng)到的Reality AI Tools賬號(hào)登錄Reality AI Tools網(wǎng)站（您可復(fù)制下方鏈接至瀏覽器，或掃描二維碼查看）。賬號(hào)申請(qǐng)需要聯(lián)系Renesas代理商或者Renesas銷售。

Reality AI Tools網(wǎng)站

https://portal.reality.ai/login

保持瀏覽器頁(yè)面如上圖所示。

二數(shù)據(jù)采集

本節(jié)要點(diǎn)

本節(jié)學(xué)習(xí)e2 studio中Reality AI組件的使用。

工程代碼

https://gitee.com/recn-mcu-ae/fpbra6e2amrtraining

步驟

2.1運(yùn)行e2 studio，點(diǎn)擊File->Import。

2.2選擇General->existing Projects into Workspace，運(yùn)行“Next”。

2.3導(dǎo)入FPBRA6E2_AMR_training工程文件按照下圖所示，然后運(yùn)行“Next”。

2.4返回到Reality AI Tools網(wǎng)頁(yè)界面，創(chuàng)建一個(gè)新的項(xiàng)目“Asset Tracking”。

Name填寫Asset Tracking。

Description主要是用來(lái)描述項(xiàng)目簡(jiǎn)略情況的，可以不填，或者按照自己的需要填寫。

2.5單擊網(wǎng)頁(yè)右上角的用戶名，選擇“Api Key”。

2.6單擊下面的“Generate New API Key”后，再單擊右側(cè)的Copy按鈕復(fù)制顯示的“API Key”。

2.7點(diǎn)擊e2 studio中的Renesas AI->Reality AI Authentication。

粘貼上一步復(fù)制的API Key，并運(yùn)行“Apply and Close”。

2.8點(diǎn)擊“Test Connection…”，進(jìn)行連接測(cè)試。

如果顯示下面界面，表示e2 Studio已經(jīng)成功連接到Reality AI Tools。

2.9點(diǎn)擊e2 studio中的Renesas AI->Show View->Reality AI Data Storage Tool。

2.10將項(xiàng)目切換到FPBRA6E2_AMR_training，再點(diǎn)擊“Data connection…”。

COM port選擇1.4步驟中的Jlink CDC UART Port，波特率選擇115200，其他配置參考下圖顯示。

點(diǎn)擊“Connect”。然后再點(diǎn)擊“Close”。

2.11點(diǎn)擊圖標(biāo)

來(lái)編譯工程。

本工程經(jīng)過(guò)編譯后，應(yīng)該沒(méi)有任何errors或者warnings。

2.12點(diǎn)擊按鈕

啟動(dòng)調(diào)試并檢查控制臺(tái)中的

內(nèi)容是否成功建立了連接。

2.13如果你遇到下面所示彈出的窗口，勾選“Remember my decision”，并點(diǎn)擊“Switch”。

2.14點(diǎn)擊按鈕

兩次。

此時(shí)，程序正常運(yùn)行起來(lái)。

2.15點(diǎn)擊Reality AI Data Storage Tool視圖中的Data file setting…。

這里可以設(shè)置

采集的數(shù)據(jù)文件的格式，支持csv，wav格式文件。

數(shù)據(jù)的采樣率。

采集數(shù)據(jù)文件的存儲(chǔ)地址。地址可以根據(jù)自己情況設(shè)置。

2.16點(diǎn)擊Reality AI Data Storage Tool視圖，可以看到三種實(shí)時(shí)運(yùn)行的波形圖。

注意：如果波形沒(méi)有出現(xiàn)或者波形圖不動(dòng)，點(diǎn)擊紅色框中的File review，再點(diǎn)擊Live view。如果還是沒(méi)有波形圖出現(xiàn)，檢查上述步驟中的JLink CDC UART是否連接正常。

2.17在Class name中輸入當(dāng)前的數(shù)據(jù)標(biāo)簽normal/shake/drop，生成的數(shù)據(jù)文件會(huì)以標(biāo)簽名為前綴名，并加上采集的data collector的ID號(hào)和時(shí)間戳。

如：drop_id0_20240813222558879.csv，表示該數(shù)據(jù)文件是drop類別的數(shù)據(jù)，它是由data collector0在2024年8月13日22點(diǎn)25分58秒879毫秒采集的。

本實(shí)驗(yàn)一共需要采集3類數(shù)據(jù)，normal（正常）、shake（搖晃）、drop（跌落）。每類數(shù)據(jù)采集1分鐘左右即可。

注意：盡量做到每類數(shù)據(jù)采集的時(shí)間相同，這樣可以確保接下來(lái)的訓(xùn)練數(shù)據(jù)處于平衡的狀態(tài)。

normal是板子處于靜止的狀態(tài)下采集的數(shù)據(jù)。

shake是拿著板子左右搖晃，前后搖晃或者移動(dòng)板子的狀態(tài)下采集的數(shù)據(jù)。

drop是拿著板子離桌面10cm左右，自由落體跌落的狀態(tài)下采集的數(shù)據(jù)。（建議在泡沫或者軟材質(zhì)墊子上進(jìn)行，避免板子損壞）。

點(diǎn)擊“Start new capture”，開(kāi)始進(jìn)行數(shù)據(jù)采集。點(diǎn)擊“Stop capture”停止采集。

2.18選擇已經(jīng)采集的數(shù)據(jù)文件，點(diǎn)擊右下角的upload…按鈕，上傳數(shù)據(jù)到Reality AI Tools中。

2.19在彈出的窗口中選擇“Asset Tracking”，并輸入采樣率1600。點(diǎn)擊OK，等待數(shù)據(jù)上傳。

數(shù)據(jù)上傳完成后，會(huì)有如下提示窗口彈出。同時(shí)，文件列表中的Status顯示為Uploaded。

2.20點(diǎn)擊圖標(biāo)

來(lái)終止程序運(yùn)行。