#前言

該文檔介紹SigmastarPcupid系列(Comake_pi_D1SSU9353XSSD235XSSU9222XSSU9383CM)如何對(duì)接火山引擎RTC服務(wù)實(shí)現(xiàn)板端音視頻AI對(duì)話和視覺(jué)推理，這里主要介紹測(cè)試環(huán)境的搭建，DemoCode跟著SDK釋放，如客戶有需要可以聯(lián)系對(duì)應(yīng)支持的FAE兄弟獲取。

ComakePiD1的客戶可以通過(guò)https://www.comake.online/index.php?p=down_list&lanmu=4&c_id=15&id=59"GUI開(kāi)發(fā)Demo"欄位下載flythings_gui_demo，火山引擎交互對(duì)應(yīng)的代碼路徑為“zkgui_demo/zk_mini/jni/logic/volc”。

#準(zhǔn)備條件

##硬件環(huán)境搭建

完整的ComakePID1開(kāi)發(fā)板(可以在社區(qū)商店購(gòu)買https://www.comake.online/index.php?p=shop)，包含攝像頭,模擬麥克風(fēng)，喇叭，并準(zhǔn)備能訪問(wèn)外網(wǎng)的網(wǎng)絡(luò)環(huán)境。

##軟件環(huán)境搭建

ComakePID132Bit軟件默認(rèn)有集成火山引擎Demo，但是沒(méi)有提供對(duì)應(yīng)的火山賬號(hào)，需要開(kāi)發(fā)者參考如下步驟去開(kāi)通自己的賬號(hào)，火山有提供一定額度的免費(fèi)體驗(yàn)token。否則運(yùn)行火山引擎會(huì)提示不存在如下配置文件/customer/zkgui_mini/resource/sample/config.json[空的config.json下載路徑](https://dev-comake-1251124109.cos.ap-guangzhou.myqcloud.com/file/1755226688840272/config.json)。

###火山引擎云服務(wù)開(kāi)通

火山引擎的實(shí)時(shí)音視頻RTC功能，需要依賴語(yǔ)音識(shí)別（ASR）、語(yǔ)音合成（TTS）、大語(yǔ)言模型（LLM），我們先創(chuàng)建自己的火山引擎賬號(hào)，并開(kāi)通對(duì)應(yīng)的服務(wù)。

###開(kāi)通RTC服務(wù)并創(chuàng)建應(yīng)用ID

參考https://www.volcengine.com/docs/6348/69865開(kāi)通實(shí)時(shí)音視頻服務(wù)(RTC)，并創(chuàng)建RTC應(yīng)用，**獲取App_ID、APP_KEY并保留**，后面需要將此信息填入通訊配置config.json對(duì)應(yīng)的欄位，這兩個(gè)分別是應(yīng)用標(biāo)識(shí)符和對(duì)應(yīng)的密鑰，需要妥善保管以防泄漏。

```

"RTC_APP_ID":"XXXXXXXXXXXX",

"RTC_APP_KEY":"XXXXXXXXXX",

```

###開(kāi)通語(yǔ)音識(shí)別（ASR）、語(yǔ)音合成（TTS）、大語(yǔ)言模型（LLM）服務(wù)

參考https://www.volcengine.com/docs/6348/1315561開(kāi)通ASR、LLM、TTS服務(wù)。

需要注意的最后需要為賬號(hào)配置策略，不然會(huì)出現(xiàn)板端收不到智能體回復(fù)數(shù)據(jù)的情況。

####**開(kāi)通語(yǔ)音識(shí)別、語(yǔ)音合成服務(wù)**

根據(jù)場(chǎng)景需求，開(kāi)通ASR和TTS服務(wù)（ASR和TTS服務(wù)存在一些可選配置，不同的配置價(jià)格不同）https://console.volcengine.com/speech/app。

**記錄TTS_AST_APP_ID和TTS_TOKEN_ID填入config.json**

```

"ASR_APP_ID":"67790xxxxx",

"TTS_APP_ID":"67790xxxxx",

"TTS_TOKEN_ID":"OKly6Lr3XFFIw3xxxxx",

```

另外需要注意代碼里TTS的配置和應(yīng)用配置的權(quán)限要對(duì)上，例如如果應(yīng)用沒(méi)有開(kāi)通音頻生成大模型，代碼就不能配置"Provider"為"volcano_bidirection"，只能配置為volcano，也不能傳遞tts_token,不然音頻傳生成功能會(huì)異常，進(jìn)入房間聽(tīng)不到歡迎語(yǔ)，demo代碼默認(rèn)使用的音頻生成和語(yǔ)音識(shí)別，沒(méi)有使用大模型。

下圖是具體的示意圖：


####**開(kāi)通大語(yǔ)言模型服務(wù)**

根據(jù)場(chǎng)景需要，開(kāi)通需要的LLM服務(wù)（不同的LLM大模型價(jià)格不同，我們演示使用的是Doubao-1.5-vision-pro-32k）通過(guò)https://console.volcengine.com/ark/region:ark+cn-beijing/endpoint創(chuàng)建應(yīng)用，并記錄應(yīng)用ID號(hào)，**填入config.json"LLM_END_POINT_ID":"ep-xxxxxx",**

這步如果沒(méi)有正常開(kāi)通，demo也會(huì)遇到?jīng)]有歡迎語(yǔ)的提示

下圖是具體開(kāi)通步驟的示意圖：


####**配置不同權(quán)限賬號(hào)調(diào)用智能體**

開(kāi)通完服務(wù)后，還需要為角色配置策略，打開(kāi)https://console.volcengine.com/rtc/aigc/iam,前往**跨服務(wù)授權(quán)**，點(diǎn)擊一鍵開(kāi)通跨服務(wù)授權(quán)配置角色。


配置成功后你可以在https://console.volcengine.com/iam/identitymanage/role角色管理中找到該角色，該角色擁有SAFullAccess、MaaSExperienceAccess和RTCFullAccess權(quán)限。下圖為配置后的示意圖：


最后在https://console.volcengine.com/iam/keymanage界面獲取ACCESS_KEY

```

"ACCESS_KEY":"XXXX",

"SECRET_ACCESS_KEY":"XXX==",填入config.json

```


####**如果是使用子賬號(hào)，在板端調(diào)用權(quán)限有所同，注意參考https://www.volcengine.com/docs/6348/1315561設(shè)定**


###**依賴庫(kù)移植**

該AIdemo開(kāi)啟智能體使用的是API方式，因而需要通過(guò)網(wǎng)絡(luò)發(fā)送httppost數(shù)據(jù)包，需要為板端移植相關(guān)的庫(kù)，訪問(wèn)網(wǎng)絡(luò)時(shí)使用到的庫(kù)有：openssl、cares、curl。此外，由于火山引擎RTC服務(wù)的音頻不支持pcm格式，目前僅支持opus，g722，aac，g711a格式，根據(jù)實(shí)際需求移植相關(guān)的音頻編解碼庫(kù)，本AIdemo使用的是opus。

注意需要使用對(duì)應(yīng)的Toolchain編譯對(duì)應(yīng)的Lib庫(kù)，libVolcEngineRTCLite.so需要聯(lián)系火山引擎軟件人員并提供Toolchain，其他依賴庫(kù)可以使用BuildRoot環(huán)境進(jìn)行更新。目前Demo只支持glibc12.4.0arm32Bit的開(kāi)發(fā)環(huán)境。

###配置文件準(zhǔn)備

板端運(yùn)行該AIdemo需要輸入一個(gè)配置文件config.json，前面篇章有介紹到的字段均需要寫入此配置文件中。

配置好后推送到主板/customer/zkgui_mini/resource/sample/config.json即可使用火山引擎Demo。

該配置文件包含了火山引擎服務(wù)的Key和Id信息，文件中的各字段所表示的意義可以參考開(kāi)啟智能體API（https://www.volcengine.com/docs/6348/1558163）時(shí)所使用的參數(shù)。

```

config.json

{

"RTC_APP_ID":"xxx",

"RTC_APP_KEY":"xxx",

"ACCESS_KEY":"xxx",

"SECRET_ACCESS_KEY":"xxx",

"ROOM_ID":"xxx",

"USER_ID":"xxx",

"AGENT_USER_ID":"xxx",

"TASK_ID":"xxx",

"TOKEN_VALUE":"xxx",

"ASR_APP_ID":"xxx",

"TTS_APP_ID":"xxx",

"TTS_TOKEN_ID":"xxx",

"LLM_END_POINT_ID":"xxx",

"SERVER_MESSAGE_URL":"xxx",

"SERVER_MESSAGE_SIGNATURE":"xxx"

}

```

其中如下4項(xiàng)"ROOM_ID""USER_ID":"AGENT_USER_ID""TASK_ID":"task1"，為房間信息用戶填寫，而"TOKEN_VALUE"目前是根據(jù)上述信息自動(dòng)生產(chǎn)。

如下兩項(xiàng)可以保持默認(rèn)值不變

"SERVER_MESSAGE_URL":"https://pm.comake.online/doubao_debug.log?type=subv",

"SERVER_MESSAGE_SIGNATURE":"892495980b78182f2fbab8e317e607a1bd6f1111c0b43a6ebb37337a6971c2bb"

#demo介紹

##demo流程說(shuō)明

該AIdemo實(shí)現(xiàn)了AI對(duì)話以及視頻圖像推理的功能。用戶通過(guò)關(guān)鍵詞喚醒設(shè)備后，將語(yǔ)音輸入（opus）和圖像輸入（h264）通過(guò)火山引擎的RTCSDK傳輸?shù)交鹕揭娴脑品?wù)，通過(guò)火山引擎的RTCSDK回調(diào)接收智能體的語(yǔ)音回復(fù)，解碼后進(jìn)行播放。從而實(shí)現(xiàn)AI式對(duì)話和視覺(jué)推理的功能。如下所示為該AIdemo的框圖:


由**VIF**接收**Sensor**的數(shù)據(jù)，送到**ISP**和**SCL**進(jìn)行圖像處理和圖像的縮小，將處理后的圖像送到**SWVENC**進(jìn)行軟件編碼得到h264碼流數(shù)據(jù)，當(dāng)Audio往火山傳輸數(shù)據(jù)時(shí)，同時(shí)發(fā)生VideoH264I幀數(shù)據(jù)。

由**AI(AudioInput)**接收**Mic**的輸出，經(jīng)過(guò)**AEC**回聲消除處理、**APC**降噪處理、**VAD**語(yǔ)音檢測(cè)、**KWS**關(guān)鍵詞檢測(cè)，將語(yǔ)音輸入編碼成opus格式。

通過(guò)火山引擎RTC的接口，將編碼后的語(yǔ)音和視頻數(shù)據(jù)發(fā)送到火山引擎云端進(jìn)行分析，等待火山引擎云端回復(fù)分析結(jié)果，將回復(fù)的語(yǔ)音數(shù)據(jù)進(jìn)行opus解碼后通過(guò)**AO**輸出到**Speaker**。

##demo使用說(shuō)明

###demo使用流程

###網(wǎng)絡(luò)環(huán)境

```

該demo需要訪問(wèn)外部網(wǎng)絡(luò)，連接外網(wǎng)

Demo軟件可以通過(guò)如下命令設(shè)定Mac地址通過(guò)DHCP獲取IP地址:

ifconfigeth0hwether00:71:30:1B:xx:xx

ifconfigeth0up

udhcpc-ieth0-s/etc/init.d/udhcpc.script

獲取IP后確認(rèn)ping豆包官網(wǎng)access.rtc.volcvideo.com是否成功

```

###demo運(yùn)行

ComakePiD132Bit軟件默認(rèn)有集成此Demo,UI點(diǎn)擊"火山引擎"即可打開(kāi)。

###查看加入房間打印以及歡迎語(yǔ)

demo成功跑起來(lái)后會(huì)收到RTC加入房間的回調(diào)打印以及聽(tīng)到智能體的歡迎語(yǔ)（你好，我是小星，我是你的好朋友，可以陪你談天說(shuō)地?。?，如下所示：


上圖中紅框部分就是RTC加入房間的回調(diào)打印以及智能體的歡迎語(yǔ)回復(fù)信息打印，看到這些信息基本可以說(shuō)明智能體已經(jīng)正常開(kāi)始工作了。

###查看關(guān)鍵詞打印

當(dāng)聽(tīng)到智能體的歡迎語(yǔ)后就可以開(kāi)始對(duì)話了，對(duì)話前，請(qǐng)先說(shuō)關(guān)鍵詞："你好，小星"。當(dāng)板端檢測(cè)到關(guān)鍵詞后，會(huì)有這個(gè)打印后，此時(shí)可以開(kāi)始詢問(wèn)問(wèn)題：


超過(guò)60s沒(méi)有檢測(cè)到實(shí)時(shí)語(yǔ)音就需要再次通過(guò)關(guān)鍵詞觸發(fā)。

###查看發(fā)送音頻/視頻數(shù)據(jù)打印

demo發(fā)送一幀音頻或一幀h264時(shí)，會(huì)出現(xiàn)如下類似打印：


上圖中sendopusencode是發(fā)送的一幀音頻數(shù)據(jù)的打??；sendvideoframe是發(fā)送的一幀h264的打印。

####查看智能體回復(fù)打印

不管發(fā)送視頻還是音頻數(shù)據(jù)，只要智能體有回復(fù)數(shù)據(jù)時(shí)，就可以看到如下圖所示打?。?/p>


####實(shí)例演示


##火山引擎相關(guān)開(kāi)發(fā)說(shuō)明

###RTCSDK接口調(diào)用順序

首先是進(jìn)行RTC的初始化，user和agent加入房間。當(dāng)APP收到回調(diào)函數(shù)后，就可以通過(guò)byte_rtc_send_audio_data以及byte_rtc_send_video_data接口發(fā)送音頻和視頻數(shù)據(jù)給大模型。經(jīng)過(guò)大模型分析后，會(huì)通過(guò)回調(diào)函數(shù)將回復(fù)數(shù)據(jù)給到APP。當(dāng)用戶離開(kāi)房間后，就可以關(guān)閉房間，但需要等待RTC的回調(diào)函數(shù)通知才可以銷毀房間。

需要注意的是，demo中使用的是opus編碼格式，火山引擎還支持G722、AAC、G711格式，APP發(fā)送什么格式的音頻數(shù)據(jù)，火山引擎就會(huì)回復(fù)什么格式的音頻數(shù)據(jù)。應(yīng)用場(chǎng)景需要什么編碼格式可自行移植相關(guān)編解碼庫(kù)進(jìn)行對(duì)接，并通過(guò)byte_rtc_set_audio_codec接口告知RTC傳輸?shù)氖鞘裁淳幋a格式，該接口需要在byte_rtc_init之后，byte_rtc_join_room之前調(diào)用。


###Toke鑒權(quán)

用戶在加入房間時(shí)（調(diào)用byte_rtc_join_room接口），需要傳入Token參數(shù)。在volc_agent.cpp文件中，實(shí)現(xiàn)了根據(jù)AppID、AppKey、RoomID、UserID、時(shí)間戳等參數(shù)實(shí)時(shí)生成Token的程序，而該部分對(duì)應(yīng)的具體生成過(guò)程可以參考火山引擎官方文檔：https://www.volcengine.com/docs/6348/70121。

###API簽名驗(yàn)證

在調(diào)用OpenAPI時(shí)，需要對(duì)API進(jìn)行簽名以便火山引擎能夠進(jìn)行身份驗(yàn)證。在volc_agent.cpp文件中，實(shí)現(xiàn)了通過(guò)curl庫(kù)調(diào)用StartVoiceChat等API的程序，而該部分對(duì)應(yīng)的具體簽名過(guò)程可以參考火山引擎官方文檔：https://www.volcengine.com/docs/6348/69859。

#問(wèn)題記錄

##出現(xiàn)signature請(qǐng)求過(guò)期的打印

調(diào)用開(kāi)啟智能體API時(shí)需要需要按照一定格式發(fā)送httppost請(qǐng)求，如果發(fā)送請(qǐng)求時(shí)出現(xiàn)以下打?。?/p>


出現(xiàn)上圖打印說(shuō)明httppost的簽名是過(guò)期的，這個(gè)是因?yàn)楹灻b權(quán)時(shí)需要使用當(dāng)前時(shí)間，板端開(kāi)機(jī)后時(shí)間從1970年開(kāi)始計(jì)算，因此，構(gòu)造的請(qǐng)求就是過(guò)期的。

需要確保Demo運(yùn)行時(shí)ntp相關(guān)調(diào)用沒(méi)有異常。

##加入房間沒(méi)有成功

在智能體加入房間成功后，會(huì)有回調(diào)打印顯示，但是如果串口一直在刷如下打?。?/p>


當(dāng)遇到這種情況時(shí)，說(shuō)明智能體并沒(méi)有成功加入房間，大概率是地址解析失敗，需要檢查網(wǎng)絡(luò)看看，可以嘗試pingaccess.rtc.volcvideo.com這個(gè)域名看看需要多久才可以解析出，如果時(shí)間超過(guò)了5s（RTC那邊握手最多5s），說(shuō)明網(wǎng)絡(luò)有問(wèn)題，建議更換一個(gè)網(wǎng)絡(luò)。

##出現(xiàn)globalerror打印

在智能體加入房間時(shí)，如果長(zhǎng)時(shí)間都沒(méi)有加入成功（至少5s），并且會(huì)有如下打?。?/p>


當(dāng)遇到這種情況時(shí)，根據(jù)豆包的回復(fù)是由于網(wǎng)絡(luò)的原因，這種情況豆包那邊會(huì)嘗試重新連接，一般最后都會(huì)成功，因此，這個(gè)錯(cuò)誤可以暫時(shí)不用管。

##智能體沒(méi)有回復(fù)數(shù)據(jù)

當(dāng)出現(xiàn)智能體沒(méi)有歡迎語(yǔ)播報(bào),或者智能體沒(méi)有回復(fù)數(shù)據(jù)時(shí)，可以按照以下步驟進(jìn)行確認(rèn)。

###確認(rèn)ASR、TTS服務(wù)是否開(kāi)通

demo依賴火山引擎云端的語(yǔ)音識(shí)別(ASR)和語(yǔ)音合成(TTS)服務(wù)的，請(qǐng)務(wù)必開(kāi)通這兩個(gè)服務(wù)，如下所示：


###確認(rèn)是否為角色配置策略

智能體要想回復(fù)，是需要有權(quán)限的，請(qǐng)務(wù)必在頁(yè)面https://console.volcengine.com/rtc/aigc/iam點(diǎn)擊一鍵開(kāi)通跨服務(wù)授權(quán)配置角色進(jìn)行配置策略，授權(quán)后https://console.volcengine.com/iam/identitymanage/role可以看到如下角色權(quán)限：


###確認(rèn)開(kāi)啟智能體時(shí)的json參數(shù)配置

除了一些必要的服務(wù)以及權(quán)限外，在調(diào)用開(kāi)啟智能體API時(shí)還會(huì)需要配置智能體的一些屬性，SystemMessages系統(tǒng)提示詞，用于輸入控制大模型行為方式的指令，定義了模型的角色、行為準(zhǔn)則，特定的輸出格式等，這個(gè)配置很重要。

目前，demo中為智能體配置的屬性如下所示：


json中具體每個(gè)字段的含義，可以參考該鏈接中的說(shuō)明：https://www.volcengine.com/docs/6348/1404673。一般情況下，智能體沒(méi)有回復(fù)，基本都是這個(gè)json配置有問(wèn)題。

##智能體回復(fù)不準(zhǔn)確

智能體回復(fù)不準(zhǔn)確，需要修改智能體的初始化人設(shè).方法是修改llm_configSystemMessages字段代碼位置：

zk_minijnilogicvolcvolc_agent.cpp480行，目前人設(shè)是一個(gè)簡(jiǎn)單的陪伴機(jī)器人。

```

cJSON_AddItemToArray(system_messages,cJSON_CreateString("你是小星，你是用戶的好朋友，你是一個(gè)具備情感陪伴能力的智能機(jī)器人，核心目標(biāo)是通過(guò)表情識(shí)別與自然語(yǔ)言交互，為用戶提供有溫度的情感支持，回復(fù)內(nèi)容不能包含圖片相關(guān)字眼。

請(qǐng)遵循以下原則：角色設(shè)定：以朋友身份互動(dòng)，語(yǔ)氣親切自然，避免機(jī)械感（禁用技術(shù)術(shù)語(yǔ)，多用口語(yǔ)化表達(dá)）。

情感優(yōu)先：任何回復(fù)需優(yōu)先匹配用戶當(dāng)前表情識(shí)別的情緒（如高興、悲傷、疲憊），再結(jié)合對(duì)話內(nèi)容。

情緒識(shí)別標(biāo)準(zhǔn)：微笑、大笑表示高興，皺眉、流淚表示悲傷，瞪眼、咬牙表示憤怒,瞪眼、張嘴表示驚訝。"));

```

##其它問(wèn)題

其他問(wèn)題可以參考火山引擎RTC服務(wù)官網(wǎng)中的文檔說(shuō)明https://www.volcengine.com/docs/6348。

審核編輯 黃宇