手把手教你用聆思 CSK6 大模型開發(fā)板接入Dify智能體進(jìn)行語音交互

前言

Dify 是一個(gè)開源的LLM（大語言模型）應(yīng)用開發(fā)平臺(tái)，其定位是打造以可視化和低代碼/零代碼為核心的一站式AI應(yīng)用開發(fā)解決方案。它融合了后端即服務(wù)與LLMOps的理念，支持快速構(gòu)建、部署和管理基于大語言模型的應(yīng)用程序。Dify 企業(yè)級(jí)能力涵蓋了強(qiáng)大的RAG（檢索增強(qiáng)生成）引擎、AI工作流編排以及多模型集成與管理等核心組件。相信許多開發(fā)者也希望了解如何將具體的模型或服務(wù)與該平臺(tái)進(jìn)行集成。這里就以接入DeepSeek大模型并在Dify上創(chuàng)建一個(gè)簡單的AI應(yīng)用為例，演示一下基礎(chǔ)接入步驟，大家可以參考以下流程進(jìn)行操作即可

由上圖可見，當(dāng)前 SDK 方案是把開發(fā)套件當(dāng)做輸入端，文字或圖片內(nèi)容先上傳到聆思的大模型平臺(tái)（LSPlatform），然后平臺(tái)再根據(jù)匹配的應(yīng)用策略轉(zhuǎn)給后端的大模型處理?；隈鏊即竽Ｐ推脚_(tái)提供的應(yīng)用編排功能，我們?nèi)绻褂闷渌竽Ｐ?，只需要從云端更改大模型接入?jié)點(diǎn)，而無需去修改硬件端。以下為CSK6大模型開發(fā)板接入Dify后的交互演示：

https://docs2.listenai.com/zz/10164.mp4?shortId=_KxmRfm2W

實(shí)現(xiàn)步驟

一、申請(qǐng) Dify API

1. 登錄注冊(cè) Dify 官網(wǎng)

2. 創(chuàng)建應(yīng)用

3. 安裝【OpenAI】插件

4. 創(chuàng)建【聊天助手】應(yīng)用

5. 獲取 API 密鑰

6. 填寫API密鑰（在哪里填寫，將在下文詳細(xì)描述）

鏈路說明

示例中包含 3 條鏈路，分別為

●鏈路 1: 可通過注入節(jié)點(diǎn)調(diào)用 Dify 節(jié)點(diǎn)，并將結(jié)果輸出到 output1。

●鏈路 2: 可通過 web 對(duì)話頁調(diào)用 Dify 節(jié)點(diǎn)，最終將大模型結(jié)果輸出到對(duì)話頁面上。

●鏈路 3: 可通過開發(fā)板調(diào)用 Dify 節(jié)點(diǎn)，最終將大模型輸出的結(jié)果進(jìn)行語音合成實(shí)現(xiàn)端側(cè)播報(bào)。

二、云端服務(wù)接入 Dify

1. 創(chuàng)建應(yīng)用

登錄 LSplatform，創(chuàng)建新應(yīng)用

2.創(chuàng)建成功后在彈出的界面進(jìn)入應(yīng)用編排服務(wù)。

3.導(dǎo)入工程下載工程示例：Dify 示例.json

a. 導(dǎo)入工程示例：選擇 Dify 示例.json文件導(dǎo)入

若提示“您要導(dǎo)入的某些節(jié)點(diǎn)已經(jīng)存在于工作空間中?！?，則選擇“導(dǎo)入副本”即可。

4.配置參數(shù)

參數(shù)說明：

●API-KEY：Dify 的 API-KEY 獲取鏈接：Dify 開放平臺(tái)

●Host:api.dify.ai (根據(jù)Dify官網(wǎng)的接口文檔填寫)

●Path:/v1/chat-messages (根據(jù)Dify官網(wǎng)的接口文檔填寫)

●Timeout: 超時(shí)時(shí)間，單位ms

●Stream：是否流式返回

5.部署驗(yàn)證

●在完成參數(shù)配置，進(jìn)入完整體驗(yàn)之前，我們可以簡單測(cè)試驗(yàn)證，驗(yàn)證是否成功調(diào)用 Dify。

●部署成功后關(guān)閉當(dāng)前編排服務(wù)

重啟應(yīng)用

測(cè)試接口

重啟應(yīng)用后，再次點(diǎn)開【編排應(yīng)用】，點(diǎn)擊注入，會(huì)觸發(fā)一次 Dify 子流程調(diào)用，標(biāo)記 2 的紅框中輸出類似日志即代表成功建立鏈接。

打開 web 驗(yàn)證頁面

回到【我的應(yīng)用】，雙擊聆思 CSK6-Dify 應(yīng)用，在彈出的應(yīng)用詳情頁面點(diǎn)擊右上角分享按鈕打開 web 驗(yàn)證配置，該配置頁包含測(cè)試地址和訪問密碼。

訪問 web 驗(yàn)證頁面鏈接，在打開的 web 頁即可與 Dify 對(duì)話

三、大模型開發(fā)板接入 Dify

云端接入 Dify 成功后，要想在聆思 CSK6 大模型開發(fā)板上進(jìn)行語音交互，需要把對(duì)接了 Dify 的云端服務(wù)跟指定開發(fā)板綁定。

1. 云端應(yīng)用設(shè)備列表加入硬件設(shè)備 ID

讀取設(shè)備 id

設(shè)備 ID 是一個(gè)產(chǎn)品下的唯一設(shè)備標(biāo)識(shí)，我們需要獲取當(dāng)前設(shè)備 ID 方便后續(xù)在云端配置，才能讓設(shè)備鑒權(quán)通過實(shí)現(xiàn)端云交互。

讀取方式：

cskburn desktop 是一款聆思推出的桌面燒錄工具，下載地址（cskburn桌面燒錄工具 | 聆思文檔中心）打開軟件后

1. 點(diǎn)擊串口下拉框，選擇連接開發(fā)套件后識(shí)別到的串口編號(hào)；

2. 點(diǎn)擊獲取信息；

3. 得到設(shè)備 ID。

加入設(shè)備列表

聆思平臺(tái)只會(huì)對(duì)列表中的設(shè)備鑒權(quán)提供交互服務(wù)，因此需要將前面讀取到的設(shè)備 ID 在設(shè)備管理頁面進(jìn)行導(dǎo)入才能實(shí)現(xiàn)設(shè)備正常交互。

2. CSK6 開發(fā)板設(shè)備端寫入云端產(chǎn)品服務(wù)配置

云端配置設(shè)備 id 后，還需將產(chǎn)品 ID 寫入開發(fā)板固件中，才能讓設(shè)備在運(yùn)行時(shí)找到正確的云端產(chǎn)品服務(wù)完進(jìn)行鑒權(quán)，鑒權(quán)完成就可以進(jìn)行大模型語音交互了。

寫入方式：

使用數(shù)據(jù)線連接開發(fā)板 DAP_USB 接口后，打開聆思在線串口終端，選擇對(duì)應(yīng)的串口設(shè)備進(jìn)行連接，波特率默認(rèn) 115200，完成配置后點(diǎn)擊連接按鈕。

通過 set product_id 和 set secret_id 指令可以分別配置開發(fā)板接入的大模型應(yīng)用 product ID 及其密鑰，示例如下：

set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f

set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218

其中，product_id 和 product_secret 可在對(duì)應(yīng)產(chǎn)品的產(chǎn)品信息中獲取，請(qǐng)將指令中的參數(shù)替換為產(chǎn)品信息中的 id 與 secret 信息。

四、語音交互驗(yàn)證接入成功

用小聆小聆喚醒，并提問你是誰，語音回復(fù)它是Dify即可驗(yàn)證成功。至此，可以確認(rèn)ChatGLM接入成功。本文使用的聆思CSK6大模型開發(fā)板的詳細(xì)信息可參考線上文檔。套件簡介 | 聆思文檔中心

更多資料

本文使用的聆思CSK6大模型開發(fā)板的詳細(xì)信息可參考線上文檔。https://docs2.listenai.com/x/nTn9kMMCU

小聆AI詳細(xì)配置參考：https://docs2.listenai.com/x/S_TEd8h7C

上手大模型硬件開發(fā)可以參考：https://docs2.listenai.com/x/Bt46JnBA0