“全國(guó)大學(xué)生嵌入式芯片與系統(tǒng)設(shè)計(jì)競(jìng)賽”是我國(guó)電子信息類頂級(jí)的大學(xué)生學(xué)科競(jìng)賽之一，具有規(guī)格高、難度大、強(qiáng)應(yīng)用、重創(chuàng)新的特點(diǎn)，為全國(guó)各大高校相關(guān)專業(yè)學(xué)子提供了一個(gè)展示才華、切磋技藝、追逐夢(mèng)想的國(guó)家級(jí)高端平臺(tái)，也是推進(jìn)高校與企業(yè)協(xié)同育人合作的良好契機(jī)。

飛凌嵌入式作為本屆大賽協(xié)辦單位之一，聯(lián)合瑞芯微在應(yīng)用賽道中設(shè)立專項(xiàng)賽題，并采用基于瑞芯微RK3588芯片設(shè)計(jì)的ELF 2開發(fā)板作為參賽平臺(tái)，雙方希望通過(guò)這一合作，進(jìn)一步深化產(chǎn)教融合，助力嵌入式系統(tǒng)領(lǐng)域創(chuàng)新人才的培養(yǎng)。

在2025年嵌入式大賽上，東南大學(xué)206團(tuán)隊(duì)?wèi){借參賽項(xiàng)目“基于RK3588的智能座艙多模交互系統(tǒng)與大模型語(yǔ)義理解優(yōu)化”，榮獲全國(guó)一等獎(jiǎng)。該團(tuán)隊(duì)由自動(dòng)化學(xué)院的王心果、方湘、陳逸煌三位同學(xué)組成，并得到李奇教授的悉心指導(dǎo)。下面，讓我們一起了解一下這個(gè)獲獎(jiǎng)項(xiàng)目的具體內(nèi)容。

“基于RK3588的智能座艙多模交互系統(tǒng)與大模型語(yǔ)義理解優(yōu)化”項(xiàng)目介紹

隨著車載座艙系統(tǒng)功能日益復(fù)雜，傳統(tǒng)操作方式普遍存在交互繁瑣、過(guò)度依賴視覺(jué)、語(yǔ)義理解能力有限等問(wèn)題，難以滿足現(xiàn)代智能駕駛場(chǎng)景對(duì)安全性與便捷性的雙重需求。為此，參賽項(xiàng)目基于瑞芯微RK3588設(shè)計(jì)的ELF 2開發(fā)板，設(shè)計(jì)并實(shí)現(xiàn)了一款多模態(tài)車載人機(jī)交互系統(tǒng)，旨在提升車載環(huán)境下的人機(jī)交互自然性與操作效率，改善用戶體驗(yàn)，具體工作如下：

首先，針對(duì)實(shí)際車載需求，此參賽項(xiàng)目設(shè)計(jì)并集成了近十項(xiàng)功能模塊。在輔助駕駛方面，本項(xiàng)目設(shè)計(jì)了疲勞駕駛監(jiān)測(cè)、倒車助手、哨兵監(jiān)控和行車導(dǎo)航等常用功能模塊，全面覆蓋行車與駐車過(guò)程中的多種應(yīng)用需求；在休閑娛樂(lè)方面，本項(xiàng)目設(shè)計(jì)了音樂(lè)播放器和桌面寵物兩個(gè)模塊，此外，還集成了面部解鎖，手機(jī)投屏，天氣播報(bào)等功能，在確保行車安全的前提下提升用戶的使用體驗(yàn)。用戶可通過(guò)語(yǔ)音指令、觸覺(jué)交互等多種方式與系統(tǒng)進(jìn)行交互，交互方式靈活自然，能夠有效降低駕駛過(guò)程中對(duì)視覺(jué)操作的依賴，提升行車安全。

同時(shí)，針對(duì)傳統(tǒng)車載座艙自然語(yǔ)義理解難題，此參賽項(xiàng)目在車載語(yǔ)音交互環(huán)節(jié)引入了語(yǔ)言大模型（LLM）技術(shù)。相比傳統(tǒng)語(yǔ)音助手，本項(xiàng)目通過(guò)構(gòu)建高性能語(yǔ)音中樞，實(shí)現(xiàn)了對(duì)口語(yǔ)化表達(dá)的精準(zhǔn)理解，能夠靈活應(yīng)對(duì)多樣化指令，顯著改善語(yǔ)音交互體驗(yàn)，有效降低駕駛員認(rèn)知負(fù)擔(dān)。

最后，此項(xiàng)目采用了模塊化架構(gòu)設(shè)計(jì)。各功能模塊獨(dú)立部署，便于按需裁剪與升級(jí)，滿足不同車型、不同用戶需求。借助RK3588平臺(tái)強(qiáng)大的AI算力與多媒體處理能力，系統(tǒng)能夠在實(shí)現(xiàn)復(fù)雜功能的同時(shí)保持快速響應(yīng)，保障用戶操作的實(shí)時(shí)性與流暢性。實(shí)際測(cè)試表明，系統(tǒng)各模塊穩(wěn)定可靠，語(yǔ)音識(shí)別準(zhǔn)確率高，響應(yīng)延遲低，具備較強(qiáng)的實(shí)用價(jià)值。

*免責(zé)聲明：本文所有作品介紹均來(lái)自2025第八屆全國(guó)大學(xué)生嵌入式芯片與系統(tǒng)設(shè)計(jì)競(jìng)賽應(yīng)用賽道學(xué)生提交的參賽作品展示，由學(xué)生自行制作。飛凌嵌入式展示獲獎(jiǎng)作品內(nèi)容僅為展示參賽者作品，為開發(fā)者帶來(lái)更多創(chuàng)意啟發(fā)，并已征得主辦方及參賽團(tuán)隊(duì)同意。飛凌嵌入式不承擔(dān)作品展示內(nèi)容或視頻字體的相關(guān)法律責(zé)任。