Espressif × Bosch Sensortec

樂鑫科技 (688018.SH) 宣布與 Bosch Sensortec（博世傳感器）達(dá)成合作，共同推出基于動(dòng)作感知與大模型能力的人機(jī)交互創(chuàng)新方案。

該方案旨在推動(dòng)多模態(tài)感知與智能交互技術(shù)的深度融合，覆蓋 AI 玩具、智能家居、運(yùn)動(dòng)健康、智慧辦公等典型應(yīng)用場(chǎng)景，實(shí)現(xiàn)從環(huán)境感知、行為理解到智能反饋的完整鏈路升級(jí)，為新一代智能終端提供更自然、更實(shí)時(shí)的交互體驗(yàn)。

在合作簽約儀式上，樂鑫創(chuàng)始人兼 CEO 張瑞安、Bosch Sensortec 總經(jīng)理兼首席執(zhí)行官 Stefan Finkbeiner 以及 Bosch Sensortec 亞太區(qū)總裁王宏宇等共同出席，正式宣布雙方合作的啟動(dòng)。

合作簽約儀式在樂鑫科技上?？偛颗e行

張瑞安在儀式上表示：“通過將 Bosch Sensortec 經(jīng)驗(yàn)證的高性能 MEMS 傳感器集成到我們的平臺(tái)中，我們能夠幫助客戶為幾乎任何應(yīng)用場(chǎng)景構(gòu)建穩(wěn)健、精準(zhǔn)的傳感解決方案，并在基礎(chǔ)層面保證卓越品質(zhì)?！?/p>

Stefan Finkbeiner 隨后補(bǔ)充道：“通過與樂鑫科技的合作，我們正在讓先進(jìn)的傳感技術(shù)更易于獲取和使用。樂鑫在生態(tài)體系建設(shè)方面給予的支持，對(duì)推動(dòng)傳感器在各類消費(fèi)應(yīng)用中的廣泛采用，以及塑造下一代物聯(lián)網(wǎng)解決方案具有重要價(jià)值?！?/p>

樂鑫科技創(chuàng)始 CEO 張瑞安與 Bosch Sensortec 總經(jīng)理兼首席執(zhí)行官 Stefan Finkbeiner 共同見證合作達(dá)成

核心技術(shù)亮點(diǎn)

在此次聯(lián)合方案中，博世提供多類型高性能 MEMS 傳感器及算法優(yōu)化能力，用于精準(zhǔn)獲取微動(dòng)作、姿態(tài)與環(huán)境變化等多維數(shù)據(jù)；樂鑫以雙頻 Wi-Fi 6 物聯(lián)網(wǎng)芯片ESP32-C5作為核心主控，通過穩(wěn)定的無線連接、實(shí)時(shí)的數(shù)據(jù)處理能力以及對(duì) MCP 協(xié)議的原生支持，實(shí)現(xiàn)感知數(shù)據(jù)的本地解析與大模型聯(lián)動(dòng)，使系統(tǒng)在端側(cè)具備即時(shí)理解與響應(yīng)能力。

這一方案不僅融合了雙方的核心技術(shù)能力，也在系統(tǒng)架構(gòu)、數(shù)據(jù)鏈路與交互體驗(yàn)層面進(jìn)行了深度協(xié)同。無論是動(dòng)作識(shí)別、場(chǎng)景感知，還是智能響應(yīng)，均經(jīng)過體系化整合，使設(shè)備能夠更準(zhǔn)確地理解用戶意圖。同時(shí)，該方案提供標(biāo)準(zhǔn)化的軟硬件基礎(chǔ)能力，大幅降低開發(fā)與驗(yàn)證的復(fù)雜度，縮短創(chuàng)新產(chǎn)品的落地周期，助力開發(fā)者更高效地構(gòu)建下一代智能應(yīng)用。

樂鑫攜手 Bosch Sensortec（博世傳感器）

聯(lián)合推出 AI 智能交互方案

從感知到應(yīng)用場(chǎng)景

搭載 ESP32-C5 與BMI270 傳感器的系統(tǒng)，不僅能捕捉手勢(shì)與姿態(tài)變化，還能結(jié)合大模型與 MCP 滿足更深層次的用戶需求。BMI270 內(nèi)置算法，可獨(dú)立完成畫圈、搖晃、單擊、多擊、旋轉(zhuǎn)角度等手勢(shì)動(dòng)作識(shí)別；即使主控處于低功耗休眠，BMI270 也能持續(xù)感知環(huán)境，并在檢測(cè)到動(dòng)作時(shí)即時(shí)喚醒系統(tǒng)，實(shí)現(xiàn)快速響應(yīng)。

01

智能家居

樂鑫將同步推出 Home Assistant 的原生插件以及對(duì)應(yīng)的 ESP32-C5 開源固件，可以將設(shè)備快速綁定在 Home Assistant 開源智能家居平臺(tái)。通過該插件，設(shè)備能夠被自動(dòng)發(fā)現(xiàn)，并實(shí)現(xiàn)傳感器數(shù)據(jù)上報(bào)與行為控制。所有狀態(tài)、動(dòng)作都統(tǒng)一接入 Home Assistant 的自動(dòng)化體系，使設(shè)備不再局限于單一用途：它既可以作為門窗傳感器參與場(chǎng)景聯(lián)動(dòng)，也可以成為無線調(diào)光器控制照明，甚至能夠充當(dāng)語音中控，輕松接入整個(gè)智能家居系統(tǒng)。

在光環(huán)境調(diào)節(jié)場(chǎng)景中，用戶無需尋找開關(guān)，只需輕輕轉(zhuǎn)腕或敲擊桌面，傳感器即可完成動(dòng)作識(shí)別；ESP32-C5 隨即解析用戶意圖，通過 MCP 調(diào)度 Home Assistant 的設(shè)備與服務(wù)，自動(dòng)調(diào)整燈光亮度與色溫，讓空間自然貼合用戶需求。

通過樂鑫官方 HA 插件快速接入智能家居平臺(tái)

02

辦公助手

除了家居場(chǎng)景，ESP32-C5 接入 MCP 的能力同樣讓辦公環(huán)境更智能、更貼心。設(shè)備可放置在桌面，持續(xù)感知敲擊與手勢(shì)等微動(dòng)作，并在本地快速解析用戶意圖 ，通過 MCP 將這些動(dòng)作直接轉(zhuǎn)化為對(duì)各類智能設(shè)備與服務(wù)的調(diào)度——例如規(guī)劃行程，會(huì)議提醒，或提前準(zhǔn)備會(huì)議所需的設(shè)備或應(yīng)用等。

無論是語音指令，還是動(dòng)作觸發(fā)的提醒，ESP32-C5 都能即時(shí)解析，并由 MCP 直接驅(qū)動(dòng)關(guān)聯(lián)設(shè)備和服務(wù)，在不打斷工作節(jié)奏的前提下提升專注與效率。

結(jié)合 MCP，讓交互更自然、更貼近用戶

03

運(yùn)動(dòng)感知

在運(yùn)動(dòng)場(chǎng)景中，設(shè)備能夠借助 IMU 在本地完成精準(zhǔn)的動(dòng)作計(jì)數(shù)與姿態(tài)判斷。當(dāng)用戶完成一組訓(xùn)練時(shí)，大模型能夠根據(jù)當(dāng)前訓(xùn)練狀態(tài)給出反饋或姿態(tài)建議，并生成后續(xù)訓(xùn)練計(jì)劃。通過語音、燈光等多模態(tài)方式自然呈現(xiàn)，使設(shè)備從單純的計(jì)數(shù)器升級(jí)為理解訓(xùn)練節(jié)奏的智能伙伴。

這種結(jié)合不僅展示了動(dòng)作感知的精準(zhǔn)，更凸顯了 ESP32-C5 對(duì)接大模型的核心價(jià)值：通過本地理解與智能聯(lián)動(dòng)，讓運(yùn)動(dòng)場(chǎng)景下的交互變得更自然、更實(shí)時(shí)，也更具個(gè)性化。

IMU 實(shí)時(shí)感知訓(xùn)練狀態(tài)

04

AI 互動(dòng)玩具

動(dòng)作感知與意圖理解的能力，同樣可以賦能互動(dòng)玩具，讓原本靜態(tài)的產(chǎn)品具備實(shí)時(shí)感知與智能回應(yīng)能力。例如，當(dāng)玩具靜置于沙發(fā)上時(shí)，用戶坐下或放置物品產(chǎn)生的輕微震動(dòng)會(huì)被內(nèi)置 IMU 捕捉，它可以立即做出回應(yīng)；撫摸玩具時(shí)，大模型結(jié)合動(dòng)作強(qiáng)度生成個(gè)性化的反饋；當(dāng)玩具被抱起時(shí)，設(shè)備進(jìn)一步推斷動(dòng)作意圖，驅(qū)動(dòng)多維反饋與環(huán)境協(xié)同，實(shí)現(xiàn)“感知—理解—回應(yīng)”的完整閉環(huán)。

姿態(tài)識(shí)別 + AI 玩具，解鎖更多玩法

05

本地訓(xùn)練

ESP32-C5 還能把“互動(dòng)”延伸到用戶自定義層面。通過 IMU，設(shè)備不僅支持預(yù)置動(dòng)作識(shí)別，也可采集用戶特定的手勢(shì)作為訓(xùn)練樣本，并通過 microTensorFlow 進(jìn)行小模型訓(xùn)練，直接部署在 ESP32-C5 本地。

設(shè)備可實(shí)時(shí)識(shí)別用戶的自定義動(dòng)作，去觸發(fā)特定的控制與聯(lián)動(dòng)。任意動(dòng)作都可以被用戶重新定義成“指令語言”。這種從“動(dòng)作被讀取”到“動(dòng)作被定義”的能力，讓基于 ESP32-C5 的設(shè)備具備更高的可塑性，解鎖更豐富的創(chuàng)意交互場(chǎng)景。

訓(xùn)練專屬動(dòng)作識(shí)別模型，部署并運(yùn)行在 ESP32-C5 本地

量產(chǎn)&開源硬件方案

量產(chǎn)在售硬件

ESP-SensairShuttle

ESP-SensairShuttle面向教育與大規(guī)模開發(fā)評(píng)估，采用模塊化傳感器架構(gòu)，支持環(huán)境、動(dòng)作、磁力等多類型感知組合，便于教學(xué)、算法評(píng)估和多場(chǎng)景實(shí)驗(yàn)。主板基于 ESP32-C5，搭配可替換的 Shuttle 傳感器子板與顯示屏自由擴(kuò)展功能，支持環(huán)境、動(dòng)作、磁力等多類型傳感組合。

平臺(tái)內(nèi)置開箱即用的固件，可直接查看傳感器數(shù)據(jù)或運(yùn)行博世提供的傳感器算法；也可以基于 ESP-IDF 完成深度定制。無論是空氣質(zhì)量監(jiān)測(cè)、手勢(shì)識(shí)別，還是方向與磁力感知，Shuttle 都提供標(biāo)準(zhǔn)化接口與即插即用的硬件資源，是教學(xué)、研發(fā)與產(chǎn)品原型驗(yàn)證的理想平臺(tái)。

ESP-SensairShuttle 現(xiàn)已開放預(yù)售！如果您對(duì)該產(chǎn)品感興趣，歡迎聯(lián)系我們的客戶支持團(tuán)隊(duì)，獲取更多產(chǎn)品信息。

開源硬件

ESP-SPOT

ESP-Spot面向開發(fā)者和創(chuàng)客，可快速驗(yàn)證動(dòng)作感知與智能交互邏輯，開箱即可跑通揮手、旋轉(zhuǎn)、AI 玩具等交互案例。主控采用 ESP32-C5，配合博世 BMI270 IMU，實(shí)現(xiàn)低功耗動(dòng)作捕捉與即觸即醒的交互能力。

項(xiàng)目提供完整的硬件設(shè)計(jì)、固件源碼與使用文檔，開發(fā)者無需從零搭建系統(tǒng)，就能基于現(xiàn)成平臺(tái)快速實(shí)現(xiàn)揮手開燈、旋轉(zhuǎn)調(diào)節(jié)、AI 玩具互動(dòng)等多種場(chǎng)景。對(duì)于想要構(gòu)建中控設(shè)備、AI 玩具或教學(xué)項(xiàng)目的開發(fā)者來說，ESP-Spot 是一套可立即上手的成品級(jí)基礎(chǔ)平臺(tái)。