以下作品由安信可社區(qū)用戶 bzhou830制作

01項(xiàng)目背景

前不久一個(gè)做醫(yī)療健康行業(yè)的老友找我咨詢，想在一個(gè)醫(yī)療機(jī)器人上開發(fā)一個(gè)跌倒檢測(cè)的功能。機(jī)器人搭配的是arm sbc，機(jī)器人是可以在養(yǎng)老院的各個(gè)房間巡邏的。

討論下來(lái)有兩個(gè)方案：

使用激光雷達(dá)傳感器，而且市面上也有支持跌倒檢測(cè)的激光雷達(dá)傳感器。但是成本相對(duì)會(huì)高一點(diǎn)點(diǎn)。

使用視覺方案，考慮機(jī)器人上的處理器是RK3588，對(duì)于當(dāng)前的應(yīng)用來(lái)說(shuō)是完全足夠的。因此只需要添加攝像頭作為額外的硬件開銷，筆者這時(shí)就想到了BW21-CBV-Kit這款能檢測(cè)人臉和動(dòng)作的攝像頭開發(fā)板。

開發(fā)板介紹：安信可有Ai識(shí)別方案了？

相關(guān)教程：如何使用BW21-CBV-Kit？最新最全教程來(lái)了~

DIY類：

【電子DIY作品】用BW21-CBV-Kit設(shè)計(jì)洗衣機(jī)遠(yuǎn)程控制面板

【電子DIY作品】基于BW21-CBV-Kit火災(zāi)隱患警報(bào)器

【電子DIY作品】用BW21-CBV-Kit做一個(gè)藍(lán)牙溫濕度計(jì)

02視頻展示

03外形設(shè)計(jì)

在solidworks中使用裝配體將打印件分割成各個(gè)零件，繪制在一起。

攝像頭直接凸出包裹，將零件導(dǎo)出打印，組裝起來(lái)得到這樣。

隨后攝像頭放置在手機(jī)支架上，插電后開機(jī)測(cè)試。

04固件燒錄

BW21的資料在論壇上相當(dāng)?shù)呢S富。這次只需要按照如下進(jìn)行環(huán)境搭建。

安信可小安派BW21-CBV-Kit 上手環(huán)境搭建 - 小安派·BW21-CBV-KIt - 物聯(lián)網(wǎng)開發(fā)者社區(qū)-安信可論壇 - Powered by Discuz!

打開這個(gè)example。修改里面的Wi-Fi名稱和密碼，燒錄即可使用。因?yàn)槭菍W21當(dāng)作一個(gè)網(wǎng)絡(luò)攝像頭，在機(jī)器人端來(lái)捕獲攝像頭的視頻流進(jìn)行檢測(cè)。

在代碼中測(cè)試打開攝像頭視頻流。

05跌倒檢測(cè)算法設(shè)計(jì)

算法的核心思想：

人體檢測(cè)與跟蹤
首先通過(guò)YOLO模型檢測(cè)視頻幀中的所有人體，并利用跟蹤算法為每個(gè)人分配唯一ID，實(shí)現(xiàn)跨幀跟蹤，保證同一人的運(yùn)動(dòng)特征連續(xù)性。

姿態(tài)估計(jì)與特征提取

對(duì)每個(gè)人體區(qū)域，使用Mediapipe等方法提取關(guān)鍵點(diǎn)，計(jì)算出人體主軸角度、長(zhǎng)寬比、關(guān)鍵點(diǎn)坐標(biāo)、速度、加速度等多種時(shí)序和空間特征。mediapipe中的關(guān)鍵點(diǎn)比較多，目前只需要使用如下的關(guān)鍵點(diǎn)：0, 11, 12, 23, 24, 25, 26, 27, 28。

多特征融合判別跌倒

跌倒檢測(cè)不是單一條件觸發(fā)，而是融合了以下多種特征：

●身體姿態(tài)接近水平

●關(guān)鍵點(diǎn)的垂直位移突變

●姿態(tài)角度突變（身體突然變彎曲等）

●加速度突變 只有當(dāng)多個(gè)條件同時(shí)滿足（如滿足3個(gè)及以上），才判定為跌倒，降低誤報(bào)率。

最終檢測(cè)到異常的視頻幀會(huì)保存下來(lái)。