近日，在Nature旗下傳感器子刊《Nature Sensors》發(fā)表了其創(chuàng)刊第二篇論文，該論文設(shè)計可穿戴傳感器技術(shù)突破，作者為斯坦福大學(xué)鮑哲南院士團(tuán)隊。

在可穿戴傳感器領(lǐng)域，設(shè)計舒適性與實(shí)現(xiàn)高分辨率、大范圍傳感之間存在固有矛盾。高密度表面肌電圖（EMG）設(shè)備雖然能精準(zhǔn)捕捉手勢、步態(tài)等復(fù)雜運(yùn)動信息，但通常體積龐大、電極數(shù)量多，限制了其日常穿戴的實(shí)用性與用戶體驗(yàn)。傳統(tǒng)方法為提升識別精度往往需要增加傳感器數(shù)量與覆蓋面積，導(dǎo)致設(shè)備笨重、功耗高，難以在真實(shí)場景中持續(xù)使用。因此，如何以更少、更緊湊的傳感器實(shí)現(xiàn)與高密度陣列相當(dāng)?shù)?a target="_blank">信號重建與動作預(yù)測能力，成為當(dāng)前可穿戴感知技術(shù)的重要挑戰(zhàn)。

近日，斯坦福大學(xué)鮑哲南教授團(tuán)隊提出了一種生成式肌電圖網(wǎng)絡(luò)（GenENet），結(jié)合柔性可拉伸傳感器，能夠從有限的傳感器輸入中重建未覆蓋區(qū)域的肌肉活動信號，實(shí)現(xiàn)了用6通道設(shè)備達(dá)到32通道設(shè)備的識別性能。該系統(tǒng)在手語字母識別和步態(tài)動力學(xué)預(yù)測任務(wù)中表現(xiàn)出色，為低功耗、低復(fù)雜度的可穿戴生理監(jiān)測設(shè)備開辟了新路徑。

2025年12月1日，相關(guān)工作以“A simplified wearable device powered by a generative EMG network for hand-gesture recognition and gait prediction”為題發(fā)表在Nature Sensors上。 該研究提出了生成式肌電圖網(wǎng)絡(luò)（GenENet），該網(wǎng)絡(luò)基于自編碼器架構(gòu)，通過自監(jiān)督生成式表征學(xué)習(xí)訓(xùn)練，能從少量傳感器輸入中預(yù)測肌電圖信息，識別大面積身體區(qū)域傳感器激活的通用模式；同時，研發(fā)了由聚二甲基硅氧烷（PDMS）、耐溶劑聚（丙烯腈 - 丁二烯）（NBR）、鎵銦共晶（EGaIn）電極、聚（3,4 - 乙烯二氧噻吩）：聚（苯乙烯磺酸鹽）（PEDOT:PSS）凝膠等組成的全可拉伸多陣列肌電圖設(shè)備，用于收集高質(zhì)量 32 通道數(shù)據(jù)以支持 GenENet 預(yù)訓(xùn)練（隨機(jī)掩蓋約 80% 數(shù)據(jù)，通過生成信號與完整信號對比學(xué)習(xí)重建缺失信息）；隨后將預(yù)訓(xùn)練模型與 6 通道簡化設(shè)備集成，結(jié)合后訓(xùn)練網(wǎng)絡(luò)提取時空肌肉活動關(guān)鍵特征，最終實(shí)現(xiàn)美式手語翻譯和步態(tài)動力學(xué)預(yù)測，驗(yàn)證了低通道設(shè)備在保持性能的同時降低系統(tǒng)復(fù)雜度的可行性。

圖文介紹

首先，研究了通過生成式肌電圖網(wǎng)絡(luò)（GenENet）實(shí)現(xiàn)手勢與步態(tài)預(yù)測的基本框架（圖1a）。該框架使用32通道可拉伸設(shè)備進(jìn)行預(yù)訓(xùn)練，通過隨機(jī)掩碼輸入信號并重建原始數(shù)據(jù)，學(xué)習(xí)肌肉活動的時空模式。在此基礎(chǔ)上，構(gòu)建了一個僅含6通道的簡化設(shè)備（圖1b），利用預(yù)訓(xùn)練網(wǎng)絡(luò)從有限輸入中預(yù)測未覆蓋區(qū)域的肌肉活動。圖中還展示了設(shè)備的實(shí)際形態(tài)與無線模塊的連接方式（圖1d–f）。該設(shè)計體現(xiàn)了GenENet如何通過先驗(yàn)知識遷移，在減少硬件復(fù)雜度的同時保持預(yù)測性能，為后續(xù)手勢與步態(tài)任務(wù)的應(yīng)用奠定了基礎(chǔ)。

圖1. 用于手語和步態(tài)預(yù)測的GenENet。a. 使用32通道可拉伸設(shè)備通過GenENet進(jìn)行表征學(xué)習(xí)，隨機(jī)掩蔽輸入信號以重建原始數(shù)據(jù)。b. 使用更小的6通道設(shè)備，其中預(yù)訓(xùn)練網(wǎng)絡(luò)預(yù)測未覆蓋區(qū)域的肌肉活動。參考電極和接地電極置于右側(cè)。c. 后訓(xùn)練網(wǎng)絡(luò)，使預(yù)訓(xùn)練模型能夠遷移到不同應(yīng)用和用戶。d-f. 分別展示與a-c各階段對應(yīng)的設(shè)備實(shí)物圖。無線模塊由柔性印刷電路板構(gòu)成。

為了獲取高質(zhì)量的預(yù)訓(xùn)練數(shù)據(jù)集，研究設(shè)計了一種全可拉伸的多陣列EMG設(shè)備（圖2a）。該設(shè)備采用多層結(jié)構(gòu)，包括PDMS基底、NBR保護(hù)層、EGaIn液態(tài)金屬電極、高導(dǎo)電PEDOT:PSS凝膠以及SBS封裝層。電極在拉伸至100%應(yīng)變時仍保持低阻抗特性（圖2f），且與相同尺寸的Ag/AgCl電極相比，在握力測試中表現(xiàn)出更高的功率密度（圖2g）。此外，與基于聚酰亞胺的非可拉伸陣列相比，可拉伸陣列在手腕握力測試中表現(xiàn)出更高的平均信噪比（15.06 dB vs. 12.19 dB）（圖2h–i）。這些結(jié)果表明，可拉伸結(jié)構(gòu)與低阻抗電極的設(shè)計顯著提升了信號質(zhì)量，為生成式網(wǎng)絡(luò)的訓(xùn)練提供了可靠的數(shù)據(jù)基礎(chǔ)。

圖2. 用于生成高質(zhì)量數(shù)據(jù)集的可拉伸傳感器陣列。a. 32通道可拉伸陣列的分解視圖，顯示封裝層、傳感電極、互連線和基底。b. 32通道設(shè)備的側(cè)視圖。c. 設(shè)備原始狀態(tài)與拉伸狀態(tài)的對比。d. 32通道設(shè)備通過柔性扁平電纜連接到定制無線模塊。e. 含有與不含有PEDOT:PSS的水凝膠的電化學(xué)阻抗譜。f.在100%應(yīng)變下的阻抗耐久性圖。小圖顯示PEDOT互連線在0%和100%應(yīng)變下的狀態(tài)。Z和Z0分別表示應(yīng)變下和無應(yīng)變狀態(tài)下的阻抗。g. 使用測力計（電極附著于前臂）比較PEDOT凝膠與相同尺寸Ag/AgCl電極的韋爾奇功率譜密度估計。h,i. 在非可拉伸聚酰亞胺基底上制作的設(shè)備與在可拉伸基底上制作的設(shè)備的信噪比箱形圖，顯示可拉伸基底在32個通道上具有更高的平均信噪比。

在預(yù)訓(xùn)練階段，研究采用32通道EMG陣列捕獲手腕與小腿肌肉活動信號，并通過滑動窗口計算均方根值，構(gòu)建32×32×1的時序-通道張量（圖3c）。隨后，隨機(jī)掩碼約81%的數(shù)據(jù)塊，輸入GenENet進(jìn)行自監(jiān)督訓(xùn)練（圖3d）。網(wǎng)絡(luò)基于編碼器-解碼器架構(gòu)，通過多頭部注意力機(jī)制學(xué)習(xí)信號中的廣義表示。訓(xùn)練過程中，生成信號逐漸從隨機(jī)噪聲逼近原始信號，均方誤差隨訓(xùn)練周期下降（圖3e）。多個樣本在訓(xùn)練后的重建效果(圖3f–g)，證明GenENet能夠有效從掩碼輸入中恢復(fù)完整的肌肉活動模式，為下游任務(wù)提供了可遷移的特征表示。

圖3. GenENet的預(yù)訓(xùn)練過程。a. 32通道可拉伸設(shè)備在任意手指運(yùn)動和行走時，從手腕或小腿捕獲肌肉激活信號。b,c. 信號經(jīng)過增強(qiáng)和均方根處理。d. 對后處理張量進(jìn)行隨機(jī)掩蔽，訓(xùn)練GenENet以最小化生成信號與原始信號之間的均方誤差損失。E和D分別表示GenENet的編碼器和解碼器模塊。e. 樣本1的代表性信號，展示訓(xùn)練周期中被掩蔽、原始和生成的信號。右側(cè)圖表顯示訓(xùn)練期間均方誤差的下降。f. 訓(xùn)練過程中生成信號的詳細(xì)圖示。g. 訓(xùn)練450個周期后，樣本2和樣本3的結(jié)果。

研究將預(yù)訓(xùn)練的GenENet應(yīng)用于美國手語識別任務(wù)，設(shè)計了一款6通道無線EMG手表（圖4a）。信號經(jīng)與預(yù)訓(xùn)練相同的后處理流程后，輸入GenENet編碼器提取潛在特征，再經(jīng)由LSTM網(wǎng)絡(luò)進(jìn)行分類（圖4c）。通過權(quán)衡通道數(shù)量與傳感器面積對性能的影響，發(fā)現(xiàn)6通道在準(zhǔn)確性與設(shè)備尺寸之間取得最佳平衡（圖4e–f）。預(yù)訓(xùn)練模型在150個遷移訓(xùn)練周期內(nèi)達(dá)到93.6%的驗(yàn)證準(zhǔn)確率，顯著優(yōu)于未預(yù)訓(xùn)練的模型（圖4g）。此外，設(shè)備在不同手腕位置與朝向下仍保持穩(wěn)定的識別性能（圖4h），并能實(shí)時輸出字母預(yù)測結(jié)果（圖4i）。通過梯度歸因圖分析，可進(jìn)一步解釋各通道信號對手勢分類的貢獻(xiàn)程度（圖4j），增強(qiáng)了模型的可解釋性。

圖4. 使用GenENet設(shè)備預(yù)測美式手語。a. 通過六通道設(shè)備捕獲的手語輸入信號。b. 與預(yù)訓(xùn)練相同的后處理步驟（不包括數(shù)據(jù)增強(qiáng)）。c. 后處理張量輸入GenENet，連接至CNN、LSTM和密集層。解碼器和CNN的虛線部分僅在回歸建模時激活。d. 手語手勢分類。e. 通過平衡模型準(zhǔn)確性和總傳感器面積測量的品質(zhì)因數(shù)。f. 品質(zhì)因數(shù)在六通道區(qū)域達(dá)到峰值，增加通道數(shù)提高準(zhǔn)確性但也增大了傳感器面積。g. 使用六電極EMG陣列進(jìn)行手指運(yùn)動識別時，預(yù)訓(xùn)練GenENet與非參數(shù)化GenENet的驗(yàn)證準(zhǔn)確性比較。h. 設(shè)備在手腕不同位置和方向上的適應(yīng)性，顯示準(zhǔn)確性差異可忽略。I.1–I.7表示電極陣列附著的不同位置和方向。 i. 使用來自6通道EMG輸入的數(shù)字值進(jìn)行手語預(yù)測。j. 代表字母A、N和R的批次歸因圖，以及相應(yīng)的EMG信號和歸因圖。

為擴(kuò)展系統(tǒng)應(yīng)用范圍，研究將GenENet用于步態(tài)動力學(xué)預(yù)測。實(shí)驗(yàn)通過三塊測力板與視頻同步采集步態(tài)過程中的地面反作用力與膝關(guān)節(jié)力學(xué)數(shù)據(jù)（圖5a）。6通道EMG設(shè)備附著于小腿，輸入預(yù)訓(xùn)練的GenENet編碼器，并結(jié)合CNN-LSTM網(wǎng)絡(luò)進(jìn)行連續(xù)力值預(yù)測（圖5b–c）。模型在整個步態(tài)周期中成功預(yù)測了地面反作用力，其預(yù)測值與真實(shí)值之間的R2系數(shù)達(dá)0.975（圖5e），且在不同個體間表現(xiàn)一致（圖5f）。通過逆動力學(xué)分析，系統(tǒng)還能預(yù)測膝關(guān)節(jié)內(nèi)收力矩的變化趨勢（圖5h），為步態(tài)分析與運(yùn)動健康評估提供了便捷的工具。該結(jié)果表明，緊湊型EMG陣列結(jié)合生成式學(xué)習(xí)算法，能在不依賴復(fù)雜實(shí)驗(yàn)室設(shè)置的條件下實(shí)現(xiàn)高精度的步態(tài)動力學(xué)監(jiān)測。

圖5. 使用GenENet設(shè)備預(yù)測步態(tài)動力學(xué)。a. 實(shí)驗(yàn)設(shè)置，涉及走過三個測力板并同時進(jìn)行視頻捕捉。后訓(xùn)練網(wǎng)絡(luò)用于預(yù)測地面反作用力，而膝關(guān)節(jié)垂直力和力矩則基于視頻數(shù)據(jù)通過逆動力學(xué)計算，并入動力學(xué)后訓(xùn)練數(shù)據(jù)集。b. 附著在小腿上的六通道EMG設(shè)備示意圖。c. 步態(tài)周期中的地面反作用力預(yù)測，顯示預(yù)測值與從視頻數(shù)據(jù)獲得的真實(shí)值密切匹配的五個不同階段。d. 肌肉骨骼模型上實(shí)時預(yù)測地面反作用力的快照。e. 地面反作用力預(yù)測的確定系數(shù)R2為0.975。f. 對不同個體的適應(yīng)性，顯示他們之間一致的R2系數(shù)。g. 地面反作用力和膝內(nèi)收力矩向量方向的示意圖。h. 在特定時間間隔內(nèi)預(yù)測的膝關(guān)節(jié)Y軸力和膝內(nèi)收力矩。

綜上，該研究通過結(jié)合生成式表示學(xué)習(xí)與柔性可穿戴傳感技術(shù)，成功實(shí)現(xiàn)了用極少通道數(shù)EMG設(shè)備完成復(fù)雜手勢識別與步態(tài)預(yù)測任務(wù)，突破了傳統(tǒng)高密度傳感的硬件限制。該系統(tǒng)在健康監(jiān)測、康復(fù)工程、人機(jī)交互與運(yùn)動分析等領(lǐng)域具有廣泛的應(yīng)用前景。未來可通過擴(kuò)展訓(xùn)練數(shù)據(jù)覆蓋范圍、融合慣性傳感器等多模態(tài)信息，進(jìn)一步提升系統(tǒng)的魯棒性與泛化能力，推動低功耗、高智能的可穿戴感知系統(tǒng)發(fā)展。

原文鏈接

https://www.nature.com/articles/s44460-025-00002-2

關(guān)于鮑哲南 鮑哲南，斯坦福大學(xué)終身教授，中國科學(xué)院外籍院士，美國國家科學(xué)院院士，美國國家工程院院士，美國藝術(shù)與科學(xué)院院士，美國國家發(fā)明家學(xué)院院士。

南京大學(xué)1987級本科生，1990年大學(xué)三年級時移民到美國。1995年獲芝加哥大學(xué)博士學(xué)位，同年被貝爾實(shí)驗(yàn)室錄用為正式研究人員。2004年加入美國斯坦福大學(xué)。鮑哲南于2017年升任斯坦福大學(xué)化學(xué)工程學(xué)院院長，是該校歷史上第一位華人女院長。

鮑哲南院士的研究范圍包括化學(xué)、材料科學(xué)、能源、納米電子學(xué)和分子電子學(xué)等領(lǐng)域。她開創(chuàng)了多個用于有機(jī)電子材料的設(shè)計理念，使得柔性電子電路和柔性顯示成為現(xiàn)實(shí)。已發(fā)表700多篇論文，被引超過19.7萬次，谷歌學(xué)術(shù)H指數(shù)為233，擁有超100項(xiàng)美國授權(quán)專利。