近日，在Nature旗下傳感器子刊《Nature Sensors》發(fā)表了其創(chuàng)刊第二篇論文，該論文設(shè)計(jì)可穿戴傳感器技術(shù)突破，作者為斯坦福大學(xué)鮑哲南院士團(tuán)隊(duì)。

在可穿戴傳感器領(lǐng)域，設(shè)計(jì)舒適性與實(shí)現(xiàn)高分辨率、大范圍傳感之間存在固有矛盾。高密度表面肌電圖（EMG）設(shè)備雖然能精準(zhǔn)捕捉手勢(shì)、步態(tài)等復(fù)雜運(yùn)動(dòng)信息，但通常體積龐大、電極數(shù)量多，限制了其日常穿戴的實(shí)用性與用戶體驗(yàn)。傳統(tǒng)方法為提升識(shí)別精度往往需要增加傳感器數(shù)量與覆蓋面積，導(dǎo)致設(shè)備笨重、功耗高，難以在真實(shí)場(chǎng)景中持續(xù)使用。因此，如何以更少、更緊湊的傳感器實(shí)現(xiàn)與高密度陣列相當(dāng)?shù)?a target="_blank">信號(hào)重建與動(dòng)作預(yù)測(cè)能力，成為當(dāng)前可穿戴感知技術(shù)的重要挑戰(zhàn)。

近日，斯坦福大學(xué)鮑哲南教授團(tuán)隊(duì)提出了一種生成式肌電圖網(wǎng)絡(luò)（GenENet），結(jié)合柔性可拉伸傳感器，能夠從有限的傳感器輸入中重建未覆蓋區(qū)域的肌肉活動(dòng)信號(hào)，實(shí)現(xiàn)了用6通道設(shè)備達(dá)到32通道設(shè)備的識(shí)別性能。該系統(tǒng)在手語字母識(shí)別和步態(tài)動(dòng)力學(xué)預(yù)測(cè)任務(wù)中表現(xiàn)出色，為低功耗、低復(fù)雜度的可穿戴生理監(jiān)測(cè)設(shè)備開辟了新路徑。

2025年12月1日，相關(guān)工作以“A simplified wearable device powered by a generative EMG network for hand-gesture recognition and gait prediction”為題發(fā)表在Nature Sensors上。 該研究提出了生成式肌電圖網(wǎng)絡(luò)（GenENet），該網(wǎng)絡(luò)基于自編碼器架構(gòu)，通過自監(jiān)督生成式表征學(xué)習(xí)訓(xùn)練，能從少量傳感器輸入中預(yù)測(cè)肌電圖信息，識(shí)別大面積身體區(qū)域傳感器激活的通用模式；同時(shí)，研發(fā)了由聚二甲基硅氧烷（PDMS）、耐溶劑聚（丙烯腈 - 丁二烯）（NBR）、鎵銦共晶（EGaIn）電極、聚（3,4 - 乙烯二氧噻吩）：聚（苯乙烯磺酸鹽）（PEDOT:PSS）凝膠等組成的全可拉伸多陣列肌電圖設(shè)備，用于收集高質(zhì)量 32 通道數(shù)據(jù)以支持 GenENet 預(yù)訓(xùn)練（隨機(jī)掩蓋約 80% 數(shù)據(jù)，通過生成信號(hào)與完整信號(hào)對(duì)比學(xué)習(xí)重建缺失信息）；隨后將預(yù)訓(xùn)練模型與 6 通道簡(jiǎn)化設(shè)備集成，結(jié)合后訓(xùn)練網(wǎng)絡(luò)提取時(shí)空肌肉活動(dòng)關(guān)鍵特征，最終實(shí)現(xiàn)美式手語翻譯和步態(tài)動(dòng)力學(xué)預(yù)測(cè)，驗(yàn)證了低通道設(shè)備在保持性能的同時(shí)降低系統(tǒng)復(fù)雜度的可行性。

圖文介紹

首先，研究了通過生成式肌電圖網(wǎng)絡(luò)（GenENet）實(shí)現(xiàn)手勢(shì)與步態(tài)預(yù)測(cè)的基本框架（圖1a）。該框架使用32通道可拉伸設(shè)備進(jìn)行預(yù)訓(xùn)練，通過隨機(jī)掩碼輸入信號(hào)并重建原始數(shù)據(jù)，學(xué)習(xí)肌肉活動(dòng)的時(shí)空模式。在此基礎(chǔ)上，構(gòu)建了一個(gè)僅含6通道的簡(jiǎn)化設(shè)備（圖1b），利用預(yù)訓(xùn)練網(wǎng)絡(luò)從有限輸入中預(yù)測(cè)未覆蓋區(qū)域的肌肉活動(dòng)。圖中還展示了設(shè)備的實(shí)際形態(tài)與無線模塊的連接方式（圖1d–f）。該設(shè)計(jì)體現(xiàn)了GenENet如何通過先驗(yàn)知識(shí)遷移，在減少硬件復(fù)雜度的同時(shí)保持預(yù)測(cè)性能，為后續(xù)手勢(shì)與步態(tài)任務(wù)的應(yīng)用奠定了基礎(chǔ)。

圖1. 用于手語和步態(tài)預(yù)測(cè)的GenENet。a. 使用32通道可拉伸設(shè)備通過GenENet進(jìn)行表征學(xué)習(xí)，隨機(jī)掩蔽輸入信號(hào)以重建原始數(shù)據(jù)。b. 使用更小的6通道設(shè)備，其中預(yù)訓(xùn)練網(wǎng)絡(luò)預(yù)測(cè)未覆蓋區(qū)域的肌肉活動(dòng)。參考電極和接地電極置于右側(cè)。c. 后訓(xùn)練網(wǎng)絡(luò)，使預(yù)訓(xùn)練模型能夠遷移到不同應(yīng)用和用戶。d-f. 分別展示與a-c各階段對(duì)應(yīng)的設(shè)備實(shí)物圖。無線模塊由柔性印刷電路板構(gòu)成。

為了獲取高質(zhì)量的預(yù)訓(xùn)練數(shù)據(jù)集，研究設(shè)計(jì)了一種全可拉伸的多陣列EMG設(shè)備（圖2a）。該設(shè)備采用多層結(jié)構(gòu)，包括PDMS基底、NBR保護(hù)層、EGaIn液態(tài)金屬電極、高導(dǎo)電PEDOT:PSS凝膠以及SBS封裝層。電極在拉伸至100%應(yīng)變時(shí)仍保持低阻抗特性（圖2f），且與相同尺寸的Ag/AgCl電極相比，在握力測(cè)試中表現(xiàn)出更高的功率密度（圖2g）。此外，與基于聚酰亞胺的非可拉伸陣列相比，可拉伸陣列在手腕握力測(cè)試中表現(xiàn)出更高的平均信噪比（15.06 dB vs. 12.19 dB）（圖2h–i）。這些結(jié)果表明，可拉伸結(jié)構(gòu)與低阻抗電極的設(shè)計(jì)顯著提升了信號(hào)質(zhì)量，為生成式網(wǎng)絡(luò)的訓(xùn)練提供了可靠的數(shù)據(jù)基礎(chǔ)。

圖2. 用于生成高質(zhì)量數(shù)據(jù)集的可拉伸傳感器陣列。a. 32通道可拉伸陣列的分解視圖，顯示封裝層、傳感電極、互連線和基底。b. 32通道設(shè)備的側(cè)視圖。c. 設(shè)備原始狀態(tài)與拉伸狀態(tài)的對(duì)比。d. 32通道設(shè)備通過柔性扁平電纜連接到定制無線模塊。e. 含有與不含有PEDOT:PSS的水凝膠的電化學(xué)阻抗譜。f.在100%應(yīng)變下的阻抗耐久性圖。小圖顯示PEDOT互連線在0%和100%應(yīng)變下的狀態(tài)。Z和Z0分別表示應(yīng)變下和無應(yīng)變狀態(tài)下的阻抗。g. 使用測(cè)力計(jì)（電極附著于前臂）比較PEDOT凝膠與相同尺寸Ag/AgCl電極的韋爾奇功率譜密度估計(jì)。h,i. 在非可拉伸聚酰亞胺基底上制作的設(shè)備與在可拉伸基底上制作的設(shè)備的信噪比箱形圖，顯示可拉伸基底在32個(gè)通道上具有更高的平均信噪比。

在預(yù)訓(xùn)練階段，研究采用32通道EMG陣列捕獲手腕與小腿肌肉活動(dòng)信號(hào)，并通過滑動(dòng)窗口計(jì)算均方根值，構(gòu)建32×32×1的時(shí)序-通道張量（圖3c）。隨后，隨機(jī)掩碼約81%的數(shù)據(jù)塊，輸入GenENet進(jìn)行自監(jiān)督訓(xùn)練（圖3d）。網(wǎng)絡(luò)基于編碼器-解碼器架構(gòu)，通過多頭部注意力機(jī)制學(xué)習(xí)信號(hào)中的廣義表示。訓(xùn)練過程中，生成信號(hào)逐漸從隨機(jī)噪聲逼近原始信號(hào)，均方誤差隨訓(xùn)練周期下降（圖3e）。多個(gè)樣本在訓(xùn)練后的重建效果(圖3f–g)，證明GenENet能夠有效從掩碼輸入中恢復(fù)完整的肌肉活動(dòng)模式，為下游任務(wù)提供了可遷移的特征表示。

圖3. GenENet的預(yù)訓(xùn)練過程。a. 32通道可拉伸設(shè)備在任意手指運(yùn)動(dòng)和行走時(shí)，從手腕或小腿捕獲肌肉激活信號(hào)。b,c. 信號(hào)經(jīng)過增強(qiáng)和均方根處理。d. 對(duì)后處理張量進(jìn)行隨機(jī)掩蔽，訓(xùn)練GenENet以最小化生成信號(hào)與原始信號(hào)之間的均方誤差損失。E和D分別表示GenENet的編碼器和解碼器模塊。e. 樣本1的代表性信號(hào)，展示訓(xùn)練周期中被掩蔽、原始和生成的信號(hào)。右側(cè)圖表顯示訓(xùn)練期間均方誤差的下降。f. 訓(xùn)練過程中生成信號(hào)的詳細(xì)圖示。g. 訓(xùn)練450個(gè)周期后，樣本2和樣本3的結(jié)果。

研究將預(yù)訓(xùn)練的GenENet應(yīng)用于美國手語識(shí)別任務(wù)，設(shè)計(jì)了一款6通道無線EMG手表（圖4a）。信號(hào)經(jīng)與預(yù)訓(xùn)練相同的后處理流程后，輸入GenENet編碼器提取潛在特征，再經(jīng)由LSTM網(wǎng)絡(luò)進(jìn)行分類（圖4c）。通過權(quán)衡通道數(shù)量與傳感器面積對(duì)性能的影響，發(fā)現(xiàn)6通道在準(zhǔn)確性與設(shè)備尺寸之間取得最佳平衡（圖4e–f）。預(yù)訓(xùn)練模型在150個(gè)遷移訓(xùn)練周期內(nèi)達(dá)到93.6%的驗(yàn)證準(zhǔn)確率，顯著優(yōu)于未預(yù)訓(xùn)練的模型（圖4g）。此外，設(shè)備在不同手腕位置與朝向下仍保持穩(wěn)定的識(shí)別性能（圖4h），并能實(shí)時(shí)輸出字母預(yù)測(cè)結(jié)果（圖4i）。通過梯度歸因圖分析，可進(jìn)一步解釋各通道信號(hào)對(duì)手勢(shì)分類的貢獻(xiàn)程度（圖4j），增強(qiáng)了模型的可解釋性。

圖4. 使用GenENet設(shè)備預(yù)測(cè)美式手語。a. 通過六通道設(shè)備捕獲的手語輸入信號(hào)。b. 與預(yù)訓(xùn)練相同的后處理步驟（不包括數(shù)據(jù)增強(qiáng)）。c. 后處理張量輸入GenENet，連接至CNN、LSTM和密集層。解碼器和CNN的虛線部分僅在回歸建模時(shí)激活。d. 手語手勢(shì)分類。e. 通過平衡模型準(zhǔn)確性和總傳感器面積測(cè)量的品質(zhì)因數(shù)。f. 品質(zhì)因數(shù)在六通道區(qū)域達(dá)到峰值，增加通道數(shù)提高準(zhǔn)確性但也增大了傳感器面積。g. 使用六電極EMG陣列進(jìn)行手指運(yùn)動(dòng)識(shí)別時(shí)，預(yù)訓(xùn)練GenENet與非參數(shù)化GenENet的驗(yàn)證準(zhǔn)確性比較。h. 設(shè)備在手腕不同位置和方向上的適應(yīng)性，顯示準(zhǔn)確性差異可忽略。I.1–I.7表示電極陣列附著的不同位置和方向。 i. 使用來自6通道EMG輸入的數(shù)字值進(jìn)行手語預(yù)測(cè)。j. 代表字母A、N和R的批次歸因圖，以及相應(yīng)的EMG信號(hào)和歸因圖。

為擴(kuò)展系統(tǒng)應(yīng)用范圍，研究將GenENet用于步態(tài)動(dòng)力學(xué)預(yù)測(cè)。實(shí)驗(yàn)通過三塊測(cè)力板與視頻同步采集步態(tài)過程中的地面反作用力與膝關(guān)節(jié)力學(xué)數(shù)據(jù)（圖5a）。6通道EMG設(shè)備附著于小腿，輸入預(yù)訓(xùn)練的GenENet編碼器，并結(jié)合CNN-LSTM網(wǎng)絡(luò)進(jìn)行連續(xù)力值預(yù)測(cè)（圖5b–c）。模型在整個(gè)步態(tài)周期中成功預(yù)測(cè)了地面反作用力，其預(yù)測(cè)值與真實(shí)值之間的R2系數(shù)達(dá)0.975（圖5e），且在不同個(gè)體間表現(xiàn)一致（圖5f）。通過逆動(dòng)力學(xué)分析，系統(tǒng)還能預(yù)測(cè)膝關(guān)節(jié)內(nèi)收力矩的變化趨勢(shì)（圖5h），為步態(tài)分析與運(yùn)動(dòng)健康評(píng)估提供了便捷的工具。該結(jié)果表明，緊湊型EMG陣列結(jié)合生成式學(xué)習(xí)算法，能在不依賴復(fù)雜實(shí)驗(yàn)室設(shè)置的條件下實(shí)現(xiàn)高精度的步態(tài)動(dòng)力學(xué)監(jiān)測(cè)。

圖5. 使用GenENet設(shè)備預(yù)測(cè)步態(tài)動(dòng)力學(xué)。a. 實(shí)驗(yàn)設(shè)置，涉及走過三個(gè)測(cè)力板并同時(shí)進(jìn)行視頻捕捉。后訓(xùn)練網(wǎng)絡(luò)用于預(yù)測(cè)地面反作用力，而膝關(guān)節(jié)垂直力和力矩則基于視頻數(shù)據(jù)通過逆動(dòng)力學(xué)計(jì)算，并入動(dòng)力學(xué)后訓(xùn)練數(shù)據(jù)集。b. 附著在小腿上的六通道EMG設(shè)備示意圖。c. 步態(tài)周期中的地面反作用力預(yù)測(cè)，顯示預(yù)測(cè)值與從視頻數(shù)據(jù)獲得的真實(shí)值密切匹配的五個(gè)不同階段。d. 肌肉骨骼模型上實(shí)時(shí)預(yù)測(cè)地面反作用力的快照。e. 地面反作用力預(yù)測(cè)的確定系數(shù)R2為0.975。f. 對(duì)不同個(gè)體的適應(yīng)性，顯示他們之間一致的R2系數(shù)。g. 地面反作用力和膝內(nèi)收力矩向量方向的示意圖。h. 在特定時(shí)間間隔內(nèi)預(yù)測(cè)的膝關(guān)節(jié)Y軸力和膝內(nèi)收力矩。

綜上，該研究通過結(jié)合生成式表示學(xué)習(xí)與柔性可穿戴傳感技術(shù)，成功實(shí)現(xiàn)了用極少通道數(shù)EMG設(shè)備完成復(fù)雜手勢(shì)識(shí)別與步態(tài)預(yù)測(cè)任務(wù)，突破了傳統(tǒng)高密度傳感的硬件限制。該系統(tǒng)在健康監(jiān)測(cè)、康復(fù)工程、人機(jī)交互與運(yùn)動(dòng)分析等領(lǐng)域具有廣泛的應(yīng)用前景。未來可通過擴(kuò)展訓(xùn)練數(shù)據(jù)覆蓋范圍、融合慣性傳感器等多模態(tài)信息，進(jìn)一步提升系統(tǒng)的魯棒性與泛化能力，推動(dòng)低功耗、高智能的可穿戴感知系統(tǒng)發(fā)展。

原文鏈接

https://www.nature.com/articles/s44460-025-00002-2

關(guān)于鮑哲南 鮑哲南，斯坦福大學(xué)終身教授，中國科學(xué)院外籍院士，美國國家科學(xué)院院士，美國國家工程院院士，美國藝術(shù)與科學(xué)院院士，美國國家發(fā)明家學(xué)院院士。

南京大學(xué)1987級(jí)本科生，1990年大學(xué)三年級(jí)時(shí)移民到美國。1995年獲芝加哥大學(xué)博士學(xué)位，同年被貝爾實(shí)驗(yàn)室錄用為正式研究人員。2004年加入美國斯坦福大學(xué)。鮑哲南于2017年升任斯坦福大學(xué)化學(xué)工程學(xué)院院長，是該校歷史上第一位華人女院長。

鮑哲南院士的研究范圍包括化學(xué)、材料科學(xué)、能源、納米電子學(xué)和分子電子學(xué)等領(lǐng)域。她開創(chuàng)了多個(gè)用于有機(jī)電子材料的設(shè)計(jì)理念，使得柔性電子電路和柔性顯示成為現(xiàn)實(shí)。已發(fā)表700多篇論文，被引超過19.7萬次，谷歌學(xué)術(shù)H指數(shù)為233，擁有超100項(xiàng)美國授權(quán)專利。