背景介紹

憑借軟柔性/可拉伸傳感器和商用剛性但小型化的高性能設(shè)備組件的共同優(yōu)勢，柔性混合電子設(shè)備可以為健康監(jiān)測、人機(jī)界面和機(jī)器人提供完全集成的設(shè)備系統(tǒng)。在健康監(jiān)測中，多模態(tài)傳感對于表征生理和心理健康至關(guān)重要。鑒于現(xiàn)代社會壓力水平的上升，實(shí)時(shí)情緒監(jiān)測對于早期發(fā)現(xiàn)和及時(shí)干預(yù)抑郁、焦慮或恐慌發(fā)作等心理問題變得越來越重要。雖然面部表情可以提供一些關(guān)于潛在情緒的見解，但僅依賴于面部表情的指標(biāo)往往會導(dǎo)致不準(zhǔn)確的分類和檢測，因?yàn)樵S多人可能由于個(gè)體差異和社會因素而無法明顯表達(dá)自己的感受。因此，將面部表情分析與其他生理參數(shù)相結(jié)合，對于全面理解和提高預(yù)測精度至關(guān)重要。

從皮膚溫度、濕度、心率和SpO2水平的變化中可以獲得對情緒狀態(tài)的寶貴見解。例如，當(dāng)一個(gè)人感到驚訝或憤怒時(shí)，皮膚溫度會升高，而在快樂、恐懼或悲傷時(shí)則會降低。通過主要反映出汗水平，皮膚濕度在出汗引起的恐懼期間會上升。心率通常會隨著快樂、驚訝、恐懼或憤怒等情緒而增加，而悲傷通常會導(dǎo)致心率下降。對于厭惡，溫度、濕度和心率反應(yīng)可能因所經(jīng)歷的特定厭惡類型而異。同時(shí)，監(jiān)測SpO2水平是有價(jià)值的，因?yàn)橐l(fā)恐慌發(fā)作的情緒可能會導(dǎo)致與SpO2水平下降相關(guān)的呼吸困難等癥狀。因此，通過將生理信號與面部表情相結(jié)合的多維數(shù)據(jù)，可以更準(zhǔn)確地識別情緒。

盡管柔性傳感器已被廣泛報(bào)道用于實(shí)時(shí)跟蹤應(yīng)變、溫度、濕度、心率和血氧，但在沒有串?dāng)_的情況下同時(shí)高精度檢測這些信號仍然具有挑戰(zhàn)性。最小化耦合的努力始于直觀的策略。例如，通常用于增強(qiáng)可拉伸性的蛇形等可拉伸結(jié)構(gòu)可以自然地減輕應(yīng)變效應(yīng)。將具有正溫度系數(shù)和負(fù)溫度系數(shù)的材料結(jié)合起來可以實(shí)現(xiàn)溫度不敏感，而透氣或封裝傳感器可以降低對濕度的敏感性。另一方面，基于多孔離子膜的濕度傳感器在一定溫度范圍內(nèi)表現(xiàn)出離子遷移穩(wěn)定性，多孔結(jié)構(gòu)在壓力下抵抗顯著變形。因此，它們可以在廣泛的溫度和壓力范圍內(nèi)保持穩(wěn)定的性能。盡管取得了這些進(jìn)步，但現(xiàn)有的研究大多集中在測量兩個(gè)輸入信號的單個(gè)傳感器上。因此，迫切需要開發(fā)能夠有效解耦兩個(gè)以上信號的先進(jìn)傳感器，以精確可靠地感知情緒識別。

本文亮點(diǎn)

1. 本工作介紹了一種完全集成的可拉伸、可充電、多模式混合設(shè)備，該設(shè)備將解耦的傳感器與靈活的無線供電和傳輸模塊相結(jié)合，用于情感識別。

2. 通過優(yōu)化的結(jié)構(gòu)設(shè)計(jì)和材料選擇，傳感器可以提供雙軸應(yīng)變、溫度、濕度、心率和SpO2水平的連續(xù)實(shí)時(shí)解耦監(jiān)測。通過傳感器和柔性電路的堆疊雙層，可充電系統(tǒng)展示了減少的設(shè)備占地面積和提高的舒適度。

3. 神經(jīng)網(wǎng)絡(luò)模型也被證明可以實(shí)現(xiàn)高精度的面部表情識別。通過將實(shí)時(shí)測量數(shù)據(jù)傳輸?shù)揭苿釉O(shè)備和云端，該系統(tǒng)可以讓醫(yī)療保健專業(yè)人員評估心理健康，并在需要時(shí)通過遠(yuǎn)程醫(yī)療提供情感支持。

圖文解析

圖1.（a） 可充電可拉伸混合無線傳感設(shè)備系統(tǒng)的分解圖，其中（b）以多層布局排列的內(nèi)部制造傳感器的布局信息。（c） 集成傳感裝置系統(tǒng)在機(jī)械變形（如20%拉伸（左）、150°彎曲（中）和60°扭曲（右））下的有限元分析（FEA，上圖）和照片（下圖）之間的比較。（d） 顯示設(shè)備組件和數(shù)據(jù)流的示意圖。（e） 多模態(tài)生理傳感裝置系統(tǒng)與神經(jīng)網(wǎng)絡(luò)分析相結(jié)合在情緒監(jiān)測和分析中的應(yīng)用。

圖2.（a） X軸應(yīng)變傳感器的歸一化相對變化，作為（i）X軸拉伸應(yīng)變、（ii）溫度和（iii）濕度的函數(shù)。（b） Y軸應(yīng)變傳感器的歸一化相對變化，作為（i）Y軸拉伸應(yīng)變、（ii）溫度和（iii）濕度的函數(shù)。（c） 溫度傳感器的歸一化相對變化，作為（i）溫度、（ii）濕度和（iii）應(yīng)變的函數(shù)。（d） 濕度傳感器的歸一化相對變化，作為（i）濕度、（ii）溫度和（iii）應(yīng)變的函數(shù)。

圖3. （a） （i）光學(xué)圖像，（ii）示意圖，以及（iii）傳感器的橫截面SEM圖像。（b） （c）（i）在水蒸氣密度為0.7626kg/m3的環(huán)境中傳感器的濕度分布和（ii）碳納米管的SEM和孔隙率分析圖像。（d） 傳感器蛇形電極中的應(yīng)變分布（i）在20%X軸拉伸下沒有PET應(yīng)變隔離，（ii）在等效拉伸應(yīng)力下有PET應(yīng)變隔離；以及（iii）蛇形電極的SEM圖像（沒有PET引起的裂紋）。（e） 應(yīng)變傳感器在沿（i）X和（ii）Y方向拉伸時(shí)的應(yīng)變分布，其中（iii）SEM圖像顯示了裂紋模式隨拉伸應(yīng)變的演變：5%（左）、40%（中）和80%（右）。

圖4. （a） 用于訓(xùn)練和分類不同面部表情的機(jī)器學(xué)習(xí)算法的示意流程圖。（b） （i）損失和（ii）訓(xùn)練（藍(lán)色）和驗(yàn)證（紅色）集在訓(xùn)練過程的100次迭代/迭代中的準(zhǔn)確率。（c） 100次迭代后情緒識別的混淆矩陣。（d） 六種面部表情沿（i）X和（ii）Y方向的代表性應(yīng)變測量值，標(biāo)記為1至6表示快樂、驚訝、恐懼、悲傷、憤怒和厭惡，以及相應(yīng)的（e）K-means聚類圖。（i）溫度和（ii）濕度傳感器在（f）靜止/運(yùn)動狀態(tài)和（g）不同情緒下的響應(yīng)變化。

圖5. （a） 連接到不同身體部位的集成混合動力裝置系統(tǒng)的照片。（b） 在休息和間歇性屏氣狀態(tài)下從不同身體部位獲得的SpO2數(shù)據(jù)。（ii）在休息/運(yùn)動狀態(tài)下從面部獲得的心率變化，以及（iii）在不同情緒狀態(tài)下的心率變化。（c） （i）網(wǎng)絡(luò)和（ii）基于移動的云監(jiān)控界面。

審核編輯 黃宇