一、研究背景

在先進制造、醫(yī)療機器人和具身智能領(lǐng)域，開發(fā)具備集成傳感能力的智能機器人至關(guān)重要。現(xiàn)有的機器人傳感技術(shù)局限于記錄加速度、驅(qū)動扭矩、壓力反饋等數(shù)據(jù)，而擴展并集成多模態(tài)傳感器以模擬甚至超越人類感知的技術(shù)尚不完善。

柔性電子在柔性人機界面應用中日益普及，這類界面是人類與外界（尤其是計算機、機器人和假肢）交互通信的載體，注重可用性、可訪問性和可學習性。近年來，柔性電子的發(fā)展使人體能配備柔性電子皮膚（e-skin），可識別生命體征、身體動作及腦電（EEG）、肌電（EMG）等生理信號以解碼意圖；同時，人機界面已從單向操控發(fā)展為雙向通信，新增機器人觸覺傳感、材料識別等多模態(tài)感知功能。

盡管前景廣闊，仍存在關(guān)鍵挑戰(zhàn)：

• 機器學習模型性能局限：Transformer方法耗時且依賴復雜預訓練，循環(huán)神經(jīng)網(wǎng)絡對局部模式效果差，全卷積網(wǎng)絡忽略結(jié)構(gòu)特征；雖卷積神經(jīng)網(wǎng)絡（CNN）表現(xiàn)較優(yōu)，但需進一步適配生理信號分類。
• 制造與感知瓶頸：缺乏低成本、大規(guī)模制造方法，且缺少用于材料識別的多模態(tài)傳感技術(shù)，阻礙閉環(huán)傳感人機界面的普及。

二、研究內(nèi)容

（一）柔性人機界面的設(shè)計與3D打印制造

研究提出的3D打印人機界面核心架構(gòu)包含三部分：用于表面肌電（sEMG）采集和刺激反饋的電子皮膚、多模態(tài)觸覺感知傳感軟體機器人、手勢分類與材料識別的機器學習算法（圖1A）。

圖1 具有個性化自適應機器學習的人機界面
（A）帶有線性映射網(wǎng)絡（LMN）、inception時間模型（ITM）和緊湊卷積神經(jīng)網(wǎng)絡（CNN）的雙向界面示意圖。插圖為多模態(tài)傳感陣列。
（B）軟體傳感機器人制造流程示意圖。
（C）電子皮膚與傳感機器人之間閉環(huán)信號流的人機界面示意圖。
（D）帶有多模態(tài)傳感器陣列的傳感機器人照片。
（E、F）電子皮膚附著在手臂表面的照片（E）和作為假肢手抓取物體的軟體機器人照片（F）。比例尺，5cm。

1. 核心制造技術(shù)：采用“DIW墨水直寫3D打印+紅外激光+切割激光”的大規(guī)模集成3D打印技術(shù)，制造多材料、高密度傳感器陣列的柔性生物電子器件（圖1B）。關(guān)鍵工藝包括：

• 通過精密三軸運動系統(tǒng)（集成氣動分配器）3D打印，噴嘴經(jīng)355nm紫外激光雕刻，內(nèi)徑最小達30μm，3D打印線寬可達40μm，圖案邊緣平滑且導電性穩(wěn)定（圖2A-D、S1-S3）。
• 使用多材料墨水（銀、碳、PDMS/碳、PEDOT:PSS等），墨水具備剪切變稀特性和良好潤濕性，可實現(xiàn)懸垂結(jié)構(gòu)3D打?。▓D2E-H、S4-S5）。

圖2 柔性人機界面的3D打印與組裝
（A）集成分配器的三軸運動平臺示意圖。
（B、C）激光雕刻高分辨率噴嘴（B）和分配器圖案3D打印（C）的照片。比例尺，2mm。
（D）高分辨率3D打印線的SEM圖像。比例尺，100μm。
（E）3D打印傳感器陣列的光學圖像。比例尺，1cm。
（F、G）可印刷墨水的儲能模量（F）和表觀粘度（G）表征。C，碳；PVDF，聚偏氟乙烯；IL，離子液體；SBS，苯乙烯嵌段共聚物；PDMS，聚二甲基硅氧烷。
（H）用四種墨水3D打印的標志圖案。比例尺，5mm。
（I、J）電子皮膚附著在人體受試者身上（I）和機械變形下（J）的照片。比例尺，1cm。
（K）0.85mm位移下sEMG電極的馮·米塞斯應力分布模擬結(jié)果。
（L）反饋刺激電極在皮膚上的電流響應隨施加電位從0到5V的變化。
（M、N）用于sEMG信號采集和傳輸?shù)娜嵝噪娐钒逭掌∕）和示意圖（N）。比例尺，5mm。
（O）柔性電路的框圖，包括電源、刺激電極和藍牙模塊。ADC，模數(shù)轉(zhuǎn)換器；MCU，微控制器單元；TXD，串行發(fā)送數(shù)據(jù)；RXD，串行接收數(shù)據(jù)。
（P）不同供電電壓下柔性電路板的電流。

（二）實時手勢分類的自適應機器學習

針對sEMG信號的個體差異與放置偏差，設(shè)計“線性映射網(wǎng)絡（LMN）+inception時間模型（ITM）”的自適應學習框架（圖3）。

圖3 用于sEMG數(shù)據(jù)分析的個性化自適應機器學習模型
（A）六種手勢的八通道sEMG信號。插圖，從左到右的手勢分別是握拳、放松、上、下、左、右。
（B）線性映射網(wǎng)絡（LMN）改變八通道權(quán)重的示意圖。
（C、D）目標受試者（C）和經(jīng)LMN處理后的人類受試者（D）通過主成分分析得到的數(shù)據(jù)分布。插圖，該受試者的初始數(shù)據(jù)分布。
（E）用于自適應機器學習的inception時間模型（ITM）。Conv，卷積層；MaxPL，最大池化；AvgPL，平均池化；FC，全連接層。
（F）通過訓練LMN，結(jié)合機器學習模型的知識遷移，利用校準數(shù)據(jù)和標準化數(shù)據(jù)集（StdData）進行自適應過程。
（G）數(shù)據(jù)準備中不同延遲下epoch與測試準確率的關(guān)系。插圖，延遲與準確率的關(guān)系。
（H、I）不同受試者的sEMG信號和實時手勢預測。彩色圓點表示預測時間點。
（J、K）預訓練受試者（J）和有限手勢重復次數(shù)受試者（K）使用自適應機器學習模型對14種手勢的分類結(jié)果。

（三）多模態(tài)傳感器表征及在軟體機器人上的應用

多模態(tài)傳感器陣列（溫度、壓力、導電、加熱器）通過串行印刷集成，附著于軟體機器人實現(xiàn)物體感知（圖4）。

圖4 軟體機器人手指上多模態(tài)傳感器陣列的表征與評估
（A）多模態(tài)傳感器陣列的光學圖像。比例尺，3mm。
（B）溫度傳感器的響應。插圖，溫度與電阻變化的線性關(guān)系。
（C）加熱器沿兩條線的溫度分布。插圖，加熱器的紅外圖像。
（D）不同材料的熱導率測試響應。
（E）交流和外部壓力下壓力傳感器的工作原理。
（F）不同PVDF與IL比例的壓力傳感器性能。
（G）壓力傳感器的長期穩(wěn)定性。插圖，1820至1850次循環(huán)的電容信號。
（H）導電傳感器在0至0.8V電壓掃描測試下的電流響應。插圖，導電測試示意圖。R，內(nèi)阻；Rx，外部物體電阻；U，施加電壓。
（I）軟體機器人手指的結(jié)構(gòu)設(shè)計和工作機制。
（J）不同凹槽深度平衡彎曲角度和應力水平的模擬結(jié)果。角度由彎曲形狀擬合圓的圓心角定義。
（K、L）軟體手指彎曲狀態(tài)的照片（K）和模擬結(jié)果（L）。比例尺，2cm。
（M）氣壓與彎曲角度的關(guān)系。插圖，不同壓力下軟體機器人手指的照片。
（N）安裝在軟體機器人手指上的多模態(tài)傳感器陣列光學圖像。比例尺，3cm。
（O、P）多模態(tài)傳感器陣列對木材（O）和銅（P）的響應。

（四）交互式軟體機器人的物體識別評估

結(jié)合熱導率與電導率傳感，設(shè)計緊湊CNN網(wǎng)絡實現(xiàn)物體識別（圖5）。

圖5 交互式軟體機器人手物體識別評估
（A）使用緊湊卷積神經(jīng)網(wǎng)絡（CNN）的材料識別算法的預處理和架構(gòu)。
（B）20種物體的圖像。編號1至20分別代表的材料為：卷心菜、玻璃、織物、大蒜、單晶硅、多晶硅、硅橡膠、黃銅、鋁、木炭、南瓜、檸檬、導電凝膠、聚乙烯泡沫、芹菜、石墨、丙烯腈-丁二烯-苯乙烯（ABS）塑料、不銹鋼、土豆、羊肉。
（C）僅使用熱導率傳感與熱導率結(jié)合電導率傳感的識別結(jié)果?；鶊D。
（D）識別算法對20種材料的識別結(jié)果，平均準確率：98.03%。
（E-H）通過帶有自適應機器學習的人機界面控制的柔性傳感機器人照片。比例尺，5cm。
（I-L）柔性傳感機器人抓取瓶子物體的延時照片。比例尺，5cm。

（五）上肢殘疾人人機界面評估

將系統(tǒng)作為假肢應用于左臂截肢受試者，驗證醫(yī)療實用性（圖6）。

圖6 人機界面在假肢應用中的評估
（A）截肢手術(shù)后受試者佩戴作為假肢的人機界面照片。比例尺，4cm。
（B）用于軟組織識別的MRI掃描儀光學圖像。
（C）受試者左前臂的MRI圖像。a至d，距離肘部的距離分別為5.7、12、16.5和20.7cm。
（D）基于MRI圖像的八通道sEMG電極重建模型。
（E）11種手部和手指手勢的八通道sEMG信號。插圖，（從左到右）握拳、放松、上、下、左、右、拇指、食指、中指、無名指、小指。
（F）三次無名指手勢的時頻圖。每個相關(guān)信號的頻率范圍為0至300Hz。內(nèi)部矩形和箭頭表示時間延遲現(xiàn)象。
（G）截肢者雙臂八個通道sEMG信號的平均強度。插圖比例尺，橫軸代表1秒，縱軸代表0.8mV。
（H、I）受試者在20次（H）和有限5次（I）手勢重復下，使用自適應機器學習算法對11種手勢的分類矩陣，平均準確率分別為89.82%（H）和94.36%（I）。
（J）作為假肢手的柔性傳感機器人抓取檸檬的照片。比例尺，5cm。

三、研究結(jié)論

• 開發(fā)了可大規(guī)模生產(chǎn)的柔性人機界面，通過3D打印技術(shù)實現(xiàn)電子皮膚與多模態(tài)傳感器制造，成本低且兼容性強。
• 自適應機器學習模型（LMN+ITM）解決sEMG個體差異問題，實現(xiàn)低延遲（0.1秒）、高準確率（≥89.82%）的手勢分類，適配健康人與截肢者。
• 軟體機器人集成多模態(tài)傳感（壓力、溫度、熱/電導率），物體識別準確率達98.03%，結(jié)合電子皮膚實現(xiàn)“控制-感知”雙向閉環(huán)。
• 在醫(yī)療假肢中驗證實用性，為先進制造、具身智能等領(lǐng)域提供核心技術(shù)支撐，未來可結(jié)合計算機視覺進一步擴展機器人智能。

四、論文信息