一、研究背景

在先進(jìn)制造、醫(yī)療機(jī)器人和具身智能領(lǐng)域，開(kāi)發(fā)具備集成傳感能力的智能機(jī)器人至關(guān)重要?，F(xiàn)有的機(jī)器人傳感技術(shù)局限于記錄加速度、驅(qū)動(dòng)扭矩、壓力反饋等數(shù)據(jù)，而擴(kuò)展并集成多模態(tài)傳感器以模擬甚至超越人類感知的技術(shù)尚不完善。

柔性電子在柔性人機(jī)界面應(yīng)用中日益普及，這類界面是人類與外界（尤其是計(jì)算機(jī)、機(jī)器人和假肢）交互通信的載體，注重可用性、可訪問(wèn)性和可學(xué)習(xí)性。近年來(lái)，柔性電子的發(fā)展使人體能配備柔性電子皮膚（e-skin），可識(shí)別生命體征、身體動(dòng)作及腦電（EEG）、肌電（EMG）等生理信號(hào)以解碼意圖；同時(shí)，人機(jī)界面已從單向操控發(fā)展為雙向通信，新增機(jī)器人觸覺(jué)傳感、材料識(shí)別等多模態(tài)感知功能。

盡管前景廣闊，仍存在關(guān)鍵挑戰(zhàn)：

• 機(jī)器學(xué)習(xí)模型性能局限：Transformer方法耗時(shí)且依賴復(fù)雜預(yù)訓(xùn)練，循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)局部模式效果差，全卷積網(wǎng)絡(luò)忽略結(jié)構(gòu)特征；雖卷積神經(jīng)網(wǎng)絡(luò)（CNN）表現(xiàn)較優(yōu)，但需進(jìn)一步適配生理信號(hào)分類。
• 制造與感知瓶頸：缺乏低成本、大規(guī)模制造方法，且缺少用于材料識(shí)別的多模態(tài)傳感技術(shù)，阻礙閉環(huán)傳感人機(jī)界面的普及。

二、研究?jī)?nèi)容

（一）柔性人機(jī)界面的設(shè)計(jì)與3D打印制造

研究提出的3D打印人機(jī)界面核心架構(gòu)包含三部分：用于表面肌電（sEMG）采集和刺激反饋的電子皮膚、多模態(tài)觸覺(jué)感知傳感軟體機(jī)器人、手勢(shì)分類與材料識(shí)別的機(jī)器學(xué)習(xí)算法（圖1A）。

圖1 具有個(gè)性化自適應(yīng)機(jī)器學(xué)習(xí)的人機(jī)界面
（A）帶有線性映射網(wǎng)絡(luò)（LMN）、inception時(shí)間模型（ITM）和緊湊卷積神經(jīng)網(wǎng)絡(luò)（CNN）的雙向界面示意圖。插圖為多模態(tài)傳感陣列。
（B）軟體傳感機(jī)器人制造流程示意圖。
（C）電子皮膚與傳感機(jī)器人之間閉環(huán)信號(hào)流的人機(jī)界面示意圖。
（D）帶有多模態(tài)傳感器陣列的傳感機(jī)器人照片。
（E、F）電子皮膚附著在手臂表面的照片（E）和作為假肢手抓取物體的軟體機(jī)器人照片（F）。比例尺，5cm。

1. 核心制造技術(shù)：采用“DIW墨水直寫3D打印+紅外激光+切割激光”的大規(guī)模集成3D打印技術(shù)，制造多材料、高密度傳感器陣列的柔性生物電子器件（圖1B）。關(guān)鍵工藝包括：

• 通過(guò)精密三軸運(yùn)動(dòng)系統(tǒng)（集成氣動(dòng)分配器）3D打印，噴嘴經(jīng)355nm紫外激光雕刻，內(nèi)徑最小達(dá)30μm，3D打印線寬可達(dá)40μm，圖案邊緣平滑且導(dǎo)電性穩(wěn)定（圖2A-D、S1-S3）。
• 使用多材料墨水（銀、碳、PDMS/碳、PEDOT:PSS等），墨水具備剪切變稀特性和良好潤(rùn)濕性，可實(shí)現(xiàn)懸垂結(jié)構(gòu)3D打?。▓D2E-H、S4-S5）。

圖2 柔性人機(jī)界面的3D打印與組裝
（A）集成分配器的三軸運(yùn)動(dòng)平臺(tái)示意圖。
（B、C）激光雕刻高分辨率噴嘴（B）和分配器圖案3D打?。–）的照片。比例尺，2mm。
（D）高分辨率3D打印線的SEM圖像。比例尺，100μm。
（E）3D打印傳感器陣列的光學(xué)圖像。比例尺，1cm。
（F、G）可印刷墨水的儲(chǔ)能模量（F）和表觀粘度（G）表征。C，碳；PVDF，聚偏氟乙烯；IL，離子液體；SBS，苯乙烯嵌段共聚物；PDMS，聚二甲基硅氧烷。
（H）用四種墨水3D打印的標(biāo)志圖案。比例尺，5mm。
（I、J）電子皮膚附著在人體受試者身上（I）和機(jī)械變形下（J）的照片。比例尺，1cm。
（K）0.85mm位移下sEMG電極的馮·米塞斯應(yīng)力分布模擬結(jié)果。
（L）反饋刺激電極在皮膚上的電流響應(yīng)隨施加電位從0到5V的變化。
（M、N）用于sEMG信號(hào)采集和傳輸?shù)娜嵝噪娐钒逭掌∕）和示意圖（N）。比例尺，5mm。
（O）柔性電路的框圖，包括電源、刺激電極和藍(lán)牙模塊。ADC，模數(shù)轉(zhuǎn)換器；MCU，微控制器單元；TXD，串行發(fā)送數(shù)據(jù)；RXD，串行接收數(shù)據(jù)。
（P）不同供電電壓下柔性電路板的電流。

（二）實(shí)時(shí)手勢(shì)分類的自適應(yīng)機(jī)器學(xué)習(xí)

針對(duì)sEMG信號(hào)的個(gè)體差異與放置偏差，設(shè)計(jì)“線性映射網(wǎng)絡(luò)（LMN）+inception時(shí)間模型（ITM）”的自適應(yīng)學(xué)習(xí)框架（圖3）。

圖3 用于sEMG數(shù)據(jù)分析的個(gè)性化自適應(yīng)機(jī)器學(xué)習(xí)模型
（A）六種手勢(shì)的八通道sEMG信號(hào)。插圖，從左到右的手勢(shì)分別是握拳、放松、上、下、左、右。
（B）線性映射網(wǎng)絡(luò)（LMN）改變八通道權(quán)重的示意圖。
（C、D）目標(biāo)受試者（C）和經(jīng)LMN處理后的人類受試者（D）通過(guò)主成分分析得到的數(shù)據(jù)分布。插圖，該受試者的初始數(shù)據(jù)分布。
（E）用于自適應(yīng)機(jī)器學(xué)習(xí)的inception時(shí)間模型（ITM）。Conv，卷積層；MaxPL，最大池化；AvgPL，平均池化；FC，全連接層。
（F）通過(guò)訓(xùn)練LMN，結(jié)合機(jī)器學(xué)習(xí)模型的知識(shí)遷移，利用校準(zhǔn)數(shù)據(jù)和標(biāo)準(zhǔn)化數(shù)據(jù)集（StdData）進(jìn)行自適應(yīng)過(guò)程。
（G）數(shù)據(jù)準(zhǔn)備中不同延遲下epoch與測(cè)試準(zhǔn)確率的關(guān)系。插圖，延遲與準(zhǔn)確率的關(guān)系。
（H、I）不同受試者的sEMG信號(hào)和實(shí)時(shí)手勢(shì)預(yù)測(cè)。彩色圓點(diǎn)表示預(yù)測(cè)時(shí)間點(diǎn)。
（J、K）預(yù)訓(xùn)練受試者（J）和有限手勢(shì)重復(fù)次數(shù)受試者（K）使用自適應(yīng)機(jī)器學(xué)習(xí)模型對(duì)14種手勢(shì)的分類結(jié)果。

（三）多模態(tài)傳感器表征及在軟體機(jī)器人上的應(yīng)用

多模態(tài)傳感器陣列（溫度、壓力、導(dǎo)電、加熱器）通過(guò)串行印刷集成，附著于軟體機(jī)器人實(shí)現(xiàn)物體感知（圖4）。

圖4 軟體機(jī)器人手指上多模態(tài)傳感器陣列的表征與評(píng)估
（A）多模態(tài)傳感器陣列的光學(xué)圖像。比例尺，3mm。
（B）溫度傳感器的響應(yīng)。插圖，溫度與電阻變化的線性關(guān)系。
（C）加熱器沿兩條線的溫度分布。插圖，加熱器的紅外圖像。
（D）不同材料的熱導(dǎo)率測(cè)試響應(yīng)。
（E）交流和外部壓力下壓力傳感器的工作原理。
（F）不同PVDF與IL比例的壓力傳感器性能。
（G）壓力傳感器的長(zhǎng)期穩(wěn)定性。插圖，1820至1850次循環(huán)的電容信號(hào)。
（H）導(dǎo)電傳感器在0至0.8V電壓掃描測(cè)試下的電流響應(yīng)。插圖，導(dǎo)電測(cè)試示意圖。R，內(nèi)阻；Rx，外部物體電阻；U，施加電壓。
（I）軟體機(jī)器人手指的結(jié)構(gòu)設(shè)計(jì)和工作機(jī)制。
（J）不同凹槽深度平衡彎曲角度和應(yīng)力水平的模擬結(jié)果。角度由彎曲形狀擬合圓的圓心角定義。
（K、L）軟體手指彎曲狀態(tài)的照片（K）和模擬結(jié)果（L）。比例尺，2cm。
（M）氣壓與彎曲角度的關(guān)系。插圖，不同壓力下軟體機(jī)器人手指的照片。
（N）安裝在軟體機(jī)器人手指上的多模態(tài)傳感器陣列光學(xué)圖像。比例尺，3cm。
（O、P）多模態(tài)傳感器陣列對(duì)木材（O）和銅（P）的響應(yīng)。

（四）交互式軟體機(jī)器人的物體識(shí)別評(píng)估

結(jié)合熱導(dǎo)率與電導(dǎo)率傳感，設(shè)計(jì)緊湊CNN網(wǎng)絡(luò)實(shí)現(xiàn)物體識(shí)別（圖5）。

圖5 交互式軟體機(jī)器人手物體識(shí)別評(píng)估
（A）使用緊湊卷積神經(jīng)網(wǎng)絡(luò)（CNN）的材料識(shí)別算法的預(yù)處理和架構(gòu)。
（B）20種物體的圖像。編號(hào)1至20分別代表的材料為：卷心菜、玻璃、織物、大蒜、單晶硅、多晶硅、硅橡膠、黃銅、鋁、木炭、南瓜、檸檬、導(dǎo)電凝膠、聚乙烯泡沫、芹菜、石墨、丙烯腈-丁二烯-苯乙烯（ABS）塑料、不銹鋼、土豆、羊肉。
（C）僅使用熱導(dǎo)率傳感與熱導(dǎo)率結(jié)合電導(dǎo)率傳感的識(shí)別結(jié)果?；鶊D。
（D）識(shí)別算法對(duì)20種材料的識(shí)別結(jié)果，平均準(zhǔn)確率：98.03%。
（E-H）通過(guò)帶有自適應(yīng)機(jī)器學(xué)習(xí)的人機(jī)界面控制的柔性傳感機(jī)器人照片。比例尺，5cm。
（I-L）柔性傳感機(jī)器人抓取瓶子物體的延時(shí)照片。比例尺，5cm。

（五）上肢殘疾人人機(jī)界面評(píng)估

將系統(tǒng)作為假肢應(yīng)用于左臂截肢受試者，驗(yàn)證醫(yī)療實(shí)用性（圖6）。

圖6 人機(jī)界面在假肢應(yīng)用中的評(píng)估
（A）截肢手術(shù)后受試者佩戴作為假肢的人機(jī)界面照片。比例尺，4cm。
（B）用于軟組織識(shí)別的MRI掃描儀光學(xué)圖像。
（C）受試者左前臂的MRI圖像。a至d，距離肘部的距離分別為5.7、12、16.5和20.7cm。
（D）基于MRI圖像的八通道sEMG電極重建模型。
（E）11種手部和手指手勢(shì)的八通道sEMG信號(hào)。插圖，（從左到右）握拳、放松、上、下、左、右、拇指、食指、中指、無(wú)名指、小指。
（F）三次無(wú)名指手勢(shì)的時(shí)頻圖。每個(gè)相關(guān)信號(hào)的頻率范圍為0至300Hz。內(nèi)部矩形和箭頭表示時(shí)間延遲現(xiàn)象。
（G）截肢者雙臂八個(gè)通道sEMG信號(hào)的平均強(qiáng)度。插圖比例尺，橫軸代表1秒，縱軸代表0.8mV。
（H、I）受試者在20次（H）和有限5次（I）手勢(shì)重復(fù)下，使用自適應(yīng)機(jī)器學(xué)習(xí)算法對(duì)11種手勢(shì)的分類矩陣，平均準(zhǔn)確率分別為89.82%（H）和94.36%（I）。
（J）作為假肢手的柔性傳感機(jī)器人抓取檸檬的照片。比例尺，5cm。

三、研究結(jié)論

• 開(kāi)發(fā)了可大規(guī)模生產(chǎn)的柔性人機(jī)界面，通過(guò)3D打印技術(shù)實(shí)現(xiàn)電子皮膚與多模態(tài)傳感器制造，成本低且兼容性強(qiáng)。
• 自適應(yīng)機(jī)器學(xué)習(xí)模型（LMN+ITM）解決sEMG個(gè)體差異問(wèn)題，實(shí)現(xiàn)低延遲（0.1秒）、高準(zhǔn)確率（≥89.82%）的手勢(shì)分類，適配健康人與截肢者。
• 軟體機(jī)器人集成多模態(tài)傳感（壓力、溫度、熱/電導(dǎo)率），物體識(shí)別準(zhǔn)確率達(dá)98.03%，結(jié)合電子皮膚實(shí)現(xiàn)“控制-感知”雙向閉環(huán)。
• 在醫(yī)療假肢中驗(yàn)證實(shí)用性，為先進(jìn)制造、具身智能等領(lǐng)域提供核心技術(shù)支撐，未來(lái)可結(jié)合計(jì)算機(jī)視覺(jué)進(jìn)一步擴(kuò)展機(jī)器人智能。

四、論文信息