上肢在簡單與復(fù)雜運(yùn)動(dòng)中的多模態(tài)數(shù)據(jù)集

上肢運(yùn)動(dòng)的研究在神經(jīng)康復(fù)、運(yùn)動(dòng)控制、假肢控制等領(lǐng)域具有重要應(yīng)用價(jià)值。傳統(tǒng)的上肢運(yùn)動(dòng)分析多依賴于單一類型的信號，如表面肌電信號（sEMG）或運(yùn)動(dòng)捕捉數(shù)據(jù)，缺乏對觸覺信息的整合。然而，在抓握等精細(xì)操作中，觸覺信息對于理解人與環(huán)境的交互至關(guān)重要。

當(dāng)前公開的數(shù)據(jù)集多集中于單一或兩種信號類型，缺乏同時(shí)包含高密度肌電（HD-sEMG）、雙極肌電、運(yùn)動(dòng)捕捉（MoCap）、傳感器手套（包括彎曲與觸覺數(shù)據(jù)）的多模態(tài)數(shù)據(jù)集（見表1）。這種數(shù)據(jù)缺失限制了多源信息融合方法的研究，尤其是在假肢控制領(lǐng)域中，如何融合多種信號以提高控制精度和魯棒性仍是一個(gè)挑戰(zhàn)。

為填補(bǔ)這一空白，本文構(gòu)建了一個(gè)包含10名健康受試者、16種動(dòng)作任務(wù)的多模態(tài)上肢運(yùn)動(dòng)數(shù)據(jù)集“Reach&Grasp”，涵蓋了從簡單單關(guān)節(jié)動(dòng)作到復(fù)雜抓取操作的全過程。該數(shù)據(jù)集不僅支持傳統(tǒng)肌電控制研究，還為觸覺反饋、運(yùn)動(dòng)規(guī)劃、模式識(shí)別等方向提供了基礎(chǔ)數(shù)據(jù)支持。

論文摘要

本文發(fā)布了一個(gè)多模態(tài)上肢運(yùn)動(dòng)數(shù)據(jù)集“Reach&Grasp”，包含10名健康受試者在執(zhí)行16種任務(wù)時(shí)的多種信號記錄。任務(wù)包括手部開合、腕部屈伸/旋前旋后、三指抓握、圓柱/球形抓握、以及復(fù)雜的前伸抓取動(dòng)作（如倒水、擰瓶蓋、模擬進(jìn)食等）。

數(shù)據(jù)采集包括：

• 高密度表面肌電（HD-sEMG）：使用OT Bioelettronica的Sessantaquattro設(shè)備，采樣率2 kHz，64通道；
• 雙極表面肌電：使用Cometa Wave Plus系統(tǒng)，10通道；
• 運(yùn)動(dòng)捕捉：Vicon系統(tǒng)，10攝像頭，23個(gè)反光標(biāo)記點(diǎn)；
• 傳感器手套：來自Bielefeld University，提供手指彎曲（CyberGlove）與觸覺分布（58個(gè)taxels）數(shù)據(jù)。

所有數(shù)據(jù)遵循Brain Imaging Data Structure（BIDS）標(biāo)準(zhǔn)組織，包含原始數(shù)據(jù)與元數(shù)據(jù)，已上傳至IIT Dataverse，支持開源共享與復(fù)用。數(shù)據(jù)集可用于假肢控制、運(yùn)動(dòng)解碼、傳感器融合等研究方向。

 
研究方法
 

共招募10名右利手健康受試者（4女6男，年齡24–36歲）。每位受試者簽署知情同意書，并被分配唯一ID以保護(hù)隱私。實(shí)驗(yàn)共包含16種任務(wù)，每項(xiàng)任務(wù)重復(fù)10次，總時(shí)長約1小時(shí)。

• 高密度肌電（HD-sEMG）：采用OT Bioelettronica Sessantaquattro系統(tǒng)，采樣率2 kHz，16位分辨率，輸入范圍±18.75 mV。兩個(gè)32通道電極貼片分別覆蓋前臂屈肌與伸肌區(qū)域，參考電極置于尺骨莖突。設(shè)備通過硬件觸發(fā)信號與Vicon同步。
• 雙極肌電：采用Cometa Wave Plus系統(tǒng)，10通道，采樣率2 kHz，輸入范圍±5 mV，電極放置于肩、臂、前臂等10個(gè)關(guān)鍵肌肉位置。
• 運(yùn)動(dòng)捕捉：Vicon系統(tǒng)，10臺(tái)紅外相機(jī)，23個(gè)反光標(biāo)記點(diǎn)，采樣率100 Hz。采用Plug-in-Gait與RHand模型計(jì)算肩、肘、腕及手指關(guān)節(jié)角度。
• 傳感器手套：由Bielefeld University開發(fā)，集成CyberGlove彎曲傳感器與58個(gè)壓阻式觸覺傳感器（taxels），采樣率100 Hz，通過ROS系統(tǒng)采集。觸覺數(shù)據(jù)未經(jīng)標(biāo)定，但可用于相對力分布分析。

 
所有設(shè)備通過Speedgoat實(shí)時(shí)目標(biāo)機(jī)與NTP協(xié)議實(shí)現(xiàn)時(shí)鐘同步，確保多模態(tài)數(shù)據(jù)的時(shí)間對齊。

 
實(shí)驗(yàn)結(jié)果

對HD-sEMG與雙極EMG進(jìn)行功率譜密度分析（PSD），確認(rèn)信號能量集中在10–500 Hz范圍內(nèi)，50 Hz工頻干擾被陷波濾波器有效抑制（見圖5）。結(jié)果表明信號質(zhì)量良好，適合后續(xù)分析。

通過對不同任務(wù)中關(guān)節(jié)角度變化的統(tǒng)計(jì)分析，驗(yàn)證了運(yùn)動(dòng)學(xué)數(shù)據(jù)的合理性與任務(wù)特異性。例如：

手部開合任務(wù)中，手指關(guān)節(jié)（如MCP）角度變化顯著，而肩肘關(guān)節(jié)變化較小（見圖6）；

腕部屈伸與旋前旋后任務(wù)中，腕關(guān)節(jié)為主要運(yùn)動(dòng)源（見圖7）；

復(fù)雜抓取任務(wù)（如球形抓握、倒水）中，多個(gè)關(guān)節(jié)協(xié)同參與，角度分布呈現(xiàn)雙峰特征（見圖8）。

觸覺數(shù)據(jù)分析顯示：

• 非接觸任務(wù)（如手部張開）中傳感器讀數(shù)較低；

• 接觸任務(wù)（如抓握球體）中，taxel響應(yīng)顯著增強(qiáng)，且不同抓取策略（如圓柱vs球體）在力分布上具有明顯差異（見圖9）；

• 部分taxel（如9、11、14）因硬件故障被排除。

• 基于運(yùn)動(dòng)學(xué)數(shù)據(jù)的角速度峰值，自動(dòng)識(shí)別每次動(dòng)作的起止點(diǎn)（見圖10）。

任務(wù)時(shí)長分析顯示：簡單動(dòng)作平均耗時(shí)1.53秒，復(fù)雜動(dòng)作平均耗時(shí)2.61秒，表明任務(wù)難度與時(shí)長正相關(guān)（見圖11）

 
總結(jié)與展望

“Reach&Grasp”數(shù)據(jù)集是首個(gè)同時(shí)包含HD-sEMG、雙極EMG、運(yùn)動(dòng)捕捉與觸覺數(shù)據(jù)的多模態(tài)上肢運(yùn)動(dòng)數(shù)據(jù)集。其優(yōu)勢在于：

• 多源同步：所有信號時(shí)間對齊，支持傳感器融合研究；
• 任務(wù)豐富：涵蓋16種自然動(dòng)作，貼近日常生活；
• 標(biāo)準(zhǔn)化格式：采用BIDS結(jié)構(gòu)，便于復(fù)用與擴(kuò)展。
• 假肢控制：可用于訓(xùn)練基于多模態(tài)信號的意圖識(shí)別模型；
• 運(yùn)動(dòng)科學(xué)：分析肌肉協(xié)同與關(guān)節(jié)運(yùn)動(dòng)關(guān)系；
• 機(jī)器人學(xué)習(xí)：作為模仿學(xué)習(xí)或觸覺反饋控制的訓(xùn)練數(shù)據(jù)；
• 觸覺研究：探索不同抓取策略下的力分布模式。

 
研究團(tuán)隊(duì)介紹：

本研究團(tuán)隊(duì)由意大利技術(shù)研究院（IIT）牽頭，聯(lián)合熱那亞大學(xué)（University of Genoa）、比勒費(fèi)爾德大學(xué)（Bielefeld University）等多所機(jī)構(gòu)的研究人員共同完成。團(tuán)隊(duì)核心成員包括Dario Di Domenico、Inna Forsiuk、Marianna Semprini等，專業(yè)背景涵蓋神經(jīng)工程、機(jī)器人控制、生物力學(xué)與觸覺傳感等領(lǐng)域。團(tuán)隊(duì)在假肢控制、肌電解碼、多模態(tài)數(shù)據(jù)融合等方面具有豐富經(jīng)驗(yàn)，曾參與多項(xiàng)歐盟及國家級科研項(xiàng)目（如NeuTouch、iHannes）。依托IIT先進(jìn)的人形機(jī)器人實(shí)驗(yàn)室和神經(jīng)康復(fù)平臺(tái)，團(tuán)隊(duì)致力于推動(dòng)上肢運(yùn)動(dòng)理解與智能假肢控制技術(shù)發(fā)展。

原文鏈接：
https://doi.org/10.1038/s41597-025-04552-5

未來可擴(kuò)展至患者群體（如截肢者、卒中患者），結(jié)合腦電（EEG）或功能性電刺激（FES）等信號，構(gòu)建更全面的神經(jīng)康復(fù)數(shù)據(jù)集。同時(shí)，數(shù)據(jù)集也可用于驗(yàn)證深度學(xué)習(xí)模型在跨被試、跨任務(wù)中的泛化能力。

產(chǎn)品介紹
 

 
聯(lián)系我們

電話: 15920901903
官網(wǎng)：https//www.ruihongan.cn