一種用于動(dòng)態(tài)運(yùn)動(dòng)的可穿戴運(yùn)動(dòng)捕捉設(shè)備
引言
下一代外骨骼系統(tǒng)要求有體積小輕量化,穿戴靈活,成本較低,最重要的是,精度高的特點(diǎn)。盤(pán)點(diǎn)當(dāng)前常用來(lái)作為運(yùn)動(dòng)捕捉的傳感器系統(tǒng),很難同時(shí)滿足上述要求:
光學(xué)系統(tǒng):精度高,成本高,對(duì)光照條件和遮擋有高敏感性,導(dǎo)致應(yīng)用場(chǎng)景僅限于實(shí)驗(yàn)室;
慣性傳感器系統(tǒng):成本低,便攜可穿戴,核心缺點(diǎn)是,加速度計(jì)檢測(cè)的是重力加速度與運(yùn)動(dòng)加速度的合加速度無(wú)法獨(dú)立確定運(yùn)動(dòng)速度或姿態(tài)角;而基于陀螺儀的姿態(tài)估計(jì)則存在積分漂移誤差。即便經(jīng)過(guò)噪聲濾波和融合處理,慣性傳感器測(cè)得的運(yùn)動(dòng)加速度仍包含噪聲和誤差,進(jìn)一步導(dǎo)致速度估算的積分過(guò)程中產(chǎn)生累積誤差。目前各種算法致力于解決這一缺點(diǎn),但是在長(zhǎng)時(shí)間高動(dòng)態(tài)肢體運(yùn)動(dòng)中還是存在嚴(yán)重的漂移問(wèn)題。
論文概要
針對(duì)這一長(zhǎng)期存在的技術(shù)難題,清華大學(xué)朱榮教授團(tuán)隊(duì)在發(fā)表于《Nature Communications》的論文“A wearable motion capture device able to detect dynamic motion of human limbs”中提出了一種不同于傳統(tǒng)慣性方法的解決思路。與依賴加速度積分來(lái)估計(jì)速度不同,該研究的核心思想是:直接測(cè)量肢體運(yùn)動(dòng)速度,而非事后通過(guò)積分計(jì)算得到。研究團(tuán)隊(duì)受到魚(yú)類和兩棲動(dòng)物的側(cè)線系統(tǒng)的啟發(fā),設(shè)計(jì)了一種微型流速傳感器,用于感知人體肢體在運(yùn)動(dòng)過(guò)程中相對(duì)于空氣產(chǎn)生的局部氣流變化。通過(guò)將這種微流速傳感器與傳統(tǒng)的加速度計(jì)和陀螺儀集成在同一可穿戴設(shè)備中,系統(tǒng)能夠在不進(jìn)行長(zhǎng)期積分的情況下,同時(shí)獲取肢體的運(yùn)動(dòng)速度、角速度和姿態(tài)信息。通過(guò)一系列高動(dòng)態(tài)實(shí)驗(yàn),系統(tǒng)性地驗(yàn)證了該方法在速度估計(jì)精度、姿態(tài)穩(wěn)定性以及長(zhǎng)期監(jiān)測(cè)能力方面的優(yōu)勢(shì)。
圖1. 文章信息
另外,團(tuán)隊(duì)還根據(jù)人體行走和跑步時(shí)小腿與大腿之間的肢體內(nèi)部協(xié)調(diào)關(guān)系,并建立了表征下肢肢體內(nèi)部協(xié)調(diào)關(guān)系的神經(jīng)網(wǎng)絡(luò)模型 —— 利用該模型,可通過(guò)人體行走和跑步時(shí)的小腿運(yùn)動(dòng)確定大腿運(yùn)動(dòng)(圖2b)。因此,用戶僅需在小腿佩戴單個(gè)設(shè)備,即可實(shí)時(shí)檢測(cè)小腿和大腿的運(yùn)動(dòng)。
硬件設(shè)計(jì)
在硬件結(jié)構(gòu)上,該可穿戴設(shè)備由正交放置的微型流速傳感器并內(nèi)置三軸慣性傳感器(加速度計(jì) + 陀螺儀)構(gòu)成(圖2a)。流速傳感器被布置在肢體表面,能夠?qū)崟r(shí)感知由于肢體運(yùn)動(dòng)而產(chǎn)生的局部氣流速度變化, 無(wú)需積分運(yùn)算,系統(tǒng)可以重建肢體在三維空間中的運(yùn)動(dòng)速度分量。
同時(shí),三軸慣性傳感器同步測(cè)量肢體的加速度和角速率,為姿態(tài)角解算提供基礎(chǔ)數(shù)據(jù)。
設(shè)備內(nèi)置 MCU(微控制單元),以 1000 Hz 頻率采集數(shù)據(jù),經(jīng)濾波處理后,通過(guò)藍(lán)牙以 100 Hz 頻率傳輸至終端,保證實(shí)時(shí)性。
圖2. 運(yùn)動(dòng)捕捉方案設(shè)計(jì)
無(wú)積分算法和肢體協(xié)同模型
該方案通過(guò)流速傳感器直接獲取運(yùn)動(dòng)速度,研究團(tuán)隊(duì)進(jìn)一步利用速度、角速度與線性加速度之間的物理約束關(guān)系,推導(dǎo)出肢體的運(yùn)動(dòng)加速度,并與加速度計(jì)和陀螺儀測(cè)量值(重力加速度+運(yùn)動(dòng)加速度)進(jìn)行融合校準(zhǔn)(通過(guò)卡爾曼濾波算法),比較精準(zhǔn)地拆分出重力加速度分量,再結(jié)算運(yùn)動(dòng)加速度和姿態(tài)角(滾轉(zhuǎn)角、俯仰角)。這種融合方式有效抑制了噪聲影響,并避免了誤差隨時(shí)間累積的問(wèn)題,運(yùn)動(dòng)捕捉原理如圖3。
研究團(tuán)隊(duì)利用肢體協(xié)同模型實(shí)現(xiàn)了單設(shè)備捕捉全下肢運(yùn)動(dòng)(圖3); “人體行走 / 跑步時(shí),大腿與小腿存在自然協(xié)調(diào)關(guān)系” 的發(fā)現(xiàn),團(tuán)隊(duì)構(gòu)建了三層 BP 神經(jīng)網(wǎng)絡(luò)模型:
輸入:小腿的姿態(tài)角(γs、θs)、運(yùn)動(dòng)速度(vb)、角速度(ωb)和加速度(ab)(共 11 個(gè)參數(shù))。
隱藏層:30 個(gè)神經(jīng)元(經(jīng)優(yōu)化確定)。
輸出:大腿的姿態(tài)角(γt、θt)。
只需在小腿佩戴單個(gè)設(shè)備,即可通過(guò)該模型實(shí)時(shí)推算大腿運(yùn)動(dòng),進(jìn)而解算膝關(guān)節(jié)角度,簡(jiǎn)化了穿戴流程和設(shè)備成本。
圖3. 單個(gè)可穿戴設(shè)備實(shí)現(xiàn)下肢運(yùn)動(dòng)捕捉的原理
驗(yàn)證實(shí)驗(yàn)設(shè)置
為全面驗(yàn)證設(shè)備的精度、穩(wěn)定性和實(shí)用性,研究團(tuán)隊(duì)設(shè)計(jì)了三類核心實(shí)驗(yàn),均以行業(yè)公認(rèn)的 VICON 光學(xué)動(dòng)捕系統(tǒng)作為參考標(biāo)準(zhǔn),同時(shí)與傳統(tǒng)慣性傳感器方案對(duì)比。三種實(shí)驗(yàn)為:
高動(dòng)態(tài)運(yùn)動(dòng)捕捉:核心測(cè)試指標(biāo)為速度誤差和姿態(tài)角誤差。測(cè)試內(nèi)容為拳擊和踢腿,設(shè)備分別佩戴到手腕和小腿,且這兩種運(yùn)動(dòng)的瞬時(shí)加速度分別超過(guò)120 m/s2 和100 m/s2 。
長(zhǎng)時(shí)間運(yùn)動(dòng)捕捉:被設(shè)置用來(lái)監(jiān)測(cè)長(zhǎng)期速度穩(wěn)定性、姿態(tài)角漂移程度。測(cè)試內(nèi)容是被試小腿佩戴設(shè)備,以10km/h的速度在跑步機(jī)上跑步30分鐘,再加7分鐘減速停止。
下肢協(xié)同動(dòng)作捕捉:本實(shí)驗(yàn)用來(lái)測(cè)試膝關(guān)節(jié)角度誤差(RMSE/ME),要求4名被試(其中一名為半月板損傷患者)在跑步機(jī)上行走或者跑步(速度0-10 km/h),實(shí)驗(yàn)重復(fù)3次。
實(shí)驗(yàn)驗(yàn)證結(jié)果
高動(dòng)態(tài)運(yùn)動(dòng)捕捉實(shí)驗(yàn)
實(shí)驗(yàn)結(jié)果顯示,在揮拳(圖4a)和快速踢腿(圖5a)等典型高動(dòng)態(tài)動(dòng)作中,該系統(tǒng)能夠準(zhǔn)確捕捉肢體運(yùn)動(dòng)的速度變化及峰值特征(以VICON 光學(xué)動(dòng)捕系統(tǒng)作為參考)。測(cè)得的三軸速度(圖4和5 d)誤差(圖4和5 e)始終小于0.11 m/s,明顯優(yōu)于傳統(tǒng)基于慣性測(cè)量單元(IMU)的積分方法。運(yùn)動(dòng)加速度的估計(jì)也明顯優(yōu)于傳統(tǒng)基于IMU的數(shù)據(jù)估計(jì)(圖4和5 b,和圖4和5 c)。在姿態(tài)角估計(jì)方面,所提方法同樣表現(xiàn)出顯著優(yōu)勢(shì)。系統(tǒng)測(cè)得的滾轉(zhuǎn)角(圖4和5 f)和俯仰角(圖4和5 h)的均方根誤差(RMSE)低于1.70°,平均誤差(ME)小于 0.47°(圖4和5 g,和i),幾乎沒(méi)有漂移現(xiàn)象(傳統(tǒng)慣性方法的RMSE可達(dá)4.18°,ME高達(dá)3.19°)。
圖 4. 前臂佩戴設(shè)備的拳擊運(yùn)動(dòng)捕捉結(jié)果
圖 5. 小腿佩戴設(shè)備的踢腿動(dòng)作捕捉結(jié)果
長(zhǎng)時(shí)間運(yùn)動(dòng)捕捉
對(duì)于長(zhǎng)時(shí)間跑步運(yùn)動(dòng)捕捉實(shí)驗(yàn)(圖6),所提設(shè)備在長(zhǎng)時(shí)間運(yùn)動(dòng)中測(cè)得的速度誤差始終小于0.16 m/s(圖6 c),而慣性方法的速度誤差隨時(shí)間漂移(圖6 c),甚至達(dá)到非常大的量級(jí)。姿態(tài)角測(cè)量結(jié)果表明,所提設(shè)備測(cè)得的滾轉(zhuǎn)角(圖6 f)和俯仰角(圖6 h)幾乎沒(méi)有漂移誤差,RMSE小于0.84°,最大誤差不到4.12°;相比之下,慣性方法的最大誤差可達(dá)24.01°,漂移明顯。通過(guò)低通濾波去除基線漂移后,慣性方法滾轉(zhuǎn)角和俯仰角的殘余誤差RMSE分別為1.73°和2.83°(圖6 g和i)。
圖 6. 長(zhǎng)時(shí)間跑步運(yùn)動(dòng)捕捉及速度測(cè)量結(jié)果
下肢協(xié)同動(dòng)作捕捉
研究人員利用神經(jīng)網(wǎng)絡(luò)建模小腿與大腿之間的運(yùn)動(dòng)協(xié)同,僅通過(guò)佩戴在小腿上的單個(gè)設(shè)備,即可推算大腿姿態(tài)和膝關(guān)節(jié)角度。矢狀面內(nèi)的膝關(guān)節(jié)角度()通過(guò)推算得到的大腿矢狀面內(nèi)的俯仰角()與直接測(cè)量的小腿俯仰角()差值解算得出,公式為: =−。該角度可直觀反映膝關(guān)節(jié)的屈伸狀態(tài),為運(yùn)動(dòng)功能評(píng)估提供關(guān)鍵指標(biāo)。本設(shè)備測(cè)量的膝關(guān)節(jié)角度與 VICON 光學(xué)系統(tǒng)測(cè)量結(jié)果的偏差定義為膝關(guān)節(jié)角度誤差,用于評(píng)估肢體運(yùn)動(dòng)捕捉的測(cè)量精度。
實(shí)驗(yàn)結(jié)果表明,4名被試的膝關(guān)節(jié)角度測(cè)算誤差(ME)較低(見(jiàn)表1)。圖7展示了單個(gè)被試在一個(gè)步態(tài)周期內(nèi)估計(jì)出的大腿俯仰角,小腿俯仰角,膝關(guān)節(jié)角度,以及膝關(guān)節(jié)角度誤差。
表1. 小腿佩戴單設(shè)備的下肢運(yùn)動(dòng)捕捉中膝關(guān)節(jié)角度的測(cè)量誤差
注: 標(biāo)注 * 為輕度半月板損傷受試者
圖 7. 單被試下肢矢狀面運(yùn)動(dòng)捕捉結(jié)果
最后,圖8直觀地顯示半月板患者的最大膝關(guān)節(jié)角度要均小于健康被試的膝關(guān)節(jié)角度。由于疼痛或膝關(guān)節(jié)病理限制,膝關(guān)節(jié)損傷患者的屈膝能力會(huì)減弱,因此在行走和跑步時(shí),其最大膝關(guān)節(jié)角度通常小于健康人群。因此,最大膝關(guān)節(jié)角度可作為評(píng)估屈膝能力的指標(biāo),在運(yùn)動(dòng)功能障礙或損傷的診斷與評(píng)估中具有潛在應(yīng)用價(jià)值。
圖8. 4名被試最大膝關(guān)節(jié)角度。 Sub.4是半月板損傷患者
總結(jié)與討論:從實(shí)驗(yàn)室走向真實(shí)場(chǎng)景
總體而言,這項(xiàng)研究展示了一種有別于傳統(tǒng)慣性方法的運(yùn)動(dòng)捕捉思路。通過(guò)引入微型流速傳感器并結(jié)合慣性信息,研究團(tuán)隊(duì)成功構(gòu)建了一套能夠在高動(dòng)態(tài)條件下穩(wěn)定工作的可穿戴運(yùn)動(dòng)捕捉系統(tǒng)。當(dāng)然,該方法仍有進(jìn)一步優(yōu)化空間,例如在復(fù)雜環(huán)境氣流干擾下的魯棒性、設(shè)備小型化與能耗控制等問(wèn)題,仍需在后續(xù)研究中深入探索。但可以肯定的是,這項(xiàng)工作為解決長(zhǎng)期困擾可穿戴運(yùn)動(dòng)捕捉領(lǐng)域的積分漂移問(wèn)題,提供了一條極具啟發(fā)性的路徑。隨著傳感器技術(shù)、算法模型與系統(tǒng)集成能力的不斷進(jìn)步,精準(zhǔn)、穩(wěn)定、可長(zhǎng)期使用的人體運(yùn)動(dòng)捕捉系統(tǒng),正逐步從實(shí)驗(yàn)室走向真實(shí)世界,為康復(fù)醫(yī)學(xué)與智能健康技術(shù)的發(fā)展提供堅(jiān)實(shí)支撐。
原文信息鏈接
Liu S, Zhang J, Zhang Y, et al. A wearable motion capture device able to detect dynamic motion of human limbs[J]. Nature communications, 2020, 11(1): 5615.
https://www.nature.com/articles/s41467-020-19424-2
作者及單位介紹
論文第一作者為清華大學(xué)精密儀器系Shiqiang Liu,通訊作者為清華大學(xué)Rong Zhu。研究工作得到國(guó)家自然科學(xué)基金項(xiàng)目和國(guó)強(qiáng)研究院項(xiàng)目的資助。
關(guān)于維拓啟創(chuàng)
維拓啟創(chuàng)(北京)信息技術(shù)有限公司成立于2006年,是一家專注于腦科學(xué)、康復(fù)工程、人因工程、心理學(xué)、體育科學(xué)等領(lǐng)域的科研解決方案供應(yīng)商。公司與國(guó)內(nèi)外多所大學(xué)、研究機(jī)構(gòu)、企業(yè)長(zhǎng)期保持合作關(guān)系,致力于將優(yōu)質(zhì)的產(chǎn)品、先進(jìn)的技術(shù)和服務(wù)帶給各個(gè)領(lǐng)域的科研工作者,為用戶提供有競(jìng)爭(zhēng)力的方案和服務(wù),協(xié)助用戶的科研工作,持續(xù)提升使用體驗(yàn)。
相關(guān)產(chǎn)品