本發(fā)明涉及康復(fù)醫(yī)療，具體為基于虛擬現(xiàn)實(shí)與手勢(shì)交互的手部康復(fù)訓(xùn)練系統(tǒng)。
背景技術(shù)：
1、手部功能障礙是腦卒中、脊髓損傷、外傷等疾病或損傷后的常見并發(fā)癥，嚴(yán)重影響患者的日常生活自理能力及生活質(zhì)量。手部康復(fù)訓(xùn)練是改善手部功能障礙的關(guān)鍵手段，通過持續(xù)、科學(xué)地訓(xùn)練可促進(jìn)手部神經(jīng)肌肉功能的恢復(fù)。
2、現(xiàn)有手部康復(fù)訓(xùn)練方式主要包括傳統(tǒng)人工康復(fù)訓(xùn)練和基于簡(jiǎn)單機(jī)械裝置的康復(fù)訓(xùn)練。傳統(tǒng)人工康復(fù)訓(xùn)練依賴專業(yè)康復(fù)治療師一對(duì)一指導(dǎo)，存在訓(xùn)練效率低、人力成本高、訓(xùn)練內(nèi)容單一枯燥的問題，導(dǎo)致患者訓(xùn)練依從性差，難以保證訓(xùn)練效果；基于簡(jiǎn)單機(jī)械裝置的康復(fù)訓(xùn)練，多采用固定軌跡的機(jī)械驅(qū)動(dòng)方式，缺乏個(gè)性化適配性，無法根據(jù)患者的康復(fù)進(jìn)度動(dòng)態(tài)調(diào)節(jié)訓(xùn)練難度，且難以實(shí)現(xiàn)精準(zhǔn)的訓(xùn)練效果評(píng)估。
3、隨著虛擬現(xiàn)實(shí)（vr）技術(shù)的發(fā)展，部分康復(fù)訓(xùn)練設(shè)備開始結(jié)合vr技術(shù)構(gòu)建虛擬訓(xùn)練場(chǎng)景，以提升訓(xùn)練的趣味性。但現(xiàn)有vr康復(fù)訓(xùn)練設(shè)備仍存在諸多不足：一方面，手勢(shì)交互精度低，難以準(zhǔn)確識(shí)別患者的細(xì)微手部動(dòng)作，導(dǎo)致虛擬場(chǎng)景交互不流暢，影響訓(xùn)練體驗(yàn)；另一方面，缺乏對(duì)患者生理信號(hào)（如肌電信號(hào)）的采集與分析，無法全面、精準(zhǔn)地評(píng)估訓(xùn)練效果，也難以根據(jù)患者的生理狀態(tài)動(dòng)態(tài)優(yōu)化訓(xùn)練方案；此外，訓(xùn)練數(shù)據(jù)多局限于單機(jī)構(gòu)存儲(chǔ)，無法實(shí)現(xiàn)跨機(jī)構(gòu)共享，不利于醫(yī)護(hù)人員全面掌握患者的康復(fù)進(jìn)展，也制約了康復(fù)訓(xùn)練方案的精準(zhǔn)優(yōu)化。
4、因此，研發(fā)一種具備高精度手勢(shì)交互、精準(zhǔn)訓(xùn)練評(píng)估、個(gè)性化訓(xùn)練方案生成及跨機(jī)構(gòu)數(shù)據(jù)共享功能的手部康復(fù)訓(xùn)練系統(tǒng)，成為解決現(xiàn)有技術(shù)問題的關(guān)鍵。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)提供基于虛擬現(xiàn)實(shí)與手勢(shì)交互的手部康復(fù)訓(xùn)練系統(tǒng)，以解決現(xiàn)有技術(shù)中交互精度低、無法共享等問題。
2、本技術(shù)第一方面實(shí)施例提供一種基于虛擬現(xiàn)實(shí)與手勢(shì)交互的手部康復(fù)訓(xùn)練系統(tǒng)，包括：手勢(shì)感知模塊、vr康復(fù)場(chǎng)景構(gòu)建模塊、智能評(píng)估中樞、交互訓(xùn)練單元、個(gè)性化調(diào)控單元；其中，所述手勢(shì)感知模塊用于采集手部運(yùn)動(dòng)軌跡、肌肉電信號(hào)、握力壓力數(shù)據(jù)及關(guān)節(jié)活動(dòng)角度；所述vr康復(fù)場(chǎng)景構(gòu)建模塊用于基于患者康復(fù)階段與所述手部運(yùn)動(dòng)軌跡、肌肉電信號(hào)、握力壓力數(shù)據(jù)及關(guān)節(jié)活動(dòng)角度，構(gòu)建個(gè)性化康復(fù)訓(xùn)練虛擬場(chǎng)景，通過自適應(yīng)物理引擎與神經(jīng)動(dòng)作映射算法，模擬真實(shí)環(huán)境下的手部交互行為與力反饋效應(yīng)，輸出患者手部仿真數(shù)據(jù)；所述智能評(píng)估中樞用于基于所述患者手部仿真數(shù)據(jù)，結(jié)合改進(jìn)的cnn-gru模型，評(píng)估康復(fù)訓(xùn)練動(dòng)作標(biāo)準(zhǔn)度、肌肉激活效率，識(shí)別動(dòng)作代償模式與發(fā)力異常特征，輸出康復(fù)評(píng)估報(bào)告；所述交互訓(xùn)練單元用于根據(jù)所述康復(fù)評(píng)估報(bào)告，實(shí)時(shí)渲染手部運(yùn)動(dòng)狀態(tài)與訓(xùn)練進(jìn)程，結(jié)合語音、視覺與觸覺提示，生成個(gè)性化訓(xùn)練指引；所述個(gè)性化調(diào)控單元用于根據(jù)所述康復(fù)評(píng)估報(bào)告與實(shí)時(shí)訓(xùn)練數(shù)據(jù)，通過強(qiáng)化學(xué)習(xí)算法預(yù)測(cè)康復(fù)趨勢(shì)與階段目標(biāo)，動(dòng)態(tài)調(diào)整訓(xùn)練參數(shù)與場(chǎng)景難度。
3、優(yōu)選地，所述手勢(shì)感知模塊包括運(yùn)動(dòng)捕捉單元、肌電傳感器組、握力壓力傳感器及關(guān)節(jié)角度采集單元，其中，所述運(yùn)動(dòng)捕捉單元用于實(shí)時(shí)采集手部三維運(yùn)動(dòng)軌跡；所述肌電傳感器組用于貼合前臂肌肉群，采集肌肉收縮時(shí)的表面肌電信號(hào)；所述握力壓力傳感器集成于訓(xùn)練器械握柄處，采集手部握力大小與壓力分布數(shù)據(jù)；所述關(guān)節(jié)角度采集單元用于實(shí)時(shí)監(jiān)測(cè)手指及腕關(guān)節(jié)的活動(dòng)角度與轉(zhuǎn)動(dòng)速率。
4、優(yōu)選地，所述vr康復(fù)場(chǎng)景構(gòu)建模塊包括場(chǎng)景生成單元、物理引擎適配單元、神經(jīng)動(dòng)作映射單元，其中，所述場(chǎng)景生成單元基于患者康復(fù)階段和手部運(yùn)動(dòng)軌跡、肌肉電信號(hào)、握力壓力數(shù)據(jù)及關(guān)節(jié)活動(dòng)角度，構(gòu)建個(gè)性化康復(fù)訓(xùn)練虛擬場(chǎng)景；所述物理引擎適配單元用于通過自適應(yīng)物理引擎動(dòng)態(tài)調(diào)整場(chǎng)景中的物體物理屬性，模擬真實(shí)接觸力反饋；所述神經(jīng)動(dòng)作映射單元用于通過神經(jīng)動(dòng)作映射算法，建立手部運(yùn)動(dòng)數(shù)據(jù)與虛擬場(chǎng)景交互動(dòng)作的精準(zhǔn)映射關(guān)系，輸出包含動(dòng)作軌跡、受力反饋的手部仿真數(shù)據(jù)。
5、優(yōu)選地，所述智能評(píng)估中樞包括動(dòng)作標(biāo)準(zhǔn)度評(píng)估單元、肌肉激活分析單元、異常模式識(shí)別單元，其中，所述動(dòng)作標(biāo)準(zhǔn)度評(píng)估單元用于利用改進(jìn)的cnn-gru模型提取手部仿真數(shù)據(jù)中的動(dòng)作特征，與標(biāo)準(zhǔn)康復(fù)動(dòng)作模板比對(duì)，計(jì)算動(dòng)作相似度評(píng)分，評(píng)估動(dòng)作標(biāo)準(zhǔn)度；所述肌肉激活效率分析單元用于基于肌電信號(hào)仿真數(shù)據(jù)，計(jì)算肌肉激活率與協(xié)同工作效率；所述異常模式識(shí)別單元用于識(shí)別代償動(dòng)作、發(fā)力失衡異常特征，生成包含評(píng)估指標(biāo)、異常分析的康復(fù)評(píng)估報(bào)告。
6、優(yōu)選地，所述交互訓(xùn)練單元包括vr渲染引擎、多模態(tài)提示單元、訓(xùn)練指引生成單元，其中，所述vr渲染引擎用于實(shí)時(shí)渲染手部虛擬模型運(yùn)動(dòng)狀態(tài)、訓(xùn)練任務(wù)進(jìn)度及場(chǎng)景環(huán)境細(xì)節(jié)；所述多模態(tài)提示模塊用于提供語音指令提示、視覺高亮引導(dǎo)及觸覺振動(dòng)反饋；所述訓(xùn)練指引生成單元用于根據(jù)康復(fù)評(píng)估報(bào)告中的薄弱環(huán)節(jié)，生成針對(duì)性訓(xùn)練指引。
7、優(yōu)選地，所述個(gè)性化調(diào)控單元包括康復(fù)趨勢(shì)預(yù)測(cè)單元、訓(xùn)練參數(shù)調(diào)整單元、場(chǎng)景難度適配單元，其中，所述康復(fù)趨勢(shì)預(yù)測(cè)單元用于通過強(qiáng)化學(xué)習(xí)算法，結(jié)合歷史訓(xùn)練數(shù)據(jù)與評(píng)估報(bào)告，預(yù)測(cè)手部功能恢復(fù)趨勢(shì)及階段性目標(biāo)；所述訓(xùn)練參數(shù)調(diào)整單元用于動(dòng)態(tài)調(diào)整訓(xùn)練時(shí)長(zhǎng)、動(dòng)作重復(fù)次數(shù)、握力目標(biāo)閾值參數(shù)；所述場(chǎng)景難度適配單元用于根據(jù)康復(fù)進(jìn)度逐步提升場(chǎng)景復(fù)雜度。
8、本技術(shù)第二方面實(shí)施例提供一種基于虛擬現(xiàn)實(shí)與手勢(shì)交互的手部康復(fù)訓(xùn)練方法，包括：獲取手部運(yùn)動(dòng)軌跡、肌肉電信號(hào)、握力壓力數(shù)據(jù)及關(guān)節(jié)活動(dòng)角度；基于患者康復(fù)階段與所述手部運(yùn)動(dòng)軌跡、肌肉電信號(hào)、握力壓力數(shù)據(jù)及關(guān)節(jié)活動(dòng)角度，構(gòu)建個(gè)性化康復(fù)訓(xùn)練虛擬場(chǎng)景，通過自適應(yīng)物理引擎與神經(jīng)動(dòng)作映射算法，模擬真實(shí)環(huán)境下的手部交互行為與力反饋效應(yīng)，輸出患者手部仿真數(shù)據(jù)；基于所述患者手部仿真數(shù)據(jù)，結(jié)合改進(jìn)的cnn-gru模型，評(píng)估康復(fù)訓(xùn)練動(dòng)作標(biāo)準(zhǔn)度、肌肉激活效率，識(shí)別動(dòng)作代償模式與發(fā)力異常特征，輸出康復(fù)評(píng)估報(bào)告，同時(shí)，實(shí)時(shí)渲染手部運(yùn)動(dòng)狀態(tài)與訓(xùn)練進(jìn)程，結(jié)合語音、視覺與觸覺提示，生成個(gè)性化訓(xùn)練指引；根據(jù)所述康復(fù)評(píng)估報(bào)告與實(shí)時(shí)訓(xùn)練數(shù)據(jù)，通過強(qiáng)化學(xué)習(xí)算法預(yù)測(cè)康復(fù)趨勢(shì)與階段目標(biāo)，動(dòng)態(tài)調(diào)整訓(xùn)練參數(shù)與場(chǎng)景難度。
9、本技術(shù)第三方面實(shí)施例提供一種電子設(shè)備，包括：存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，處理器執(zhí)行程序，以實(shí)現(xiàn)如上述實(shí)施例的一種基于虛擬現(xiàn)實(shí)與手勢(shì)交互的手部康復(fù)訓(xùn)練方法。
10、本技術(shù)第四方面實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行，以用于實(shí)現(xiàn)如上述實(shí)施例的一種基于虛擬現(xiàn)實(shí)與手勢(shì)交互的手部康復(fù)訓(xùn)練方法。
11、本技術(shù)第五方面實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序或指令，以用于實(shí)現(xiàn)如上述實(shí)施例的一種基于虛擬現(xiàn)實(shí)與手勢(shì)交互的手部康復(fù)訓(xùn)練方法。
12、由此，本技術(shù)包括如下有益效果：
13、本技術(shù)實(shí)施例通過手勢(shì)感知模塊全面采集手部運(yùn)動(dòng)軌跡、肌肉電信號(hào)、握力壓力數(shù)據(jù)及關(guān)節(jié)活動(dòng)角度，為康復(fù)訓(xùn)練與評(píng)估提供多維度精準(zhǔn)基礎(chǔ)數(shù)據(jù)；vr康復(fù)場(chǎng)景構(gòu)建模塊結(jié)合自適應(yīng)物理引擎與神經(jīng)動(dòng)作映射算法，精準(zhǔn)模擬真實(shí)環(huán)境下的手部交互行為與力反饋效應(yīng)，實(shí)現(xiàn)手部運(yùn)動(dòng)數(shù)據(jù)與虛擬場(chǎng)景的動(dòng)態(tài)映射，突破傳統(tǒng)康復(fù)訓(xùn)練場(chǎng)景單一、反饋滯后的局限；智能評(píng)估中樞借助改進(jìn)的cnn-gru模型融合手部仿真數(shù)據(jù)，提升康復(fù)訓(xùn)練動(dòng)作標(biāo)準(zhǔn)度評(píng)估、肌肉激活效率分析的精準(zhǔn)度，增強(qiáng)動(dòng)作代償模式與發(fā)力異常的識(shí)別能力；交互訓(xùn)練單元構(gòu)建的沉浸式vr訓(xùn)練場(chǎng)景，直觀呈現(xiàn)手部運(yùn)動(dòng)狀態(tài)與訓(xùn)練進(jìn)程，助力高效生成個(gè)性化訓(xùn)練指引；個(gè)性化調(diào)控單元基于康復(fù)評(píng)估報(bào)告與實(shí)時(shí)訓(xùn)練數(shù)據(jù)預(yù)測(cè)康復(fù)趨勢(shì)與階段目標(biāo)，動(dòng)態(tài)調(diào)整訓(xùn)練參數(shù)與場(chǎng)景難度，有效提升康復(fù)訓(xùn)練的針對(duì)性、個(gè)性化適配性及手部功能恢復(fù)效率。由此，解決了現(xiàn)有技術(shù)中交互精度低、無法共享等問題。
14、本技術(shù)附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本技術(shù)的實(shí)踐了解到。