本發明涉及神經系統疾病步態功能評估的便攜式多模態數據采集與分析系統,特別是涉及一種基于手膝足協同運動耦合的步態分析方法及系統。
背景技術:
1、步態分析,意指通過測量人體行走過程中的時空、運動學及動力學參數,對神經肌肉骨骼功能進行量化評估。其數據結果約占神經系統疾病(帕金森病、腦卒中)康復評定依據的50%~70%,對跌倒風險預警、個性化康復方案制定以及療效隨訪具有直接影響。隨著康復醫學模式向“以功能恢復為核心、居家機構一體化”轉型,低成本、便攜式、可視化步態分析手段也日益受到重視。
2、目前步態分析系統存在以下問題和缺陷:
3、1.多模態數據同步聯合分析缺失。國內一些步態分析系統僅使用慣性傳感器,缺乏足底壓力信息和上肢運動參數的協同分析,導致無法同時獲取動力學(地面反作用力、足底壓力映射)與全身運動學參數,進而在帕金森凍結步態和偏癱步態識別時出現約12%–18%的誤判率;
4、2.系統成本高、部署復雜。國外技術中雖使用鞋墊式壓力+imu,但需外接基站同步,現場標定時間30min,基層機構難以負擔;
5、3.醫患數據閉環未打通。國內外多聚焦“離線數據采集-實驗室分析”模式,缺少面向康復醫師、治療師及患者的即時可視化報告與遠程訓練指導接口。臨床調研顯示,80%的基層康復師反映現有系統無法直接導出《步態評估報告》或推送個性化居家訓練處方;
6、4.小型化與功效矛盾。現有便攜化步態分析裝置多為追求精度而疊加多傳感器,導致整機功耗1.2w,連續工作時間1h;在數據采集方面,視覺采集易受光照、背景干擾,影響識別精度,且慣性傳感器布局與校準偏差會導致步態參數失真;算法上,高精度分析所需復雜算法與便攜設備算力有限形成矛盾,犧牲實時性;此外,單一傳感器難以全面捕捉特征,部分專利多模態數據融合不足,致使異常步態識別率低;同時缺乏可折疊、易收納的結構設計,患者出院后居家依從性不足30%。
7、產生上述問題的原因與解決難點在于以下幾個方面:傳感器異構:足底壓力陣列、imu在采樣頻率、時鐘基準、數據格式上差異顯著,實現毫秒級上下肢數據硬同步分析需重新設計時鐘分配與數據融合算法。成本瓶頸:imu系統依賴進口高幀率工業相機及標定框架;柔性薄膜壓力鞋墊批量一致性差,單對成本800元。軟件割裂:現有算法庫與his/emr系統接口不兼容,且缺乏針對中文康復術語的自動報告模板,導致二次開發周期長、成本高。臨床驗證樣本少:凍結步態、偏癱步態數據需跨中心、跨病種采集,倫理審批及隨訪難度大,阻礙了模型泛化。
技術實現思路
1、本發明的目的是針對現有技術中存在的技術缺陷,而提供一種基于手膝足協同運動耦合的步態分析方法。
2、本發明的另一個目的是提供一種基于手膝足協同運動耦合的步態分析系統。
3、為實現本發明的目的所采用的技術方案是:
4、一種基于手膝足協同運動耦合的步態分析方法,包括以下步驟:
5、步驟1,足底柔性壓力鞋墊采集步態周期、步頻、步長、足部三維位置、足踝關節姿態四元數和足底前后方向和內外方向的剪切力;慣性膝環采集膝關節處的加速度、角速度、膝部相位、膝關節姿態四元數、膝部三維位置和關節角度;慣性手環采集手腕處的加速度、角速度,手腕姿態四元數、手腕三維位置、一個步態周期內的手臂擺幅和峰值角速度;
6、步驟2,將手、足、膝的三個節點的時間軸統一,將三個節點的姿態和位置統一到人體坐標系下,建立狀態向量和觀測方程,通過觀測方程對進行更新,并計算手足時相差和神經協調性評分,結合步驟1中采集的數據構建鞋墊特征、膝環特征和手環特征,將、和合并得到多模態協同特征向量并校驗;
7、步驟3,基于校驗后的計算注意力融合特征,將輸入雙向lstm–cnn網絡輸出帕金森病步態風險概率、腦卒中后遺癥步態異常風險概率和跌倒風險概率,再基于、和分別計算手、膝、足三個模態貢獻度的shap值并進行可信度判斷。
8、上述技術方案中,所述步驟1中,的計算公式為:
9、;
10、式中,為離地時刻,為觸地時刻;
11、為足底總垂直力首次超過觸發閾值的時刻,為同一區域內低于截止閾值的時刻,其中,的計算公式為:
12、;
13、式中,為時刻垂直地面反作用力;
14、通過壓阻陣列實時采集的足底壓力值計算得到,的計算公式為:
15、;
16、式中,為單個壓阻點的面積,為足底壓力值,其中,表示壓阻陣列的縱向位置,表示壓阻陣列的橫向位置,為采樣時刻;
17、的計算公式為:
18、;
19、所述步長通過前后兩步的中心軌跡估算得到;
20、其中,表示為:
21、;
22、式中,為壓力中心在鞋墊坐標系下的橫向坐標,為壓力中心在鞋墊坐標系下的縱向坐標;
23、和的計算公式為:
24、;
25、式中,為壓阻點在足底柔性壓力鞋墊坐標系下的位置坐標。
26、上述技術方案中,所述步驟2中,以慣性手環作為主節點,足底柔性壓力鞋墊和慣性膝環作為從節點,將手、足、膝的三個節點的時間軸統一到同一個主時鐘軸,通過計算手臂擺幅-步長耦合系數和軀干旋轉角量化上下肢運動協同性;
27、其中,主時鐘軸的計算公式為:
28、;
29、式中,為足底柔性壓力鞋墊、慣性膝環接收到的最近主時間戳,為足底柔性壓力鞋墊、慣性膝環在本地采樣時刻,為足底柔性壓力鞋墊、慣性膝環接收主時間戳的本地時間,為每個從節點的時鐘漂移因子;
30、手臂擺幅-步長耦合系數的計算公式為:
31、;
32、式中,為健康人群的參考比值;
33、軀干旋轉角的計算公式為:
34、;
35、式中,為慣性手環偏航角權重系數,為慣性膝環滾轉角權重系數,為慣性手環偏航角變化量,為慣性膝環滾轉角變化量;
36、所述觀測方程表示為:
37、;
38、式中,為慣性手環、慣性膝環、足底柔性壓力鞋墊的觀測向量,為慣性手環、慣性膝環、足底柔性壓力鞋墊的觀測矩陣,為慣性手環、慣性膝環、足底柔性壓力鞋墊的觀測噪聲。
39、上述技術方案中,所述步驟2中,所述狀態向量的更新方程為:
40、;
41、式中,為時刻的狀態向量,為時刻的狀態向量,為卡爾曼增益矩陣,觀測向量,為觀測矩陣;
42、所述手足時相差的計算公式為:
43、;
44、式中,為慣性手環角速度峰值時刻,為同側足底壓力降至10%時刻;
45、所述神經協調性評分的計算公式為:
46、;
47、式中,,分別為健康人的手足時相差的均值與標準差,為手關節相對于膝關節的協同相位差,為膝關節相對于足踝關節的協同相位差;
48、所述多模態協同特征向量表示為:
49、;
50、其中:
51、;
52、;
53、;
54、式中,為垂直地面反作用力,為中心軌跡。
55、上述技術方案中,所述步驟2中,的校驗包括:
56、當慣性手環檢測到軀干加速度峰值滿足,而同一時刻變化滿足時,為垂直地面反作用力的變化量,則判定足底柔性壓力鞋墊數據異常,此時,自動切換到慣性手環imu主導模式,通過擺臂頻率估算步頻,實現的校驗;
57、當連續5步的足底壓力周期穩定,但慣性手環姿態積分位移誤差10cm時,用足底步長反向校正慣性手環imu的零偏,實現的校驗;
58、當步長-步頻一致性時,計算校正步長和生理范圍內軟約束的關節角度,啟動雙向修正,實現和的校驗。
59、上述技術方案中,所述慣性手環imu的零偏的計算公式為:
60、;
61、式中,為基于慣性手環測量數據的位移增量,為基于足底壓力數據的位移增量,為經驗性縮放系數;
62、所述步長-步頻一致性表示為:
63、;
64、式中,為基于鞋墊壓力的速度,為基于手環加速度的速度;
65、其中,的計算公式為:
66、;
67、的計算公式為:
68、;
69、所述校正步長的計算公式為:
70、;
71、式中,為自適應融合權重;
72、其中,的計算公式為:
73、;
74、式中,為足底柔性壓力鞋墊置信度,為慣性手環置信度;
75、所述生理范圍內軟約束的關節角度的計算公式為:
76、;
77、式中,為原始關節角度,為關節生理極限角度,為s型函數,為縮放系數。
78、上述技術方案中,所述步驟3中,所述注意力融合特征的計算公式為:
79、;
80、式中,為注意力機制的查詢、為注意力機制的鍵、為注意力機制的值矩陣,為歸一化注意力權重矩陣,為縮放因子,其中,為鍵向量的特征維度;
81、其中,注意力機制的查詢、注意力機制的鍵、注意力機制的值矩陣的計算公式為:
82、;
83、式中,為投影矩陣;
84、所述帕金森病步態風險概率、腦卒中后遺癥步態異常風險概率和跌倒風險概率的計算公式為:
85、;
86、式中,,代表不同的風險預測任務,為所述雙向lstm-cnn網絡輸出的深層特征向量,為對應任務的全連接層權重矩陣,為對應任務的偏置項,函數用于將網絡輸出映射為區間的概率值;
87、所述手、膝、足三個模態貢獻度的shap值的計算公式為:
88、;
89、式中,為模態類型,,為模態總數,為網絡輸出的風險分數,表示除當前模態外的任意模態組合,為組合所含模態個數,表示只輸入子集時模型預測的風險分數,表示在同樣的組合上再加入當前模態特征后的輸出,為組合權重系數。
90、上述技術方案中,所述步驟3中,雙向lstm–cnn網絡通過多任務聯合損失的使三模態特征互補進而計算帕金森病步態風險概率、腦卒中后遺癥步態異常風險概率和跌倒風險概率;
91、其中,多任務聯合損失的計算公式為:
92、;
93、式中,為帕金森病預測的交叉熵損失,為腦卒中預測的交叉熵損失,為跌倒預測的交叉熵損失,為特征融合正則項,為帕金森任務權重,為腦卒中任務權重,為跌倒任務權重,為融合正則化權重。
94、上述技術方案中,所述步驟3中,越大,則當前模態特征在當前樣本的風險判定中越關鍵;若為負值,則當前模態特征在降低風險預測方面起主導作用;
95、所述可信度的判斷方式為:若可疑患者的高風險結論主要由與臨床癥狀一致的模態驅動,則認為模型依據合理、結論可信;
96、若系統預測高風險,但顯示主導模態與臨床觀察不符,則據此質疑結果并回溯該模態的傳感器狀態或特征計算,避免誤判;
97、對同一次檢測,比對手、膝、足三個模態的絕對值和符號,確認風險結果是否由單一模態拉高或拉低,從而決定是否需要補采數據或進行人工復核。
98、本發明的另一個方面,一種實施所述基于手膝足協同運動耦合的步態分析方法的系統,包括:傳感器組、數據處理模塊和用戶端;
99、所述傳感器組用于采集手、膝、足多模態步態檢測數據,所述傳感器組包括內置于足底柔性壓力鞋墊的壓阻陣列、設置于壓阻陣列前端與后跟處的剪切力薄膜條、集成于慣性膝環內的imu和內置于慣性手環的imu;
100、所述數據處理模塊包括數據協同層、特征協同層和決策協同層;
101、所述數據協同層接收所述傳感器組采集的多模態步態檢測數據,將手、膝、足的時間軸統一到主時鐘軸,將姿態、位置統一到人體坐標系下,建立狀態向量和觀測方程,對狀態向量進行更新,并根據傳感器置信度動態調整融合權重,執行慣性手環與足底柔性壓力鞋墊數據的雙向互補修正;
102、所述特征協同層接收更新后的狀態向量,基于人體步態生物力學耦合機制提取多模態協同特征,計算步長-步頻一致性并與閾值比對,超出閾值時啟動雙向修正,并基于生理極限角度對關節角度進行軟約束驗證,形成經過校驗的多模態協同特征向量;
103、所述決策協同層接收經過校驗的多模態協同特征向量,利用內置注意力機制融合模塊計算各模態權重并生成注意力融合特征,決策協同層的雙向lstm-cnn網絡接收注意力融合特征輸出帕金森病、腦卒中后遺癥、跌倒的步態風險概率和各模態貢獻度的并傳輸給用戶端,生成可視化步態評估報告,并根據風險等級推送個性化康復指導方案及實時預警,所述用戶端與所述足底柔性壓力鞋墊無線連接,向所述足底柔性壓力鞋墊實時發送控制指令或預定閾值,所述足底柔性壓力鞋墊同步向慣性膝環和慣性手環同步發送“采集觸發”指令。
104、與現有技術相比,本發明的有益效果是:
105、1.解決了多傳感器異構數據的時空配準與漂移問題,實現了高精度的協同感知。本發明在數據協同層引入了基于人體運動學鏈約束的擴展卡爾曼濾波(ekf)算法,利用骨骼長度約束抑制了慣性傳感器的積分漂移,并提出了手足互補的異常檢測機制(即手環補足底、足底校手環),有效解決了單一模態在復雜工況下易失效的問題。通過這種協同算法,系統實現了毫秒級的多模態時鐘同步(誤差3ms)和高精度的空間配準(6dof誤差4mm),顯著提升了數據的魯棒性和準確性;
106、2.突破了傳統步態分析缺乏上下肢協調性量化的局限,提升了特征的生理可解釋性。本發明在特征協同層基于生物力學耦合機制,構建了神經協調性評分和手臂擺幅-步長耦合系數,填補了現有技術忽視帕金森病、腦卒中患者上下肢協同障礙的空白。同時,引入步長-步頻一致性校驗及關節角度軟約束算法,通過生理極限閾值對計算結果進行雙向修正,避免了純數據驅動模型輸出違背人體解剖學常識的錯誤結果,確保了評估指標的臨床可信度;
107、3.解決了深度學習模型“黑盒”導致臨床難以采信的問題,實現了風險評估的可視化歸因。本發明在決策協同層設計了內置注意力機制(attention)的雙向lstm-cnn網絡,并引入shap值(shapley?additive?explanations)歸因分析模塊。系統不僅能輸出帕金森、腦卒中或跌倒的風險概率,還能量化手、膝、足各模態對風險的貢獻度,為醫生提供直觀的“病理歸因證據”(如明確指出高風險是由手部震顫還是足部拖曳主導),極大地促進了醫患對ai診斷結果的信任與采納;
108、4.實現了高精度醫療級分析與低成本便攜化應用的平衡,打通了“評估-干預”閉環。在保證上述高精度協同算法運行的同時,本系統通過低成本傳感器組網與邊緣計算優化,將整體硬件成本控制在萬元以內(遠低于傳統光學捕捉系統的15萬元以上),且裝置輕量便攜、操作簡便,適合基層與居家場景。此外,系統構建了從實時風險預警到個性化康復指導的完整閉環,臨床驗證數據顯示,這種即時反饋機制能有效提升患者的居家康復依從性(提升約37%),顯著改善康復效率并降低跌倒風險。