融合基于相机的姿态估计和IMU传感器的步态分析方法

原标题：融合基于相机的姿态估计和IMU传感器的步态分析方法

! z* C2 c, b- w7 X7 b1 x

无标记步态分析系统可以测量有用的步态指标，以确定有效的临床治疗方案。尽管这种步态分析系统不需要很大的空间、多个标记，也不受时间限制，但它在步态过程中无法精确测量下肢关节运动学参数。特别是，它具有较大的踝关节角度误差。

( X3 f, {' ?6 `8 _+ S

据麦姆斯咨询报道，近日，由日本东京理工大学（Tokyo University of Science）、广岛大学（Hiroshima University）、县立广岛大学（Prefectural University of Hiroshima）的研究人员组成的团队在 Scientific Reports 期刊上发表了题为“Verification of gait analysis method fusing camera-based pose estimation and an IMU sensor in various gait conditions”的最新论文，团队提出了一种融合基于相机的姿态估计和IMU传感器的步态分析方法，提出的方法显著降低了踝关节峰值角度的平均绝对误差（MAE），有望作为临床步态评估工具。

2 d3 p4 C; U, B2 C! C0 ]$ k1 h

步速、步长和关节运动学等步态指标是临床环境中步态障碍患者的关键评估参数。步态的时空和运动学参数已被用于评估神经系统疾病的治疗效果，并预测老年人摔倒的风险。这些指标为规划物理治疗和确定治疗效果提供了有价值的信息。目前，基于光电标记的三维运动捕捉（3DMC）系统已被用作临床步态分析的典型测量工具，它能够精确测量步态指标。光电3DMC系统具有步态指标测量的可靠性和可重复性。尽管3DMC系统能够精确测量步态指标，但由于经济和时间的限制，人们很难在临床环境中使用它。此外，它在测量时需要较大的空间和专业的技术。

5 @+ t( k) x( J

基于惯性测量单元（IMU）的运动捕捉系统可被用作3DMC的替代方法。然而，该系统需要将多个IMU传感器连接到多个人体关键部位。基于相机的无标记运动捕捉系统使用人体姿态估计算法来测量人体步态，也可作为3DMC的替代方法。微软Kinect由配有深度传感器的RGB相机组成，可以在没有反射标记的情况下测量步态。Kinect可以高可靠性地测量步速、步时和步长等时空参数。此外，它还被用作体弱者的运动辅助工具，以及测量双任务步态的认知功能评估工具。然而，先前的研究表明，与光电3DMC系统相比，深度相机无法精确测量下肢关节角度等运动学参数。此外，由于采样率的原因，使用深度传感器的无标记运动捕捉系统无法轻松测量快速的关节运动。大多数深度传感器的采样率为30Hz，而用于步态分析的3DMC采样率大于60Hz或100Hz。较低的采样率可能导致重要的下肢关节角度数据丢失。

最近，基于RGB相机的二维（2D）无标记人体运动跟踪系统，如PoseNet和OpenPose（OP），已被开发用于估计人体姿态和人体关键部位。OP是一款开源的人体姿态估计软件，它使用来自每个RGB图像的两分支多级卷积神经网络（CNN）作为输入来估计人体关键点。尽管这些系统没有深度传感器，但它们可以使用CNN的二维图像或视频来估计人体关节点。这些系统在临床环境中具有作为步态分析工具的巨大潜力，因为它们不需要附加标记、专业的技术或巨大的成本。

OP可作为帕金森病和自闭症谱系障碍的筛查工具，但使用二维姿态估计系统进行步态分析时仍存在一些问题。由于姿态估计仅估计人体关键点，因此用户需要根据人体环节和匹配计算关节运动学。此外，当OP被用于步态分析时，对于其精度有较高的要求。之前的一些研究报告指出，OP可以在步态过程中测量矢状面上的时空和运动学参数，且误差较小。

9 K# V& }+ Q2 \$ a5 q

研究团队之前的研究表明，与光电3DMC系统相比，通过OP进行的单RGB相机步态分析可以测量多个时空参数和矢状面关节角度，具有良好到优秀的一致性；然而，在某些步态条件下，下肢关节角度的测量误差会增加，包括过量的二维图像平面外运动，例如增加的足行进角度（FPA）。尤其是，踝关节峰值角度会有很大误差。当使用单个RGB相机从侧面测量行走对象时，相机的二维图像平面可以轻松捕捉屈伸运动。相比之下，二维图像平面外的运动（如过量的FPA）会影响关节角度的精度。姿态估计算法也影响了其精度，因为该算法没有设计用于在这种情况下的步态运动学分析。

尽管研究人员试图在单个RGB相机分析中减少由二维图像平面外运动引起的关节角度误差，但针对二维平面外过量运动和踝关节角度误差的有效校正方法尚未得到充分解决。准备多台RGB相机可能会减少角度误差；然而，由于空间和成本较大，在临床环境中难以采用这种方法。使用单台相机的三维姿态估计器可能有用，但是，考虑到其在临床环境中的使用，这种方法存在处理速度和应用方便性等问题。为了克服这些限制，使用IMU传感器数据（如人体关键部位加速度和角速度）补充OP运动学参数可能有助于提高精度。

在本论文中，科研团队研究了无标记步态分析方法的性能，该方法使用OP和足部的IMU传感器进行基于单个RGB相机的姿态估计，以测量不同步态条件下的踝关节运动学参数。16名健康的年轻成年男性参与了这项研究。他们比较了四种不同步态条件下的时空参数和下肢关节角度。这些参数是利用光电运动捕捉、使用OP的无标记步态分析方法以及提出的融合OP和IMU方法进行测量的。他们发现，在四种步态条件下，与OP相比，提出的融合OP和IMU方法显著降低了踝关节峰值角度的平均绝对误差。所提出的方法具有在各种步态条件下测量时空步态参数和下肢关节角度（包括踝关节角度）的潜力，有望作为临床步态评估工具。

图1 步态测量实验设置和OP的人体模型

2 o1 @8 Q- W# q$ r

图2 本论文提出的融合OP和IMU的踝关节角度测量方法

! q$ |" D4 I) T5 p

' C3 p& ?# P% A. m% M2 J$ U1 E! {

图3 三种方法（3DMC、OP、融合OP和IMU的方法）的踝关节角度测量结果对比

|; N6 d2 u! a g8 ]% \+ d, c) _

延伸阅读：

《消费类MEMS惯性测量单元（IMU）产品对比分析-2022版》 返回搜狐，查看更多

& [; F& ?1 N' Q3 \- q1 Z0 i

责任编辑：

$ k* U- D6 j4 j6 h 1 T, V) P! ]; v& d* f% C6 a , r. Q! s2 p& h# X 8 p' J8 ^3 v, G7 z$ d' [, ?) a% A' X