2024, Vol. 35
2. 中国科学院 软件研究所, 北京 100190;
3. 北京医院 神经内科, 北京 100730;
4. 北京中科睿医信息科技有限公司, 北京 100088
2. Institute of Software, Chinese Academy of Sciences, Beijing 100190, China;
3. Department of Neurology, Beijing Hospital, Beijing 100730, China;
4. Beijing CAS-Ruiyi Information Technology Co. Ltd., Beijing 100088, China
帕金森病是第2常见的神经系统退行性疾病, 其年龄相关性、不可治愈性使得全球65岁以上人群中有1%的人饱受折磨[1]. 帕金森病的成因目前尚且没有定论[2], 其临床表现主要为运动神经系统受损(早期典型症状为运动迟缓、僵硬、震颤和姿势平衡障碍等), 部分患者有非运动障碍(感觉障碍, 睡眠障碍, 精神、情绪和认知障碍, 自主神经功能障碍等). 目前, 传统帕金森病的筛选和诊断依赖神经科医生借助量表进行临床判断, 但是, 在帕金森病的早期存在多种其他相似表征的疾病, 尚无特异性诊断检查方法[3]. 检查过程中, 以临床通用的检查工具MDS-UPDRS评分量表[4]为例, 不仅需要被检查者(或照顾者)配合回忆并进行日常生活中思维能力、精神状态、情绪波动等非运动症状自评估和言语、进食、行走等运动症状自评估, 还需要医生根据经验对被评估者进行运动功能检查、并发症评估, 其准确性通常受到医生主观性[5]和被评估者回忆偏差的影响[6]. 因而, 近年来不断有医生与研究者聚焦医工交叉领域, 使用智能方法开发定量化评估工具, 提供更为客观的帕金森病受试者状态信息, 进而辅助医生进行诊断.
目前, 已经有多种数字化技术能实现对帕金森病的客观定量评估, 评估依赖的场景从需要用户做出一定配合的临床检测场景逐步拓展到自然用户交互场景中[7], 评估技术涉及手写[8]、绘图[9]、行走[10]、语言[11]、眼动[12]等多个模态, 可以实现包含运动神经功能、非运动神经功能评估, 涉及帕金森病初期、中期、晚期多个阶段[13,14]. 评估设备覆盖了较为简单的穿戴式运动传感器、较为复杂的多导睡眠监测仪[15]和需要专业人士操作的计算机断层成像和核磁共振成像等. 但是, 这些评估大部分基于被动式异常信号感知方式, 感知帕金森病患者神经功能特征[16], 其局限在于: 难以捕获早期异常信号. 而帕金森病发展机理与治疗特征决定早期诊断对于帕金森病的治疗尤为重要[3]. 因此, 许多研究者聚焦于帕金森病的早期特征诱发范式探索, 提出敲击测试[17]、指鼻测试[18]、语音测试[19]等范式, 用户根据具体指令进行相应操作. 其中, 较为典型的是日常生活环境下基于智能手机的帕金森病检测, 具有一定实用性, 受试者只需要按照固定规则敲击屏幕、完成记忆任务、语音任务、步态任务就可以进行帕金森病的评估. 但是, 该研究结果同时显示出受试者较高的退出率, 9000余位受试者只有不到10%进行了超过5天的测试[20]. 这也体现了此前研究在早期人群和风险人群中的另一个局限, 需要用户积极地参与, 包括设备穿戴和管理、持续性测试、高依从性完成任务, 特别是症状不明显时.
本文搭建了一套包含帕金森病异常诱发范式的多模态辅助诊断系统, 该系统基于深度相机非接触式采集帕金森病人群最为典型的步态特征, 结合高沉浸感虚拟现实(virtual reality, VR)环境采集眼动特征, 构建帕金森病多模态特征集, 进而形成基于多模态数据的帕金森病辅助诊断方法. 其亮点在于设计了帕金森病人群眼动诱发范式, 用户佩戴VR头盔、完成注视任务集操作复杂性低, 同时VR头盔提供了相对封闭的环境, 有效诱发被检测者非运动障碍神经功能特征, 并极大程度地避免了参与任务时的部分外部干扰.
本文主要有以下3个方面的贡献: 首先, 根据正态分布检验结果进行特征的参数检验, 构建了具有统计学意义的特征集(p<0.05), 实验结果表明与原始特征相比, 该特征集能够提高检测能力. 其次, 在临床场景中开展了用户实验, 在临床医生的辅助下收集38例带有MDS-UPDRS评分量表的多模态数据, 其中28例为临床确诊的帕金森病患者数据(其中20数据作为训练组包含13例轻度、5例中度和2例重度患者, 8例作为验证组包含7例轻度、1例中度患者), 10例为正常人数据作为对照组. 最后, 基于步态和眼动模态, 分析了不同特征组合方式评估帕金森病的显著性; 验证了VR场景下高沉浸诱发型任务范式和多模态帕金森病辅助诊断系统的有效性; 其中步态、偏侧凝视和反扫视相结合取得了最优的分类效果; 其中步态与眼动模态综合使用, 只需要进行2–4个任务, 平均AUC和平均准确率就分别能达到0.97和0.92.
本文第1节回顾相关工作, 包含我们所使用模态的研究. 第2节介绍系统构建, 包含通道、特征和设备的设置原因. 第3节详细描述实验过程, 包括被试信息和测试流程. 第4节主要介绍了数据分析方法、分类模型和结果. 第5节基于结果进行充分讨论. 第6节总结全文.
1 相关工作 1.1 单模态帕金森病评估方法目前临床对帕金森病患者的评估主要是通过主观量表, 依赖于临床医生的经验与主观评价, 缺乏客观性. 因此研究者们通过与帕金森病密切相关的生理特征, 如冻结步态、眼动障碍等, 对帕金森病的客观定量化评估进行了研究. 步态、眼动等单模态特征能够很好地表征帕金森病.
帕金森病导致全身肌肉僵硬, 动作缓慢, 姿势控制难, 对步态的形成产生直观的影响, 例如步幅下降、步行速度下降以及步频上升. 目前基于步态的分析主要有基于可穿戴设备的方法和非接触式方法. 随着传感技术的发展, 可穿戴式传感设备在生理信息感知领域得到了广泛的应用[21,22], 手机、加速度计、陀螺仪等传感设备为帕金森病步态异常的量化评估提供了途径. 例如, Barth等人[23]通过使用装有惯性传感器(陀螺仪和加速度计)的运动鞋区分早期帕金森病和健康对照组敏感度达到88%和特异性达到86%. Bae等人[24]通过使用惯性测量单元与地面反作用力传感器对足部轨迹、行走距离和步幅等参数量化对患者进行实时监测. Altilio等人[25]使用智能手机对帕金森病人进行远程步态监测, 在区分病理步态与生理步态上准确率达到90%. Capecci等人[26]通过手机拍摄帕金森病人的Timed Up and Go测试视频和手机内置加速度计获取的加速度信息, 实现了冻结步态检测, 灵敏度和特异性分别为70.1%和84.1%. Aich等人[27]通过两个捆绑在膝盖的加速度计收集被试的步态数据, 使用决策树算法对数据进行分类, 准确率为88.46%. Cao等人[28]提出了一种基于视频的拖拽步态检测方法, 该方法从行走视频中提取用户腿和脚的RGB轮廓, 步态平均检测准确率达到了90.8%. 但是在行走过程中患者的腿部会因行走姿势、衣着及障碍物等而产生遮挡现象, 导致无法提取腿部轮廓, 影响检测的准确性. 基于人体关键点方法, 是通过从视频中提取人体关键点进而获取步态数据, 有效地解决了遮挡导致检测不准的问题. Yan等人[29]提出了时空图卷积网络(ST-GCN), 它通过从数据中自动学习空间和时间模式, 实现了动态视频的估价模型识别. Guo等人[30]提出了一种双流时空注意图卷积网络用于评估帕金森病步态运动障碍. 网络从视频中提取人体骨架序列来构建关节和骨骼的时空图, 然后构建双流时空图卷积网络来同时建模静态空间信息和动态时间变化, 评估准确率为65.66%. 非接触式的方法在一定程度是增加了患者运动的自由度和舒适度, 是目前隐式测量的主要手段.
在1980年, Just等人便发现眼睛与大脑的关联, 并提出眼脑假说[31]. 帕金森病会破坏大脑中的多巴胺通路, 导致脑干和基底节神经元功能发生减退, 主要表现为运动准备和启动阶段的调节功能受损, 进而导致人体眼动系统的活动异常[32,33]. 例如, Anastasopoulos等人[34]发现帕金森病患者在侧方目标注视时会频繁出现扫视动作. 通过眼动检测大脑状态并定量评估的技术得到了快速的发展, 眼动也被视作一种新的帕金森病生物标志物. Zhang等人[33]通过注视、凝视、水平和垂直方向的迅速扫视, 以及水平和垂直方向的平稳追踪等任务, 发现帕金森病患者和对照组在加速频率、向下扫视潜伏期、向上扫视潜伏期、向上扫视准确性和水平平滑追踪速度等5个参数存在显著差异, 将这5个参数结合起来, 帕金森病诊断的敏感性为78.3%, 特异性为95.2%. Zhang等人[35]发现帕金森病患者和对照组的6个动眼参数: 注视稳定性、扫视潜伏期、平滑追踪加速度、扫视频率、视野范围和自由观看时的扫视频率有显著差异. 这6项参数的联合应用可将帕金森病诊断准确率提高到90%以上. 此外, 在PD患者中, 追踪加速度与PD患病时间显著相关. Wu等人[36]发现帕金森病不仅会带来扫视抑制, 而且会影响追踪过程中的双眼协调. Tsitsi等人[37]通过帕金森病患者和健康人群在持续注视过程中, 稳定光照条件下的凝视稳定性和瞳孔大小差异来诊断帕金森病, AUC达到0.817. Farashi等人[12]使用垂直眼电描技术探索静息状态下的眼动以评估帕金森病, 发现垂直眼球运动在区分患者组和健康组之间获得了最佳效果. Ma等人[38]通过设置反应性迅速扫视任务, 发现多步扫视的发生率和在垂直与水平方向之间发生率的差异可作为帕金森病诊断的生物标志物.
然而步态、眼动等特征不仅受到帕金森病的影响, 亨廷顿舞蹈病、肌张力障碍、中风等疾病同样会在某些模态产生与帕金森病类似的症状, 例如亨廷顿舞蹈病同样会带来步态冻结[39]. 因此基于单一模态的方法对于帕金森病的特异性较差, 无法排除其他相关疾病带来的影响.
1.2 多模态帕金森病评估方法目前, 通过多模态探索信息间的互补冗余关系可以大大提高交互效率[40,41]. 为了提高对于帕金森病评估的特异性, 研究者们探索了基于多模态特征的帕金森病评估方法. Zhan等人[42]提出了一个通过语音、手指敲击、步态、平衡和反应时间等多模态数据评估帕金森病严重程度的方法, 该方法会生成移动帕金森病评分(mPDS), 该评分客观地衡量了每项活动的特征(例如, 步态活动的步幅), 并从0–100进行评分, 该评分与MDS-UPDRS评分相关性0.81, Timed Up and Go评估相关性0.72, the Hoehn and Yahr stage相关性0.91. Omberg等人[43]开发了一个手机应用程序, 通过收集用户的步态、语音及记忆等多模态的数据, 实现了远程评估帕金森病, 与临床评估的相关性达到了0.71. Wan等人[44]提出了一种用于行为分析的深度多层感知器分类器, 通过分析帕金森病患者的言语和运动模式来确定帕金森病的严重程度, 特异性达到80%. Arora等人[45]通过智能手机收集了用户的语音、姿势和步态等模态的数据, 通过对3个模态的数据进行分析实现了帕金森病的检测及严重程度评估, 在区分帕金森病患者和正常人时, 平均灵敏度为96.2% (标准差为2%), 平均特异性为96.9% (标准差为1.9%), 预测UPDRS得分的平均误差为1.26. Oung等人[46]通过可穿戴设备获取了语音和运动数据, 通过对构音障碍和运动障碍两个模态的分析, 分类准确率超过90%. Vásquez-Correa等人[47]通过快速重复固定音节、句子, 段落阅读和平板书写、绘画及步行等任务, 获取了语音、笔迹及步态等3个模态的数据, 与单一模态相比, 结合3个模态的数据检测准确性达到97%, 远超过基于单一模态数据的结果. Barth等人[48]同样发现基于笔迹的帕金森病识别准确率为89%, 基于步态分析的帕金森病识别率为91%, 然而, 在二者的组合分析中, 分类准确度达到了97%.
基于多模态的方法有效地提高了针对帕金森病的特异性, 并且当前的研究表明多模态融合的方法能够提高检测的准确性. 然而目前的方法大多是被动的检测方法, 只有当帕金森病出现发病征兆后才能检测出来, 不能主动诱发帕金森病的相关特征.
2 系统构建为提升帕金森病检测的特异性和准确性, 本文设计实现了一套包含帕金森病异常诱发范式的多模态辅助诊断系统, 综合帕金森病最为典型的步态特征、诱发范式效果较为显著的眼动特征, 形成互补的多模态特征集, 支持帕金森病的量化辅助诊断. 该系统具体设计如下.
2.1 系统架构该系统设计了对步态与眼动模态的采集装置、实验范式、特征提取方法, 形成对帕金森病显著且多模态互补的特征集, 通过5种常用机器学习分类器对比分析, 实现帕金森病有效识别. 通过非接触式方式捕获被试步态数据(采用3D相机Azure Kinect), 基于步态的图像与深度信息提取了19项步态特征(如后文表1所示); 通过高沉浸感VR场景捕获被试眼动数据(采用PICO Neo 3 Pro eye), 计算30项眼动参数(如后文表2所示). 系统探索了帕金森病患者组和对照组两类人群的双模态特征互补关系, 使用正态分布检验和参数分析方法对所有特征进行差异性分布计算, 提取出能够分辨两类人群的特征集合. 最后通过模型对比分析, 筛选分类模型, 实现帕金森病异常特征的捕获、提取及计算, 为帕金森病的辅助诊断提供量化评估信息(流程如后文图1所示).
|
表 1 步态特征表 |
|
|
表 2 眼动参数表 |
|
图 1 系统流程 |
2.2 实验范式
针对两个通道一共包含了4个任务. 步态通道使用自然行走任务; 眼动通道使用偏侧凝视任务、朝向扫视任务和反向扫视任务. 步态任务可以覆盖日常走路的情况, 凝视和扫视任务也可以覆盖日常眼动的主要情况, 关于帕金森病的研究表明, 帕金森病引起的运动障碍会影响患者的控制能力和精细运动协调[49,50].
● 自然行走. 该任务要求参与者进行自然折返行走和转身. 帕金森病患者在此项运动的典型特征是拖步、小碎步和冻结步态. 作为一项经典的临床评估任务, 医生通常评估行走时的速度、抬脚的高度和由站立相转换为摆动相的时间等参数. 我们假设运动迟缓、肌肉僵硬等帕金森病症状会影响患者的迈步和转身功能. 由于3D摄像机拍摄范围的限制和识别人体骨骼点时会产生抖动, 为了保证视频质量和减小误差, 我们通过设置3次3 m往返的自然行走及转身任务, 探索帕金森病对于步态的影响.
● 偏侧凝视. 该任务要求参与者对立刻出现的目标点做出持续的反应, 即立刻看向目标点并稳定注视. 帕金森病患者在此项运动的典型特征是凝视不稳定、反应时间长和上行凝视障碍. 我们假设静止性震颤和肌肉僵硬等帕金森病症状会影响患者在执行两眼聚焦并持续稳定的行为. 我们通过设置目标点出现在中心、左、上、右、下的方向探索帕金森病对于凝视行为的影响.
● 朝向扫视. 该任务要求参与者对立刻出现的目标点做出迅速的反应, 即立刻看向目标点. 这种扫视行为是一种反射性运动, 与持续注视相比, 它能够反映约束较少的眼球运动. 帕金森病患者在此项运动的典型特征是扫视速度慢、反应时间长和多步扫视, 即以多次小幅度扫视的方式完成对目标点的捕获[38]. 同时帕金森病还会引起上行扫视障碍. 我们通过设置目标点出现在中心点的上、下、左、右4个方向探索帕金森病对朝向扫视的影响.
● 反向扫视. 与朝向扫视类似, 但该任务要求参与者立刻看向目标点出现的反方向. 这是一种非自愿的、需要抑制控制的行为. 晚期帕金森病患者, 往往伴有认知障碍, 抑制反射性扫视的能力下降[51]. 在此项任务中往往表现出更高的错误率. 通常, 部分患者会意识到自己犯错, 从而做出纠正, 在任务中会出现一定比例的纠错扫视. 同时, 反向扫视也有反应时间长和扫视速度慢的特点. 我们通过设置目标点出现在中心点的上、下、左、右4个方向探索帕金森病对反向扫视的影响.
2.3 特征设置基于步态数据提取了19个步态特征, 基于眼动数据提取了30个眼动参数, 进而研究其对于由帕金森病特征模式的敏感度. 表1、表2详细列举了本研究提取的步态特征、眼动参数及其对应计算方法描述.
3 实 验 3.1 被试信息本文共招募了帕金森病患者组、正常人群对照组和帕金森病验证组3组参与者共38例, 其中20例帕金森病患者组全部来自北京医院神经内科门诊的就诊患者, 有专业医生的长期诊断和MDS-UPDRS的量表评分(MDS-UPDRS III的平均分数为30.55 (std=16.89)). 为了检验数据中年龄差异的影响, 我们补充了来自大连中心医院的8例与对照组无年龄差异的帕金森病患者数据作为验证集. 该组数据也经过了专业医生的长期诊断和MDS-UPDRS的量表评分(MDS-UPDRS III的平均分数为17.88 (std=13.96)). 所有受试者均为母语为汉语者. 表3呈现了参与者的人口统计学信息和临床信息.
|
|
表 3 被试信息表 |
本文受试者的招募和实验程序通过了合作医院的机构审查委员会批准. 受试者在参与前均签署了知情同意书, 且他们被告知可以在不提供任何理由的情况下随时退出研究, 他们的个人信息只用于研究, 不会外泄. 本研究根据成人研究的机构指南进行.
3.2 实验流程本文进行了两个模态的用户实验, 使用随机方法, 降低实验顺序对结果的影响. 具体实验流程如下.
(1) 对于步态实验. 实验开始前先将步态采集设备放置在正确的位置, 即距离终点位置1.5 m处的设备摆放区域. 施测者选择需要测试的项目, 此时, 要求受试者站在设备正前方5 m的起始方格内, 之后向受试者叙述测试规则. 当系统发出“开始录像”的指令后, 要求受试者以最日常的步行方式, 开始进行自然行走及转身的测试项. 如图2所示, 测试项设置了两个相距3 m的方格(贴有地标), 要求受试者从起始方格开始行走, 走到终点方格转身回到起始方格, 这样往返3次后, 结束录像.
|
图 2 步态测试示例图, A线为起点位置, 步态测试实验出发点; B线为终点位置, 步态测试实验转身点; C/D点为步态测试转身区域 |
(2) 对于眼动实验. 在此项实验中, 共进行3项眼动任务, 分别是朝向扫视任务、反向扫视任务与偏侧凝视任务. 首先, 通过路由器, 实现平板电脑与VR眼动设备连接. 之后, 受试者需进行9点校准, 待校准完成后进入做任务环节. 每个任务开始之前, 受试者还需知悉相应规则, 保证任务结果的准确性. 3个任务全部完成, 实验结束. 实验使用的VR设备内部视野为196°×100° (左右各98°, 上下各50°). 3个任务如图3所示.
|
图 3 眼动测试示例图 |
■ 朝向扫视任务: 要求受试者先注视屏幕中心点, 中心点消失2 s后, 在其上下左右各20°的某一个位置出现直径为2°大小的目标点, 当目标点出现时要求受试者迅速看向目标点. 看向目标点为完成一次测试, 共计20次测试.
■ 反向扫视任务: 与朝向扫视任务设置相同, 区别在于当目标点出现时, 要求受试者迅速看向目标点的相反方向. 共计20次测试.
■ 偏侧凝视任务: 目标点按照中、左、上、右、下的顺序依次出现距离中心点15°的位置持续6 s. 要求受试者当目标点出现时迅速看向目标点, 并保持稳定注视.
4 结 果本文对训练组、对照组共计30例数据进行分析, 提取两个模态共计49个特征(眼动30个, 步态19个), 使用临床MDS-UPDRS评分量表结果作为标准, 进行数据结果验证. 其中, 针对朝向扫视和反向扫视任务中有多次测试, 为此本文分别计算了20次测试的均值、平方差、极差. 眼动速度还额外计算了最大值. 步态任务得到的数据, 均取每个特征原始数据的中值来代表该特征. 此外, 在原始数据中存在一些值缺失的情况, 使用此类人群在该特征的总体均值填补空值.
4.1 特征选择在特征选择阶段, 首先校验特征分布情况, 将满足正态分布的22个特征和不满足正态分布的27个特征分别使用独立样本t检验和非参数Mann-Whitney U检验计算. 最终得到了26个与帕金森病显著相关(p<0.05)的特征(步态10个, 眼动16个), 基于这些特征分别计算了两类人群的均值和平方差(如表4所示), 并绘制了检验后部分特征的箱线图(如图4所示). 将步态经过参数检验得到的特征集记为“步态_检验”, 原步态特征集记为“步态_全部”. 眼动经过参数检验得到的特征集记为“眼动_检验”, 原始眼动特征集记为“眼动_全部”.
|
|
表 4 具有分布差异特征的明细 |
|
图 4 经过检验后患者组与对照组之间具有分布差异的部分特征箱线图 |
如表4所示, 从“步态_检验”发现, 两类人群在步频(右)、站立相(左)、摆动相(左)、摆动速度(左右)和步高(右)有显著性差异(p<0.001). 帕金森病患者两条腿的摆动速度均低于对照组. 从“眼动_检验”发现, 在反应能力维度, 反向扫视潜伏期和反向扫视纠错潜伏期的均值和极差具有显著性差异(p<0.001), 优于反向扫视潜伏期方差. 灵活性维度没有通过参数检验的特征说明两类人群在统计分布没有明显差异. 此外, 反向扫视的纠错率比正确率更具差异性. 在持续性维度, 两种扫视的方差不能用于区别帕金森病和对照组.
4.2 基于双模态数据的分类探索本文对比分析了5种常见机器学习算法, 包括高斯朴素贝叶斯(GNB)、随机森林(RFC)、支持向量机-线性核、支持向量机-多项式核(SVM-Poly)、XGBoost (XGB), 验证其分类效果. 在此基础上, 利用简单交叉验证法来验证模型的稳定性. 具体来说, 对于每一次的验证, 27名受试者的数据被用作训练集, 3名参与者的数据用于验证, 共进行10次验证. 进一步, 使用多种测试指标来衡量分类性能, 包括准确率(识别正确的结果占总样本的百分比)、敏感度(即真阳性率, 被正确识别为帕金森病患者的百分比)、特异性(即真阴性率, 被正确识别为健康受试者的百分比)、F1-score (即精度和灵敏度的谐波平均值)、精确率(被识别为帕金森病的样本中实际为帕金森病的样本的百分比)和ROC分析(计算AUC). 表5总结了基于参数检验之前和之后的双模态数据和步态与眼动两个单模态数据在5个分类模型的分类结果. 通过对比检验前后的各个模态特征集在检测疾病方面的表现, 发现经过检验的特征集对于疾病的检测能力大于或等于使用未经筛选的特征集, 因此, 实验结果表明经过检验的特征集对于疾病的检测能力更强.
|
|
表 5 双模态、步态单模态、眼动单模态的分类结果 |
此外, 虽然SVM-Linear在“眼动_检验”数据集中的各项指标略低于GNB, 但是在双模态(“步态_全部”和“眼动_全部”)的数据集中, SVM-Linear是5个分类模型效果最好的. 因此, 在所有分类器中, SVM-Linear对于疾病的检测能力最好, 在之后的对比分析中, 本文将使用该算法作为系统的分类模型. 同时, 本文对比双模态与当前条件下对应的步态和眼动单模态的特征集发现, 在任何情况的双模态均比单模态的效果好, 如图5所示. 为了进一步验证, 本文补充对比了“眼动_检验”与“步态_全部”的组合和 “步态_检验”与 “眼动_全部”的组合, 这两种特征组合的分类效果. 由表6可知, “步态_检验”与“眼动_全部”的组合优于另一种方案, 但是仍然低于“双模态_检验”特征集的分类效果. 综合考量, 实验结果表明“双模态_检验”的数据集在疾病检测的能力最优.
|
图 5 双模态与单模态在部分指标的对比 |
|
|
表 6 基于SVM-Linear的模态组合分类结果 |
针对双模态数据, 本文探究了任务组合对帕金森病辅助诊断结果的影响, 并将眼动任务与步态任务进行排列组合获得7个特征组合, 如表7所示. 多任务组合(3–4个任务)在帕金森病的检测中准确率更高, 反向扫视任务的组合在评估帕金森病方面的结果均优于朝向扫视任务的组合, 其原因在于反向扫视需要用户根据视觉刺激进行反向用眼操作, 增加了认知负荷. 偏侧凝视任务在分类效果中的表现较为均衡. 进一步, 双任务组合情况下, 步态任务结合眼动反向扫视任务的效果最好; 多任务组合情况下, “偏侧凝视任务+反向眼跳任务”的效果最好. 另外我们还发现, 这种组合方案优于所有任务组合的结果.
|
|
表 7 步态分别与眼动任务组合的分类结果 |
4.3 年龄差异验证与探索
如前文表3所示, 上述实验中对照组与帕金森病患者组年龄存在一定的差距, 而本文的特征源于被试行为表现, 这与年龄直接相关. 因而, 为了检验训练数据中年龄差异的影响, 我们补充了新患者数据, 添加与对照组无年龄差异的帕金森病患者数据8例作为验证组(年龄验证组=59.88, 年龄对照组=57.7, 年龄分布检验中p=0.35), 结果如表8所示. 从实验结果来看, 随着对照组和验证组年龄差异的减小, 系统模型的检测效果确实有所下降(平均下降6.43%), 但依然显现出多任务组合在帕金森病检测的效果更好的结论.
|
|
表 8 无年龄差距的两组被试在步态与各项眼动任务相结合的分类结果 |
4.4 帕金森病分级诊断的探索
基于已有数据, 我们继续探索了更轻量的方法(差异检验+KNN)对于帕金森病分级诊断的可行性. 由于总人数较少且重度只有2例, 无法使用统计学习方法分析数据, 因而尝试通过绘制散点图展现帕金森病的3个阶段在每个特征的表现, 如图6所示. 从特征的数值分布来看, 不同程度的帕金森病患者表现出较为明显的分布差异. 因此, 这类方法存在一定可能性, 但是, 需要更充足数据支撑.
|
图 6 处于帕金森病3个严重程度的患者在部分特征的分布 |
5 讨 论
本文提出一种基于多模态特征分析的帕金森病辅助诊断方法, 主要探究步态和眼动双模态在特定诱发范式下对帕金森病辅助诊断的效果, 通过采集并分析被试在自然行走、偏侧凝视、朝向扫视和反向扫视4个任务的数据, 得到具有分布差异的26个特征; 使用5个分类模型对检验前和检验后的双模态特征集与检验前和检验后的两个单模态分别对比, 发现双模态比单模态在分类准确率上平均提高了13.3%. 进一步, 探索了基于双模态数据不同任务组合对于疾病的检测能力. 实验结果表明, 多任务组合在帕金森病的诊断中整体表现更好, 相比于双任务组合有更高的准确率. 之后, 为了检验训练数据中年龄差异造成的影响我们补充了一批与对照组无年龄分布差异的帕金森病患者进行验证, 结果显示多任务组合的效果仍优于双任务组合. 最后, 虽然目前的数据很少, 无法使用数理统计方法分析, 但从散点图展现的数据分布已经可以发现不同严重程度的表现差异. 在未来工作中, 我们期望采集到更多数据以支持直接从采集方法本身的特点利用深度学习方法进行帕金森病有效分类、分级的研究, 比如, 基于图神经网络与长短期记忆模型的方法对步态行为进行建模[30,52], 或是将眼动过程视为时间序列并使用序列模型进行建模.
帕金森病对患者的影响不仅体现在步态与眼动, 语音、姿态及笔式等也受到帕金森病的显著影响, 相关特征也能够反映出帕金森病的相关信息. 这些通道信息不仅能从标准范式中提取, 在日常生活场景中也能被捕获. 将采集方式隐式化, 设置适合移动和居家等自由场景的实验范式或采集设备, 可获得更大范围的数据. 在后续工作中, 将尝试融入这些多模态数据和适用于多场景的范式, 进一步提高帕金森病辅助诊断方法的特异性和准确性. 此外, 当前的验证是基于38例临床数据, 数据量较小可能对实验结果带来了一定的影响, 下一步将继续采集临床数据对本文的系统与方法进行验证.
6 总 结本文搭建了一套包含帕金森病异常诱发范式的多模态辅助诊断系统, 根据正态分布检验结果进行特征的参数检验, 构建了具有统计学意义的特征集; 在临床环境中收集了38例带有MDS-UPDRS评分量表的多模态数据; 分别就步态和眼动模态进行了互补性分析, 计算帕金森病与特征组合方式之间的关联性, 实验结果显示多模态结果明显优于单模态结果; 本文提出的多模态帕金森病辅助诊断方法在临床数据集中验证结果显示, 只需要进行2–4个任务, 平均AUC和平均准确率就分别能达到0.97和0.92, 显示了VR场景下高沉浸诱发型任务范式和多模态帕金森病辅助诊断系统的有效性. 本文的研究为帕金森病辅助诊断提供客观量化的评估方法, 所需要时间更少、对患者依从性要求更低、对医生临床经验依赖更弱, 具有一定的应用前景.
| [1] |
Hirtz D, Thurman DJ, Gwinn-Hardy K, Mohamed M, Chaudhuri AR, Zalutsky R. How common are the “common” neurologic disorders? Neurology, 2007, 68(5): 326–337. [doi: 10.1212/01.wnl.0000252807.38124.a3]
|
| [2] |
Poewe W, Seppi K, Tanner CM, Halliday GM, Brundin P, Volkmann J, Schrag AE, Lang AE. Parkinson disease. Nature Reviews Disease Primers, 2017, 3: 17013.
[doi:10.1038/nrdp.2017.13] |
| [3] |
Zhou JH, Li JC, Papaneri AB, Kobzar NP, Cui GH. Dopamine neuron challenge test for early detection of Parkinson’s disease. npj Parkinson’s Disease, 2021, 7(1): 116.
[doi:10.1038/s41531-021-00261-z] |
| [4] |
Goetz CG, Fahn S, Martinez-Martin P, et al. Movement disorder society-sponsored revision of the unified Parkinson’s disease rating scale (MDS-UPDRS): Process, format, and clinimetric testing plan. Movement Disorders, 2007, 22(1): 41-47.
[doi:10.1002/mds.21198] |
| [5] |
Taylor Tavares AL, Jefferis GSXE, Koop M, Hill BC, Hastie T, Heit G, Bronte-Stewart HM. Quantitative measurements of alternating finger tapping in Parkinson’s disease correlate with UPDRS motor disability and reveal the improvement in fine motor control from medication and deep brain stimulation. Movement Disorders, 2005, 20(10): 1286-1298.
[doi:10.1002/mds.20556] |
| [6] |
Pagan FL. Improving outcomes through early diagnosis of Parkinson’s disease. MJH Life Sciences, 2012, 18(S7): S176-S182.
|
| [7] |
Fröhlich H, Bontridder N, Petrovska-Delacréta D, et al. Leveraging the potential of digital technology for better individualized treatment of Parkinson’s disease. Frontiers in Neurology, 2022, 13: 788427.
[doi:10.3389/fneur.2022.788427] |
| [8] |
Kamran I, Naz S, Razzak I, Imran M. Handwriting dynamics assessment using deep neural network for early identification of Parkinson’s disease. Future Generation Computer Systems, 2021, 117: 234-244.
[doi:10.1016/j.future.2020.11.020] |
| [9] |
Pereira CR, Pereira DR, Rosa GH, Albuquerque VHC, Weber SAT, Hook C, Papa JP. Handwritten dynamics assessment through convolutional neural networks: An application to Parkinson’s disease identification. Artificial Intelligence in Medicine, 2018, 87: 67-77.
[doi:10.1016/j.artmed.2018.04.001] |
| [10] |
Tang W, Van Ooijen PMA, Sival DA, Maurits NM. 2D gait skeleton data normalization for quantitative assessment of movement disorders from freehand single camera video recordings. Sensors, 2022, 22(11): 4245.
[doi:10.3390/s22114245] |
| [11] |
Khan T, Lundgren LE, Anderson DG, Nowak I, Dougherty M, Verikas A, Pavel M, Jimison H, Nowaczyk S, Aharonson V. Assessing Parkinson’s disease severity using speech analysis in non-native speakers. Computer Speech & Language, 2020, 61: 101047.
[doi:10.1016/j.csl.2019.101047] |
| [12] |
Farashi S. Analysis of vertical eye movements in Parkinson’s disease and its potential for diagnosis. Applied Intelligence, 2021, 51(11): 8260-8270.
[doi:10.1007/s10489-021-02364-9] |
| [13] |
Hsiao I T, Weng Y H, Hsieh C J, Lin W Y, Wey S P, Kung M P, Yen T C, Lu C S, Lin K J. Correlation of Parkinson disease severity and 18F-DTBZ positron emission tomography. JAMA Neurology, 2014, 71(6): 758-766.
[doi:10.1001/jamaneurol.2014.290] |
| [14] |
Mozhdehfarahbakhsh A, Chitsazian S, Chakrabarti P, Chakrabarti T, Kateb B, Nami M. An MRI-based deep learning model to predict Parkinson’s disease stages. Health Informatics, 2021. [doi: 10.1101/ 2021.02.19.21252081]
|
| [15] |
Dhawan V, Dhoat S, Williams AJ, DiMarco A, Pal S, Forbes A, Tobías A, Martinez-Martin P, Chaudhuri KR. The range and nature of sleep dysfunction in untreated Parkinson’s disease (PD). A comparative controlled clinical study using the Parkinson’s disease sleep scale and selective polysomnography. Journal of the Neurological Sciences, 2006, 248(1–2): 158-162.
[doi:10.1016/j.jns.2006.05.004] |
| [16] |
Wen CJ, Yen AMF, Chiu SYH, Chen SLS, Fann JCY, Hwang YC, Chen TF, Wen YR, Liou HH, Chen HH. Active and passive methods of detecting Parkinson’s disease. Journal of the American Geriatrics Society, 2015, 63(6): 1261-1263.
[doi:10.1111/jgs.13464] |
| [17] |
Axelrod BN, Meyers JE, Davis JJ. Finger tapping test performance as a measure of performance validity. The Clinical Neuropsychologist, 2014, 28(5): 876-888.
[doi:10.1080/13854046.2014.907583] |
| [18] |
Swaine BR, Desrosiers J, Bourbonnais D, Larochelle JL. Norms for 15- to 34-year-olds for different versions of the finger-to-nose test. Archives of Physical Medicine and Rehabilitation, 2005, 86(8): 1665-1669.
[doi:10.1016/j.apmr.2004.11.021] |
| [19] |
Oung QW, Muthusamy H, Lee HL, Basah SN, Yaacob S, Sarillee M, Lee CH. Technologies for assessment of motor disorders in Parkinson’s disease: A review. Sensors, 2015, 15(9): 21710-21745.
[doi:10.3390/s150921710] |
| [20] |
Bot BM, Suver C, Neto EC, Kellen M, Klein A, Bare C, Doerr M, Pratap A, Wilbanks J, Dorsey ER, Friend SH, Trister AD. The mPower study, Parkinson disease mobile data collected using ResearchKit. Scientific Data, 2016, 3(1): 160011.
[doi:10.1038/sdata.2016.11] |
| [21] |
Monje MHG, Foffani G, Obeso J, Sánchez-Ferro Á. New sensor and wearable technologies to aid in the diagnosis and treatment monitoring of Parkinson’s disease. Annual Review of Biomedical Engineering, 2019, 21(1): 111-143.
[doi:10.1146/annurev-bioeng-062117-121036] |
| [22] |
Lu RR, Xu Y, Li XH, Fan YL, Zeng WQ, Tan Y, Ren K, Chen WW, Cao XB. Evaluation of wearable sensor devices in Parkinson’s disease: A review of current status and future prospects. Parkinson’s Disease, 2020, 2020: 4693019.
[doi:10.1155/2020/4693019] |
| [23] |
Barth J, Klucken J, Kugler P, Kammerer T, Steidl R, Winkler J, Hornegger J, Eskofier B. Biometric and mobile gait analysis for early diagnosis and therapy monitoring in Parkinson’s disease. In: Proc.of the 2011 Annual Int’l Conf. of the IEEE Engineering in Medicine and Biology Society. Boston: IEEE, 2011. 868–871. [doi: 10.1109/IEMBS.2011.6090226]
|
| [24] |
Bae J, Tomizuka M. A tele-monitoring system for gait rehabilitation with an inertial measurement unit and a shoe-type ground reaction force sensor. Mechatronics, 2013, 23(6): 646-651.
[doi:10.1016/j.mechatronics.2013.06.007] |
| [25] |
Altilio R, Rossetti A, Fang Q, Gu XD, Panella M. A comparison of machine learning classifiers for smartphone-based gait analysis. Medical & Biological Engineering & Computing, 2021, 59(3): 535-546.
[doi:10.1007/s11517-020-02295-6] |
| [26] |
Capecci M, Pepa L, Verdini F, Ceravolo MG. A smartphone-based architecture to detect and quantify freezing of gait in Parkinson’s disease. Gait & Posture, 2016, 50: 28-33.
[doi:10.1016/j.gaitpost.2016.08.018] |
| [27] |
Aich S, Pradhan PM, Chakraborty S, Kim HC, Kim HT, Lee HG, Kim IH, Joo MI, Jong Seong S, Park J. Design of a machine learning-assisted wearable accelerometer-based automated system for studying the effect of dopaminergic medicine on gait characteristics of Parkinson’s patients. Journal of Healthcare Engineering, 2020, 2020: 1823268.
[doi:10.1155/2020/1823268] |
| [28] |
Cao XG, Xue YZ, Chen JS, Chen XH, Ma Y, Hu CH, Ma HM, Ma HB. Video based shuffling step detection for parkinsonian patients using 3D convolution. IEEE Trans. on Neural Systems and Rehabilitation Engineering, 2021, 29: 641-649.
[doi:10.1109/TNSRE.2021.3062416] |
| [29] |
Yan SJ, Xiong YJ, Lin DH. Spatial temporal graph convolutional networks for skeleton-based action recognition. In: Proc. of the 32nd AAAI Conf. on Artificial Intelligence. New Orleans: AAAI, 2018. 912. [doi: 10.1609/aaai.v32i1.12328]
|
| [30] |
Guo R, Shao XX, Zhang CC, Qian XH. Multi-scale sparse graph convolutional network for the assessment of parkinsonian gait. IEEE Trans. on Multimedia, 2022, 24: 1583-1594.
[doi:10.1109/TMM.2021.3068609] |
| [31] |
Just MA, Carpenter PA. A theory of reading: From eye fixations to comprehension. Psychological Review, 1980, 87(4): 329-354.
[doi:10.1037/0033-295X.87.4.329] |
| [32] |
Srivastava A, Goyal V, Sood SK, Sharma R. Reduced saccadic velocity and pupillary width in young onset Parkinson’s disease. Neurology, Psychiatry and Brain Research, 2018, 27: 17-20.
[doi:10.1016/j.npbr.2017.12.005] |
| [33] |
Zhang JY, Zhang B, Ren QG, Zhong Q, Li Y, Liu GT, Ma XT, Zhao CP. Eye movement especially vertical oculomotor impairment as an aid to assess Parkinson’s disease. Neurological Sciences, 2021, 42(6): 2337-2345.
[doi:10.1007/s10072-020-04796-6] |
| [34] |
Anastasopoulos D, Ziavra N, Savvidou E, Bain P, Bronstein AM. Altered eye-to-foot coordination in standing Parkinsonian patients during large gaze and whole-body reorientations. Movement Disorders, 2011, 26(12): 2201-2211.
[doi:10.1002/mds.23798] |
| [35] |
Zhang Y, Yan AJ, Liu BY, Wan Y, Zhao YC, Liu Y, Tan JX, Song L, Gu Y, Liu ZG. Oculomotor performances are associated with motor and non-motor symptoms in Parkinson’s disease. Frontiers in Neurology, 2018, 9: 960.
[doi:10.3389/fneur.2018.00960] |
| [36] |
Wu CC, Cao B, Dali V, Gagliardi C, Barthelemy OJ, Salazar RD, Pomplun M, Cronin-Golomb A, Yazdanbakhsh A. Eye movement control during visual pursuit in Parkinson’s disease. PeerJ, 2018, 6: e5442.
[doi:10.7717/peerj.5442] |
| [37] |
Tsitsi P, Benfatto MN, Seimyr GÖ, Larsson O, Svenningsson P, Markaki I. Fixation duration and pupil size as diagnostic tools in Parkinson’s disease. Journal of Parkinson’s Disease, 2021, 11(2): 865-875.
[doi:10.3233/JPD-202427] |
| [38] |
Ma WB, Li M, Wu JR, Zhang ZH, Jia FF, Zhang MS, Bergman H, Li XM, Ling ZP, Xu X. Multiple step saccades in simply reactive saccades could serve as a complementary biomarker for the early diagnosis of Parkinson’s disease. Frontiers in Aging Neuroscience, 2022, 14: 912967.
[doi:10.3389/fnagi.2022.912967] |
| [39] |
Talman LS, Hiller AL. Approach to posture and gait in Huntington’s disease. Frontiers in Bioengineering and Biotechnology, 2021, 9: 668699.
[doi:10.3389/fbioe.2021.668699] |
| [40] |
Ao X, Wang XG, Dai GZ, Wang HA. Error correction of continuous handwriting recognition by multimodal fusion. Ruan Jian Xue Bao/Journal of Software, 2007, 18(9): 2162-2173(in Chinese with English abstract).
[doi:10.1360/jos182162] |
| [41] |
Ding J, Shu XB, Huang P, Yao YZ, Song Y. Multimodal and multi-granularity graph convolutional networks for elderly daily activity recognition. Ruan Jian Xue Bao/Journal of Software, 2023, 34(5): 2350-2364(in Chinese with English abstract).
[doi:10.13328/j.cnki.jos.006439] |
| [42] |
Zhan AD, Mohan S, Tarolli C, Schneider RB, Adams JL, Sharma S, Elson MJ, Spear KL, Glidden AM, Little MA, Terzis A, Dorsey ER, Saria S. Using smartphones and machine learning to quantify Parkinson disease severity: The mobile Parkinson disease score. JAMA Neurology, 2018, 75(7): 876-880.
[doi:10.1001/jamaneurol.2018.0809] |
| [43] |
Omberg L, Chaibub Neto E, Perumal TM, et al. Remote smartphone monitoring of Parkinson’s disease and individual response to therapy. Nature Biotechnology, 2022, 40(4): 480-487.
[doi:10.1038/s41587-021-00974-9] |
| [44] |
Wan SH, Liang Y, Zhang Y, Guizani M. Deep multi-layer perceptron classifier for behavior analysis to estimate Parkinson’s disease severity using smartphones. IEEE Access, 2018, 6: 36825-36833.
[doi:10.1109/ACCESS.2018.2851382] |
| [45] |
Arora S, Venkataraman V, Zhan A, Donohue S, Biglan KM, Dorsey ER, Little MA. Detecting and monitoring the symptoms of Parkinson’s disease using smartphones: A pilot study. Parkinsonism & Related Disorders, 2015, 21(6): 650-653.
[doi:10.1016/j.parkreldis.2015.02.026] |
| [46] |
Oung QW, Muthusamy H, Basah SN, Lee H, Vijean V. Empirical wavelet transform based features for classification of Parkinson’s disease severity. Journal of Medical Systems, 2018, 42(2): 29.
[doi:10.1007/s10916-017-0877-2] |
| [47] |
Vasquez-Correa JC, Arias-Vergara T, Orozco-Arroyave JR, Eskofier B, Klucken J, Noth E. Multimodal assessment of Parkinson’s disease: A deep learning approach. IEEE Journal of Biomedical and Health Informatics, 2019, 23(4): 1618-1630.
[doi:10.1109/JBHI.2018.2866873] |
| [48] |
Barth J, Sünkel M, Bergner K, Schickhuber G, Winkler J, Klucken J, Eskofier B. Combined analysis of sensor data from hand and gait motor function improves automatic recognition of Parkinson’s disease. In: Proc. of the 2012 Annual Int’l Conf. of the IEEE Engineering in Medicine and Biology Society. San Diego: IEEE, 2012. 5122–5125. [doi: 10.1109/EMBC.2012.6347146]
|
| [49] |
Mazzoni P, Shabbott B, Cortés JC. Motor control abnormalities in Parkinson’s disease. Cold Spring Harbor Perspectives in Medicine, 2012, 2(6): a009282.
[doi:10.1101/cshperspect.a009282] |
| [50] |
Teulings HL, Contreras-Vidal JL, Stelmach GE, Adler CH. Parkinsonism reduces coordination of fingers, wrist, and arm in fine motor control. Experimental Neurology, 1997, 146(1): 159-170.
[doi:10.1006/exnr.1997.6507] |
| [51] |
Anderson TJ, MacAskill MR. Eye movements in patients with neurodegenerative disorders. Nature Reviews Neurology, 2013, 9(2): 74-85.
[doi:10.1038/nrneurol.2012.273] |
| [52] |
Wang CY, Gao Y, Mathur A, De C. Williams AC, Lane ND, Bianchi-Berthouze N. Leveraging activity recognition to enable protective behavior detection in continuous data. Proc. of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2021, 5(2): 81.
[doi:10.1145/3463508] |
| [40] |
敖翔, 王绪刚, 戴国忠, 王宏安. 基于多通道融合的连续手写识别纠错方法. 软件学报, 2007, 18(9): 2162-2173.
[doi:10.1360/jos182162] |
| [41] |
丁静, 舒祥波, 黄捧, 姚亚洲, 宋砚. 基于多模态多粒度图卷积网络的老年人日常行为识别. 软件学报, 2023, 34(5): 2350-2364.
[doi:10.13328/j.cnki.jos.006439] |