一种融合注意力检测和意图识别的异步脑控方法

丛艳平,曹林林,张 伟,赵 靖

(1.广州航海学院 信息与通信工程学院,广东 广州 510725;2.北京联合大学 城市轨道交通与物流学院,北京 100101;3.燕山大学 电气工程学院,河北 秦皇岛 066004)

脑机接口是一种不依赖于人的外周神经和肌肉、在人脑和机器之间建立起来的直接的信息传输通路[1-3]。对于因患有帕金森综合症、肌萎缩性脊髓侧索硬化、脑干中风、脊髓损伤、脑瘫等严重神经肌肉疾病而失去了行动和自理能力的运动障碍病人,脑机接口可以解析出运动障碍病人脑电信号中携带的脑控意图信息,并将其用于控制机械臂、智能轮椅等康复机器人设备,从而部分恢复他们的生活自理能力和提高他们的生活品质[4-5]。

脑机接口根据控制方式可以分为同步脑机接口和异步脑机接口两种[6],其中异步脑机接口作为更加灵活自然的一种控制方式,使被试可以按照自己的意愿在任意时刻开始和停止脑控活动,系统对采集的脑电信号进行实时处理,在线识别受试者的控制状态和非控制状态。在异步脑机接口研究中,脑电信号模式是产生稳定可靠、可区分、可重复的脑电信号特征的关键,目前常用的脑电信号模式有稳态视觉诱发电位(steady-state visual evoked potential,SSVEP)、运动想象电位、事件相关电位等[7-8],其中SSVEP 模式通过注视固定频率闪烁的视觉刺激来产生,相比于其他脑电模式能够取得更高的正确率和信息传输率,因此在异步脑机接口研究中得到了更为广泛的应用[9]。针对SSVEP 信号的解码问题,现有研究大都通过提取SSVEP 信号中的频率或相位特征进行分类,提出了功率谱密度(power spectral density,PSD)、多元同步指数(multivariate synchronization index,MSI)、典型相关性分析(Canonical correlation analysis,CCA)等算法。为了提高解码精度,现有研究提出了诸多基于CCA 的扩展算法,如基于个体模板的CCA(Individual template-based CCA,ITCCA)算法[10]、多重集CCA(Multi-set CCA,MsetCCA)算法[11]、L1 正则化的多路CCA(L1-regularized multi-way CCA,L1-MCCA)算法[12]、滤波器组CCA(Filter bank CCA,FBCCA)算法[13]等。Han 等通过最大化信噪比(signal-noise ratio,SNR)和锁相值(phase-lock-value,PLV)特征提出了一种MSMP(maximum SNR and maximum PLV)算法,取得了较高的分类精度和异步脑控性能[14]。

尽管上述研究已经实现了基于SSVEP 的机器人异步脑控方法,但现有研究表明,SSVEP 响应与被试的注意力密切相关[15-16]。注意力是指人的心理活动对某种事物指向和集中的能力,它包含了感觉信息的输入、加工、整合、调节控制等一系列复杂的神经处理过程。被试的注意力状态会影响脑电信号的特征变化使其呈现出非平稳特性,即脑机接口系统呈现出典型的个体差异性的特点,在多次实验、不同时间中呈现出有显著差异的分类表现。在非专注状态下,脑机接口的分类准确率会呈现出显著性下降,进而影响对机器人的控制表现。为此,本文提出了一种融合注意力检测和意图识别的机器人异步脑控方法,通过同时解码脑电信号中的注意力水平和控制意图并进行决策层融合,以提高异步脑控系统的分类正确率和减少误触发。

为了实时检测被试的注意力水平,本文采用前期研究中提出的基于个性化频段的优化复杂网络方法( Individualized frequency band based optimized complex network,IFBOCN)算法[16]。对于从某被试FPz 通道采集到的单通道脑电数据,IFBOCN 算法首先从δ 频段(0.5～3.5 Hz)、θ 频段(4～7 Hz)、α 频段(8～13 Hz)、β 频段(13～30 Hz)、γ 频段(30～60 Hz)内选取分类表现最好的三个频带FB1、FB2、FB3,并将原始脑电数据分解为这三个频带内的子成分。其中γ 频段需要进行50 Hz 的陷波滤波。

IFBOCN 分别对滤波后的各个子成分x(i)=(x1,x2,…,xNs)进行相空间重构。相空间是一个用来表示系统所有可能状态的空间,每一个可能的状态都对应相空间的一个点,而随着系统状态的变化就形成了相空间中的相轨迹。相空间重构就是通过一个非线性系统或者混沌系统产生的时间序列,恢复并刻画原动力系统。重构相空间保持了原系统的几何结构、拓扑结构,并与其具有等同的动力学特性。IFBOCN 算法中采用坐标延迟重构法来构造复杂网络的各个节点,第j个节点可表示为,其中时间延迟τ和嵌入维数m是相空间重构的两个重要参数。得到的相空间向量可以表示为

其中,M=N-(m-1)τ是相空间节点的个数。为建立相空间网络,以相空间向量X^(i)作为节点,根据节点间的欧式距离构建连边。第k个节点和第l个节点之间的连边akl可表示为

在构建好的IFBOCN 网络中,由于τ、m和θ三个参数会显著影响网络的拓扑结构,因此选用互信息法来选取最优的τ参数,在确定的τ参数基础上,采用虚假近邻法来选取最优的m参数,最后通过交叉验证方法来搜索准确率最高的θ参数[15-16]。

IFBOCN 算法然后提取网络的平均度K(i)和平均聚类系数C(i)作为特征,采用线性判别分析分类器对专注状态和非专注状态进行分类。K(i)和C(i)的计算过程为

其中,ki表示节点i的度,wij表示节点i和j之间的连边权重。三个最优频带下IFBOCN 网络的平均度和平均聚类系数被连接起来作为用于分类的特征向量F,

IFBOCN 算法随后使用支持向量机分类器对特征向量F进行分类,得到分类结果Ca={0,1}表示被试当前处于控制或非控制状态。

MSMP 算法是一种通过优化空间滤波器组来增强SSVEP 响应信噪比和锁相值的空间滤波方法[14]。对于多通道脑电数据,MSMP 算法求得多个最大化SNR 的空间滤波器MS 和多个最大化PLV 的空间滤波器MP,从而最大化相同刺激频率下SSVEP 试次中的响应强度和相位稳定性。

MS 空间滤波器ws是通过最大化空间滤波后的脑电信号在刺激频率处的信噪比来得到的,采用梯度下降法来解决如下的优化问题:

式中,频率f处的SNR 为

其中,p(f)表示使用快速傅里叶变换计算得到的频率f处的频谱幅值,其中l选取为3[14]。

MP 空间滤波器wp是通过最大化滤波后信号y和频率f的正弦信号间的PLV 值得到的。本文采用梯度下降法来优化如下的目标方程:

式中PLV 值通过如下公式计算得到:

其中,t表示时间点,T表示信号的总时间长度,h表示试次,H表示试次的总个数,表示滤波后信号y(t,h)的希尔伯特变换。

MSMP 算法使用训练好的MS 空间滤波器和MP空间滤波器分别对多通道脑电数据进行空间滤波,然后分别计算SNR 值和PLV 值作为特征,并使用支持向量机分类器进行分类,得到5 个刺激频率对应的分类得分s(n)。MSMP 算法的最终输出决策为

式中,sf =maxs(n)(n=1,2,…,5)表示5 个刺激频率所对应的分类得分中的最大值,当此值小于设定阈值sthr时表示被试处于非控制状态。本文中将控制试次和非控制试次中得到的分类得分s(n)的均值设为sthr。

为提高脑机接口进行异步控制的可靠性,本文提出了一种融合注意力检测和意图识别的异步脑控方法,由基于IFBOCN 的注意力检测、基于MSMP 的脑控意图识别和决策层融合三个部分组成,系统结构如图1所示。其中决策层融合部分将注意力检测部分的二类决策与意图识别部分的六类决策进行融合,输出对机器人脑控系统的最终控制指令。不同于现有的混合多种脑电模式的脑控方法需要在不同认知任务之间进行切换,本文所提方法中注意力的集中是伴随在SSVEP 诱发过程中的,注意力的检测也不需要额外的诱发任务,因此被试只需进行一种SSVEP 任务即可输出注意力和脑控意图两种信息,提高控制精度的同时减小了被试的操作负担。

图1 融合注意力检测和意图识别的异步脑控系统结构Fig.1 Diagram of the asynchronous brain-controlled system fusing attention detection and intention recognition

图1 显示了本文提出的异步脑控方法,其中注意力检测部分采用IFBOCN 算法实时处理FPz通道的脑电数据,估计被试的注意力状态Ca={0,1},意图识别部分采用MSMP 算法实时处理FPz、P3、P4、O1、O2、Oz 通道的脑电数据,分类SSVEP目标频率Cf={0,1,…,5}。决策层融合模块通过整合注意力检测模块的分类结果Ca和意图识别模块的结果Cf来生成用于控制移动机器人的最终命令C。由于Ca表示实验过程中被试的实时的控制/非控制状态,因此它用作意图识别指令Cf的开关,决策融合规则为

其中,Ca=1 表示注意力检测模块判断被试处于专注状态,Ca=0 表示注意力检测模块判断被试处于非专注状态。当C=0 时,异步脑控方法判断当前状态为非控制状态,将不会向机器人输出任务控制指令;当C=Cf时,表示此时输出指令由意图识别模块的决策Cf决定,当Cf=0 时判断被试处于非控制状态,当Cf≠0 时,则输出给机器人相应的控制指令。

为评价所提方法的异步控制性能,本文采集了10 名被试在异步脑控任务中的脑电数据,通过离线评价指标对所提方法的异步性能进行评价。实验在没有电磁屏蔽的实验室环境中进行的,10名被试的年龄在22～26 岁之间,视力正常或矫正后正常。实验开始之前,所有被试都了解了具体的实验流程,并签署了书面知情同意书。脑电数据的采集遵循国际10-20 系统电极放置标准,以1 kHz 的采样率从FPz、P3、P4、Pz、O1、O2 和Oz 七个通道获取脑电信号。接地电极放置在前额的Fz位置,参考电极在头顶的Cz 位置。采集的脑电数据被降采样到250 Hz 以后用于后续的分析和处理。

每名被试都需要进行控制阶段和非控制阶段两个实验,控制阶段实验中被试按照系统指示注视特定的SSVEP 闪烁刺激源,非控制阶段实验中被试则被要求观看机器人的视频反馈窗口,而不能注视任何刺激源。评价过程中考虑到算法的实时性,测试了不同数据长度下该算法的分类性能,分析的数据长度的变化范围为0.5 s 到3 s,选用分类准确率(Accuracy,ACC)、真实阳性率(True positive rate,TPR)、真实阴性率(True negative rate,TNR)和信息传输率(Information transfer rate,ITR)作为评价指标[17]。设nTP、nFN分别表示控制阶段试次中被正确分类和错误分类的个数,nTN、nFP分别表示非控制阶段试次中被正确分类和错误分类的个数,则TPR 表示为,TNR表示为ACC 表示为vACC=,ITR 采用如下的公式计算:

其中,N=6 表示脑电模式类别的个数,T表示输出指令所需的时间,P表示分类准确率。

图2 显示了10 名被试使用本文算法所得到的平均分类结果,使用0.5 s 到3 s 的不同数据长度来评价其性能。图中圆圈标记曲线表示MSMP算法的结果,三角标记曲线表示本文算法的结果。实验结果表明,无论所选取的数据长度如何,本文所提方法均取得了较高的ACC、TNR 和ITR,但是所得到的TNR 低于MSMP 算法。其中,本文算法在3 s 数据长度时取得了最高的平均ACC(84.8%),在1.5 s 数据长度时取得了最高的平均ITR(35.8 bits/min)。为此,本文采用1.5 s 数据长度对每名被试的分类结果进行分析。

图2 本文算法在不同数据长度时的平均分类结果Fig.2 Classification performance of the proposed method with different data lengths

表1 显示了1.5 s 数据长度时的10 名被试的分类结果,其中IFBOCN 算法只分类非控制模式和控制模式2 类,MSMP 算法用于分类非控制模式和5 类SSVEP 脑控模式,本文算法也用于分类非控制模式和5 类SSVEP 脑控模式。从表中可以看到,相比于MSMP 算法,本文所提方法通过融合注意力检测,将平均ACC 从57.6% 提高到了73.8%,将平均ITR 从21.1 bits/min 提高到了35.8 bits/min。特别的,本文方法将平均TNR 从41.3%提高到了89.0%,反映了所提方法能够有效减少非控制试次中的误触发次数,提高了异步脑控系统的可靠性。

表1 不同方法在数据长度为1.5 s 时的分类结果Tab.1 Classification results of different methods with data length of 1.5 s

本文提出了一种融合注意力检测和意图识别的机器人异步脑控方法,并使用10 名被试的数据进行了离线验证。实验结果表明,本文所提方法在融合注意力检测信息后,在数据长度为0.5 s 到3 s 时都取得了更高的ACC、TNR 和ITR,尤其在数据长度为1.5 s 时,将平均ITR 从21.1 bits/min提高到了35.8 bits/min,这些结果验证了本文所提方法在提高系统异步脑控性能中的有效性。

推荐访问:意图 注意力 融合