陶志勇，张 洁，刘 影∗，张 旭
(1.辽宁工程技术大学电子与信息工程学院，辽宁 葫芦岛 125105；
2.金陵科技学院网络与通信工程学院，江苏 南京 211169)
互联网的普及与信息技术的发展在很大程度上方便了人们的生活，但与此同时也带来了新的挑战。作为人机交互工具的键盘，人们在使用的过程中，不经意间就会忽视敲击键盘可能带来的信息泄露，如电子邮件、社交媒体互动、短信、搜索关键词或账户密码，容易存在个人隐私泄露或财产损失等危险。因此，关注计算机键盘输入行为的检测，对信息安全领域[1]以及人机交互发展有着重要意义。
近年来各种击键识别技术层出不穷，提出了许多不同的识别方案。根据识别过程中所采用的信号媒介，可以分为基于声音的方法[2－3]、基于传感器的方法[4]和基于电磁波的方法等等，但是上述方法的研究仍存在一些不足。基于声音的方法，由于击键发出的声音易受环境中噪音的影响，无疑增加信息获取的难度；
基于传感器的方法，单纯依赖部署专用传感器，且可视角度受限[5]；
基于电磁波的方法，由于不受噪音影响，不需部署专用传感器，在众多的击键行为识别方法中成为最有价值的解决方案之一[6]。
基于电磁波的击键识别通过“复用”环境中的无线信号实现击键感知。如Chen 等人[7]使用软件定义无线电设备控制信号的发送和接收，结合信号振幅和相位来区分不同的击键行为。Ali 等人[8]提出一种基于WiFi 信号的击键识别系统WiKey，通过采集机械键盘不同键的CSI 数据，首次展示了WiFi信号也可以用来识别击键行为。Li 等人[9]实现了一个新颖实用的手机支付密码推断系统，通过部署公共WiFi 热点来收集目标的CSI 数据，仅在发生密码输入的敏感时期启动击键推断。Zhang 等人[10]应用新的击键分割算法，根据峰点和谷点的聚类来定位每个击键波形的位置，实现POS 机支付密码的无设备识别。Shen 等人[11]提出了一种基于环境阈值提取击键波形的双重判断方法，可以提取手机用户在不同环境下敲击密码的击键波形，有效提高系统的环境适应能力。
上述基于WiFi 信号的方法专注于波形特征进行击键行为识别，由于WiFi 设备固有噪声以及室内环境对信号的影响，击键识别方法稳定性的提升存在极大挑战，因此本文提出一种基于CSI 空间特征的增强型击键行为识别系统。首先系统更加注重数据的预处理，并采用基于动态方差阈值的方法进行动作分割。由于提取的击键波形特征存在时间波动性以及空间歧义性问题，本系统采用更具稳健性的多信号空间特征。最后充分利用多根天线特征，对机械键盘的击键样本类别实现精准定位。
WiFi 信号的CSI 值反映的是多径信号的建设性和破坏性干扰，因此击键输入过程中多径传播的变化在CSI 值的时间序列中产生独特的模式，可以用于击键识别。
但是，由于设备噪声以及室内环境对WiFi 信号的影响，导致基于击键波形特征进行分类识别出现较大误差。具体表现为两方面:①时间波动性:相同键不同时刻的击键波形差异较大，如图1所示，表示的是不同时刻B 键的击键波形；
②空间歧义性:物理位置不同的击键波形十分相似，如图2 所示，表示的是Q 键与其他键的击键波形之间DTW(Dynamic Time Warping)距离，颜色越深代表距离越近。
图1 时间波动性
图2 空间歧义性
为解决上述问题，本文提出一种基于CSI 空间特征的增强型击键行为识别系统Wi-Click。Wi-Click 系统的架构如图3 所示，主要内容包括:数据采集、击键信号建模、鲁棒特征刻画和分类识别。利用Halperin 等人提出的CSI-Tool 工具[12]，在发送端持续不断发送WiFi 信号，在接收端进行CSI 数据采集，通过分析各种不利因素产生的原因和机理，对CSI 数据依次进行预处理，特征提取，特征匹配，最后输出击键识别结果。
图3 系统架构
1.1 击键信号建模
1.1.1 预处理
由于商用无线信号设备内部状态转变或环境干扰，导致CSI 时间序列中存在与动作无关的噪声成分，因此本文首先采用窗口大小为7 的Hampel 滤波器和截止频率为80Hz 的Butterworth 低通滤波器对信号进行滤波处理。
其次，每个CSI 矩阵中拥有30 个子载波的信息，使用所有子载波的信息进行特征提取和识别显著增加了系统的计算复杂度，因此Wi-Click 利用子载波间变化的相关性，采用主成分分析(Principal Component Analysis，PCA)计算每个t－r天线对中所有子载波的主成分[13]，并选取最能代表所有子载波的前d＝3 个主成分进行后续分析，如图4 所示。
图4 前3 个主成分
经PCA 处理后，可以获得CSI 矩阵中最具代表性的信息成分，同时去除了不相关噪声。此外，文献[14]因系统内部状态转换造成的高度相关噪声而放弃使用第一主成分，但本文在进行主成分分析之前使用Hampel 滤波器能够去除大部分此类噪声[15]，所以本文选择保留第一主成分信息。
1.1.2 击键波形提取
CSI 时间序列中既包含有效动作信号，又包含无效信号，因此提取有效击键波形可以为后续特征刻画及识别提供支持，击键波形提取的主要步骤如表1 所示。
表1 击键波形提取
采集的CSI 数据中包含多个击键动作，因此需要分割CSI 时间序列以获取单个击键动作的CSI波形。当用户不执行任何击键动作时，时间序列处于稳定状态，相比之下，当用户执行击键动作时，时间序列在击键动作的开始和结束时急剧上升或下降，因此本文采用基于动态方差阈值的方法进行时间序列分割。将PCA1 时间序列以长度大小W分为n段，ΔVi则为时间序列第i段的方差，其计算公式为:
粗略分割时间序列后，选择时间序列幅度均值A作为关键度量，对有效击键波形实现精准定位。如图5 所示，以直线y＝A与波形的交点作为定位点，从最左边的定位点出发，向左进行局部搜索，选择距离最近的极小值点作为起点参考点rp，算法采用下列公式估计击键波形的起点starpoint 和终点endpoint:
图5 有效击键波形提取
式中，Savg表示的是不同击键波形长度的均值，Pleft与Pright为击键波形两侧的保护间隔。根据起点和终点，可以提取击键有效波形。因此，从CSI 时间序列的第i个主分量提 取 的 第m个 击 键 波 形如下:
1.2 鲁棒特征刻画
为解决击键波形特征的时间波动性以及空间歧义性问题，本文基于击键波形充分挖掘不同键位的空间感知能力，寻找更加稳健的击键特征。受文献[2]启发，尽管同一键的击键波形之差会随时间推移发生不小的变化，但相同时刻不同键的击键波形之差会保持相对稳定且更具有区分性，且这种稳健性在任意α 键与β 键的波形之差中都或强或弱存在。
具体来说，如果环境中有噪声干扰，那么键盘上其他键感知到的WiFi 信号都将会受到影响，通过不同键的击键波形做差形成的多信号空间特征代替传统的单信号波形特征，使WiFi 信号相对变化小于WiFi 信号绝对变化，则系统能够更好地容忍设备噪声以及室内环境引起的信号变化。
如图6 所示，B 键和U 键的击键波形极其相似，当B 键和U 键选择与各自相同时刻的C 键作差时，得到的击键空间特征更有利于分类。
图6 击键波形之差
1.3 分类识别
由于击键波形时间波动性以及空间歧义性问题的存在，仅使用波形作为特征会导致分类识别误差较大，因此本文提出了基于击键波形特征与空间特征的KNN-DTW 联合识别模型。
算法首先利用多个天线对的CSI 信息构建多分类器集成系统，在每个分类器的近邻样本级别上对击键动作类别实施联合判决。其次，将联合判决投票结果依据票数降序排列，则测试样本的真实类别存在于投票结果的前M 位中，通常分类错误的测试样本投票结果歧义度非常大，即前M 位中各类别之间的票数之差Gap 十分接近，因此可以根据歧义度阈值Gap，选择需要启动二次识别的测试样本。最后，充分利用不同键位的空间多样性，为每个启动二次识别的测试样本构建由多个多分类器集成系统组成的组合分类器，对测试样本的真实类别实现精准定位。
具体步骤如下:
Step 1:多分类器构建。构建一个Mt×Mr×3 的多分类器集成系统，使用从所有t－r天线对中提取的击键波形特征训练每个分类器，从每个分类器中获取与测试样本距离最近的k个近邻样本。
Step 2:联合判决。qi表示每个近邻样本的类别标签，则测试样本的类别为多分类器标签向量q＝[q1，q2，…，qMt×Mr×3×k]的多数投票结果。
Step 3:组合分类器构建与判决。首次识别后，系统将启动二次识别的测试样本X∗的投票结果前M位类别输出。假设M取值为3，则前M位类别分别为M1、M2 和M3，剩余类别分别为M4、M5、…、M26。以此M个类别的训练集同剩余类别的训练集分别做差构建23 个做差训练集，将测试样本X∗同剩余类别的测试样本分别做差构建23 个做差测试集，则组合分类器由23 个多分类器构成，组合分类器的具体构建方案如图7 所示。
图7 组合分类器的构建方案
2.1 实验设置
2.1.1 实验平台搭建及数据采集
实验均采用配备1 根全向天线的商用TP-Link WiFi 路由器作为发射端，将配备3 根全向天线且带有Intel 5300 网卡的商用笔记本电脑作为接收端。发射端工作在5.8 GHz 频段和IEEE 802.11n AP 模式下，在接收端利用Halperin 等人开发的Linux CSItool 工具从Intel 5300 网卡中解析出CSI 值，并使用MATLAB 软件进一步处理。
实验阶段，天线距离地面的高度均为1 m，将WiFi 路由器放置在测试键盘右侧1.5 m 的位置，将接收天线放置在测试键盘左侧30 cm 的位置，且接收天线在WiFi 路由器的LOS 范围内。WiFi 路由器以2 500 包/s 左右的高速率向接收端发送ICMP ping 包，表2 给出了实验过程中的基本参数配置。
表2 实验的基本参数配置
为评估Wi-Click 系统的性能，本文设置了如图8 所示的两种实验测试平台，包括空旷的实验室和环境相对复杂的实验室。实验邀请志愿者在实验场景中进行多次实验，通过多次按下26 个字母键为每个键提供30 个样本。选取所采数据集中90%的数据作为训练集样本，将数据集中剩余的样本作为测试集样本。
图8 不同实验平台
2.1.2 评价指标
对于Wi-Click 系统的性能分析，本文采用准确率Accuracy 以及精确率Precisionj作为2 个评价指标，其计算公式分别为:
式中，Accuracy 表示用户所有击键行为的识别准确率，Precisionj表示字母j键的识别精确率，TA 表示测试样本正确总数，TS 表示测试样本总数，TPAj和TPSj分别表示字母j 键的测试样本正确总数和测试样本总数。
2.2 天线距离影响
为测试收发天线距离对系统性能的具体影响，实验通过线性增加收发天线距离，观察击键波形的变化。
图9 为发射天线距离键盘1.5 m 情况下，接收天线与键盘间距离增加时击键波形的变化，随着距离的增加击键波形幅度逐渐衰减，并且当位置改变时，击键波形的形状发生显著变化。同样，当接收天线与键盘间距离保持不变时，实验测试了改变发射天线与键盘间距离时击键波形的变化，也出现了类似的变化趋势，如图10 所示。虽然收发天线间距离较近时波形变化比较显著，但同时也更多地引入了由用户身体引起的噪声，如心跳和呼吸，而其他距离下的波形幅度略有波动，但仍然可以区分。因此，实验采用距离发射天线1.5 m、距离接收天线30 cm 的击键位置进行系统性能评估。
图9 不同接收距离波形变化
图10 不同发射距离波形变化
2.3 M 参数选择
在实验的基本参数配置条件下，首次识别的投票结果排序中测试样本的真实类别排名于第N位的样本数量曲线图如图11 所示。从图中可以观察到，当N<3 时，曲线下降速度较快，当N>3 时，曲线逐渐趋于平缓，即大部分测试样本的真实类别存在于投票结果排序的前M＝3 位中。M取值越大，需要进行二次识别的样本数量就会增加，系统的识别准确率也会逐渐增大，但是系统的运行时间也会逐渐增大。考虑到系统总体运行时间成本与识别准确率的平衡，本文取M＝3。
图11 测试样本的真实类别排名于第N 位的样本数量曲线图
2.4 分类方法对比
为验证本文提出方法的有效性，实验采用基于波形特征的SVM 方法、基于波形特征的BP 方法、基于波形特征的KNN 方法和基于波形特征与空间特征的KNN 方法这4 组对比方案。其中，波形特征与空间特征分别为1.1.2 节与1.2 节所提方法获得的特征，不同方法的识别准确率如图12 所示。
图12 不同方法对比
本文提出的基于波形特征与空间特征的KNN方法识别准确率为92.31%，在四种方法中表现最优。虽然BP 神经网络和基于DTW 的SVM 方法能够克服不同击键波形的中点与长度不匹配问题，但是由于击键波形存在时间波动性以及空间歧义性问题，导致二者很难建立良好的预测模型，而KNN 方法仅需寻找近邻样本，并不需要建立预测模型，因此基于传统击键波形特征的KNN 方法可以获得显著的性能提升，如果通过多信号空间特征对击键行为类别进行精确定位，将会获得更稳定可靠的性能。
2.5 不同环境下的系统性能分析
CSI 主要刻画了信号传播空间的特性，信号采集环境能够对识别准确率产生重要影响[16]，因此在不同实验环境下对Wi-Click 系统的性能评估必不可少。本文选择两种实验环境进行系统性能分析，在这2 种环境下分别对Wikey[8]与本文所提方法Wi-Click 进行比较，识别结果如表3 所示，可以看出，本文所提方法在不同场景下都表现出优异的性能，具有一定的环境抗干扰能力。
表3 不同实验环境下的识别准确率
2.6 训练样本数量优化分析
样本的数据中不仅包含着动作信息，而且包含着丰富的周围环境信息，因此为确定训练集样本数量对Wi-Click 系统的影响，本文分别测试了系统在每个键27 个训练样本和每个键54 个训练样本情况下击键行为识别的准确率与精确率。
本文用混淆矩阵展示了不同训练样本数量中每个键的识别精确率，如图13 所示。设置每个键27 个训练样本的识别准确率为92.31%，而每个键54 个训练样本的识别准确率为94.87%。因此，可通过增加训练集样本数量来提高系统的识别准确率和精确率。
图13 不同训练样本数量的识别结果混淆矩阵
论文提出了一种基于CSI 空间特征的增强型击键行为识别方法Wi-Click，该方法通过充分利用不同键位的空间多样性，缓解了击键波形特征的时间波动性和空间歧义性问题，能够获得稳定鲁棒的性能。实验结果表明，Wi-Click 对击键行为识别的准确率可以达到92%以上，且该方法在不同环境中均具有较好的识别准确率，与基于传统波形特征的方法相比，Wi-Click 识别效果更佳。目前，本文只针对静态环境中单个击键动作进行识别，在未来工作中计划研究组合击键动作的检测与识别，或在动态环境中做更多的实验，以实现更恶劣场景下的击键行为识别。
猜你喜欢分类器波形天线具有共形能力的阻抗可调天线成都信息工程大学学报(2022年2期)2022-06-14基于Halbach阵列磁钢的PMSM气隙磁密波形优化防爆电机(2020年4期)2020-12-14用于SAR与通信一体化系统的滤波器组多载波波形雷达学报(2018年5期)2018-12-05基于差异性测度的遥感自适应分类器选择电子技术与软件工程(2017年14期)2017-09-08基于实例的强分类器快速集成方法计算机应用(2017年4期)2017-06-27ETC相控阵天线与普通天线应用对比分析中国交通信息化(2017年10期)2017-06-06ALLESS转动天线射频旋转维护与改造电子制作(2016年1期)2016-11-07基于ARM的任意波形电源设计通信电源技术(2016年3期)2016-03-26基于层次化分类器的遥感图像飞机目标检测航天返回与遥感(2014年5期)2014-07-31一种基于置换的组合分类器剪枝方法中原工学院学报(2014年4期)2014-04-01