多特征融合的长时间目标跟踪算法

孙金萍 ,丁恩杰 ,鲍 蓉 ,厉 丹 ,李子龙

（1.信息工程学院（大数据学院），徐州工程学院，徐州，221008；
2.信息与控制工程学院，中国矿业大学，徐州，221008）

运动目标跟踪技术［1-2］是当前计算机视觉领域的重要研究方向，是一项复杂而具有挑战性的技术，融合了模式识别、图像处理和计算机应用等若干领域.运动目标跟踪是在给定初始帧中目标大小与位置的前提下，预测跟踪目标在后续帧中的大小与位置.其核心思想是：输入初始化目标框，在后续帧中通过算法产生众多候选框，提取这些候选框具有辨别能力的特征，用判别器对候选框进行打分，取得分最高的候选框作为预测的目标.目前目标跟踪算法主要有基于支持向量机分类器、基于相关滤波器以及基于深度学习三种.由于相关滤波器算法在跟踪效果和效率上都表现得比较优越，许多国内外学者将相关滤波器引入目标跟踪［3-4］，为了考虑外观随时间的变化，设计了颜色直方图［5］、方向梯度直方图［6］、尺度不变特征［7］和超像素［8］等手工特征来表示目标对象.深度特征是通过大量的训练样本学习出来的特征，比手工设计的特征更具有鉴别性，被广泛应用在目标识别［9］、图像分类［10］和图像分割［11］中.Berti⁃netto et al［12］提出一个结合梯度特征（Histogram of Oriented Gradient，HOG）及颜色特征的岭回归框架的实时跟踪算法.赵广辉等［13］、张子龙和王永雄［14］使用卡尔曼滤波算法来预测目标的状态，判断目标是否被遮挡并进行标记，预测后期仍被遮挡的目标.在长时间目标跟踪过程中，由于跟踪环境多变，目标可能会出现不同变形、严重遮挡等问题，造成跟踪失败，如何快速恢复目标跟踪是实现长时间目标跟踪的基础.张晶等［15］建立旋转和尺度归一化的描述子，并融合颜色和纹理特征对前后帧候选框内描述子进行最优相似性匹配，得出匹配最优解，来进行目标跟踪.Voigtlaender et al［16］提出一个Siam的再检测架构，结合基于轨迹的动态规划算法，利用第一帧标注和前一帧预测进行双重检测，对跟踪对象和潜在干扰对象的完整历史进行建模，能够在长时间遮挡后重新检测被跟踪的对象.Liu et al［17］提出一个长期目标跟踪算法，跟踪失败后利用EdgeBox生成建议区域时未考虑参考帧的有效性，可能会再次造成跟踪漂移的现象.熊丹等［18］针对长时间目标跟踪带来的目标发生尺度和旋转变化问题，提出一种基于核相关滤波的目标尺度和旋转参数估计方法，当目标跟踪丢失时启动结合颜色直方图和方差的目标搜索方法，快速确定目标在当前帧可能存在的位置，恢复后期的目标跟踪.Ma et al［19］通过预训练的深度卷积神经网络提取最后三层卷积特征和学习自适应相关滤波器来提高跟踪准确性和鲁棒性.但一般深度学习的模型比较复杂，会影响处理速度.随着近年来跟踪算法的发展，实时性要求越来越高，但在目标遮挡、尺度变换、形变、光照、运动模糊等情况下很容易发生跟踪丢失或跟踪错误的情况.不同的跟踪算法对于某些不同的复杂场景或难点问题的解决效果仍存在不理想或效率低的情况，因此目标跟踪技术仍需进一步的研究，以提高跟踪效率和效果.

本文研究复杂环境下的长时间目标跟踪问题，特别是目标对象在严重遮挡、变形和短暂离开视线情况下的跟踪问题.HOG特征是局部特征，对目标微小的形态变化以及光照带来的问题都能处理得较好.在背景颜色和目标颜色相近的复杂环境中，仅仅根据颜色特征进行目标跟踪而忽略空间分布特性，易丢失目标.纹理特征作为一种统计特征，纹理信息一般不会受光照或背景颜色干扰，所以本研究融合图像的HOG和纹理两种特征，并训练出两个独立的外观模型.将两种外观模型的预测结果结合起来，协同推断目标位置，比传统的单一模型具有更强的鲁棒性.为了解决跟踪目标再次出现后快速准确地重新定位目标的问题，充分利用之前有效的跟踪结果，设计了一个能够自动更新用于双检测和重检测的Label库，使用库里的元素作为重跟踪的Head.

本文的主要贡献：

（1）结合HOG和纹理特征建立一个外观模型以提高算法在目标变形、严重遮挡、短暂离开视线和相似颜色等复杂环境下目标跟踪的鲁棒性.

（2）提出一种高效的目标重测器，用于解决因完全遮挡、变形和模糊等复杂因素引起的目标跟踪失败问题.

（3）在大型基准数据集（Object Tracking Benchmark，OTB100［20］）上进行了大量实验，实验结果表明该算法取得了良好的效果.将HOG特征和纹理特征与相关滤波器有效地结合在一起，其性能优于许多复杂的跟踪器.

本文设计的算法主要包括三个部分：核相关滤波模块、特征提取模块和重跟踪模块.核相关滤波（详见第2节）采用循环矩阵产生训练负样本来训练滤波器，通过设计核函数来预测目标位置，取得比较好的跟踪结果.特征提取模块详见3.1和3.2.在重跟踪模块中，设计一个用于恢复目标的高置信度Label库，选择Label库中最优元素作为重新跟踪的初始帧，结合EdgeBox产生的目标候选框，通过滤波模板计算得出置信度大于阈值的候选区域，得出重跟踪的结果，详见3.3和3.4.算法模型如图1所示，主要的工作步骤在3.4中详细说明.

图1 本文的算法模型Fig.1 The model of our algorithm

核相关滤波已被成功应用在目标跟踪领域，以其优越的性能成为目前最为流行的跟踪算法之一.核相关滤波采用循环矩阵产生训练负样本训练滤波器，通过设计核函数来预测目标位置，解决训练样本不足的问题.首先给定初始帧的目标位置（target），以target为中心在其周围画出矩形区域，一般是目标区域的1.5～2倍，这样可以包含足够的样本和一些背景信息，训练出的滤波模板更有鲁棒性.矩形区域可以表示为(W，H)=sizeof(target)×(1+padding)，W是区域宽度，H是区域高度.由特征x循环移位产生的样本形成一个训练集，每个移位采样xij，(i，j)∈{0，1，…，W}×{0，1，…，H}均有一个其期望输出的高斯函数，，σ是核带宽.

目标位置的期望得分最高，y(W/2，H/2)=1.随着移位操作的进行，位置越偏离目标得分越低，yij会从1变为0.KCF算法的目标是寻找一个x和相同尺寸的分类器w使滤波器的输出和期望输出yij的误差最小.

其中，f(x)=wT x是输出函数，λ是防过拟合的正则化参数.描述上述问题的解如下：

X=[x1，x2，…，xn]T，每一行表示一个向量，y是列向量.XH表示复共轭转置矩阵.循环矩阵X可以在傅里叶域进行对角化，利用这一特性得到傅里叶域的结果.

给定一帧图像，其特征向量用Z表示，F-1为傅里叶逆变换，可以用式（4）计算响应.查找响应最大的位置，作为最终目标区域.

特征的提取直接影响目标跟踪的准确性和效率，单一特征很难满足复杂环境下长时间目标跟踪的需要，而深度特征的提取模型一般比较复杂，会影响算法的效率.本研究平衡算法的准确性和执行效率，结合HOG和纹理特征表示目标物体，以此来解决长时间跟踪过程中可能出现的目标严重遮挡、变形、光照变化、短暂离开视线、颜色相近等目标跟踪问题.

3.1 HOG特征HOG通过计算有向梯度的分布来描述局部区域的外观和形状，这些梯度描述子对光照变化具有鲁棒性.主要思想是将图像分割成若干块连通区域，计算区域内的方向梯度直方图，最后将每个区域的直方图组合起来形成整幅图像的特征描述.图像中某个像素点(x，y)的像素值为H(x，y)，水平梯度GH和垂直梯度GV如式（5）所示：

那么像素点(x，y)的梯度值和梯度方向如下：

由于梯度强度受局部光照和对比度的变化影响比较大，还需要对梯度做归一化操作.把上述的区域再扩大范围形成区间，同一个区域可以被划分到多个区间，再计算区间的梯度.图2a为OTB100数据集Basketball视频序列中的第0427帧图像，为了比较两幅几乎一样的图像HOG特征的异同，对该帧图像进行人为处理，把球号由34号改为33号，如图2d所示.图2b和图2e分别是前两幅图像的HOG特征图，图2c和图2f分别是两幅图像HOG特征的可视化显示.

图2 两幅接近图像的HOG特征和可视化显示对比图Fig.2 HOG features and visual dispaly of two close pictures

3.2 纹理特征HOG特征很难处理目标的严重变形和严重遮挡问题，而且由于梯度的性质，对噪声比较敏感.通过对比图2b和图2e、图2c和图2f可以发现，目标在相同背景环境下，两幅图像的HOG特征基本完全相同，通过HOG特征的可视化也验证了这一点.所以，在长期目标跟踪中，只用HOG特征来表示图像是不够的.而在背景颜色和目标颜色相近的复杂环境中，只根据颜色特征进行目标跟踪而忽略空间分布特性，很容易丢失目标.纹理特征作为一种统计特征，纹理信息一般不会受光照或背景颜色干扰，因此本文在目标特征提取中又融入了纹理信息，来解决颜色相近的目标容易丢失的问题.

在提取纹理特征之前，一般需要对图像进行反锐化掩模预处理操作，以达到提高图像中高频成分，增强图像轮廓的目的.增强后的图像用O(x，y)表示，如式（7）所示：

F(x，y)表示原图像，FL(x，y)为图像经过高斯滤波处理后的低频成分.i为放大因子，也称对比度增益，一般为大于1的常数.最后利用局部二值模式（Local Binary Pattern，LBP）算子获得图像的纹理特征LBP(x，y).LBP的基本模式是对像素点邻域（四邻域或八邻域）的像素亮度求差，对局部纹理利用阈值判断（阈值为T）.模式表示如下：

式（8）中，p是邻域内第p个像素，P是总像素数，gp表示邻域内的像素值，gc表示邻域中心的像素值.图3给出了图像在两种情况下纹理特征的对比效果，图3b是原始图像直接通过LBP算子计算得到的，图3c是通过反锐化掩模处理后的纹理特征，可以看到目标边缘的纹理得到加强，整幅图纹理更加清晰.3.1中对于身体姿态和衣着颜色完全相同的两幅图片，得出的HOG特征几乎没有差别，但从图4b和图4d可以看出，球号位置的纹理特征是完全不同的，这也证明本文设计的纹理特征在复杂环境下有较强的鲁棒性.

图3 图像增强前后的纹理特征对比Fig.3 Texture feature before and after image enhancement

3.3 标签（Label）库为了解决长时间跟踪可能出现的跟踪漂移、跟踪失败等问题，如何快速准确地重新恢复跟踪，选择一个重新跟踪的初始帧成为关键.如果不保存跟踪过程中产生的有效跟踪结果，会给重新恢复跟踪带来极大的挑战.为此，设计一个能够存放高置信度跟踪结果的Label库，记录跟踪结果的位置信息、置信度、使用次数.首先把第一帧图像永久放入Label库，在跟踪过程中把高置信度的帧输入Label库.为了避免空间浪费，提高算法的执行效率，Label库的更新间隔设置为0.5 s或每25帧，并在库满时采用融合置信度大小、最近最少使用和使用次数算法替换过期的跟踪结果.Label库的工作流程如下：

（1）初始化，把第一帧目标区域放入Label库.

（2）计算第t帧的跟踪结果，如果t大于总帧数，执行步骤7；
其他情况继续执行后续步骤.

（3）如果置信度大于T1，执行步骤4；
否则，直接执行步骤6.

（4）检查Label库的容量，如果未满，直接执行步骤5；
如果已满，先根据置信度大小、最近最少使用和使用次数等参数删除某一个元素，执行步骤5.

图4 两幅接近图像的纹理特征对比Fig.4 Texture details of two close pictures

（5）把第t帧的跟踪结果加入Label库.

（6）t+1→t，遍历整个视频序列，执行步骤2.

（7）结束.

3.4 目标位置和尺度预测给定一帧新图像，根据HOG和纹理特征分别学习两个滤波模板.根据式（4）分别计算HOG和纹理特征的响应，最后的滤波输出用式（10）计算：

两个特征响应的贡献度分别是γHOG和γtex，计算规则如式（11）所示，且满足γHOG+γtex=1.

利用式（10）对两个特征的滤波响应值进行线性加权融合，用融合后的最大响应值来确定目标区域.

本文选用一个简单有效的区域建议生成解决方案EdgeBox［21］来生成整个图像的候选区域，并计算其可信度得分，置信度最高的候选区域为重跟踪结果.对于一张图片，利用边缘信息来判断物体的边界框.依据边界框内的轮廓个数和与边界框边缘重叠的轮廓个数，对边界框进行评分，根据得分的高低顺序确定候选区域信息.EdgeBox产生的候选区域包括两种类型，一种是预测目标附近的（用Bs表示），一种是整个图像区域的（用Bh表示）.b是在Bs或Bh中的一个候选边界框，表示为(x，y，w，h)，(x，y)是边界框的中心坐标，(w，h)是边界框的宽度和高度.定义g(b)为最大滤波器响应，通过检查g(b)是否低于给定的阈值T1来检测跟踪的结果，小于阈值表示跟踪失败，启动重跟踪程序.在正常跟踪过程中，一般是利用前一帧的滤波模板来寻找当前帧的目标位置.但在进行重跟踪时，前一帧的跟踪结果不再可靠，所以需要从Label库中选取具有参考价值的图像作为重跟踪Head（第一帧图像默认作为重跟踪Head）.读取Label库中所有图像的置信度，并计算当前帧某个候选框和这些图像（bt-j，j=1→t）之间的欧式距离.

σ为初始目标大小对角线长度.根据置信度、欧式距离来寻找最佳元素作为重跟踪Head，进行在线训练更新滤波模型，重新恢复正常的跟踪模式，从而使算法在长时间跟踪时保持较高的鲁棒性和高效性.

式（13）中的β是一个权重参数，自适应调整置信度、欧式距离的贡献度.如果{g(b)|b∈Bs}大于g(z)（当前模板的置信度），则新的目标大小(wt，ht)定义为：

也可以表示为：

为了验证算法的有效性和长时间的跟踪性能，在OTB100数据集上选取具有目标形变、遮挡、背景颜色相近、尺度变换、运动模糊、光照影响等特性的图像序列，并与KCF［4］，SiamRPN［16］，ISP［17］，HCF［19］，CSK［22］和DFT［23］等主流算法模型进行对比实验.

4.1 参数设置实验环境：MATLAB R2018b.电脑配置：Intel Core i7⁃8550U CPU，2.0 GHz，8 GB内存，Windows 10操作系统.为了公平地对各个算法进行比较，采用相同的参数进行实验.正则化参数λ设置为0.001，重跟踪阈值T1为0.2.在使用EdgeBox产生候选区域时，为了平衡算法的准确率和效率，候选区域个数最大为100.

4.2 评价指标

4.2.1 距离准确率跟踪算法估计目标位置的中心点与人工标注目标的中心点之间的欧式距离，欧式距离越小跟踪精度越高.距离准确率是指欧式距离小于给定阈值（T2）的视频帧占总帧数的百分比.不同的阈值，比率不一样，可以获得一条曲线，一般阈值设定为20个像素点.

4.2.2 跟踪成功率跟踪算法估计目标位置边界框Sp和目标位置真实边界框Sg的重叠率，重叠率越大表示跟踪成功率越高，如式（17）所示：

4.3 定量分析数据集中的图像在对比度、背景干扰、图像噪声等方面都存在差别.自适应加权融合算法能够根据每幅图像的特征，自动调整权值，达到较好的跟踪效果.OTB2015数据集中Car1视频序列有1020帧图像，具有光照不均，背景颜色干扰大，目标形变严重的特点.图5给出Car1视频序列中400帧图像的HOG特征（橙色曲线）和纹理特征（蓝色曲线）贡献度分布.从变化曲线可以看出，HOG特征贡献度高.而目标在部分帧中有形变时，纹理特征的贡献度高，很好地弥补了HOG特征对形变敏感的问题.

图5 特征贡献度Fig.5 Feature contribution

跟踪算法可能对第一帧给定的初始位置比较敏感（OPE），在不同位置或者帧开始会造成比较大的影响，将时间（从不同帧起始，TRE）和空间（不同的目标位置，SRE）打乱后再进行评估.图6是本文算法和对比算法在OTB100数据集上部分视频序列的跟踪结果.可以看出，在OPE，TRE和SRE三种评估标准下，本文算法有最高的距离准确率，达到0.9；
跟踪成功率综合得分也最高，平均成功率达到0.67.

4.4 定性分析为了更直观地说明本文算法跟踪的准确性，图7给出了与六种对比算法在OTB100数据集上的四个典型视频序列Car1，girl2，Singer2和Jogging的对比结果.在视频序列girl2和Jogging中存在目标受到全遮挡又重新出现的情况，调用重跟踪程序.当Label库满时，首先替换最近最少使用的跟踪结果，其次替换使用次数少的跟踪结果.置信度是评判跟踪结果的依据，保留高置信度的跟踪结果对重跟踪起关键性的作用，所以最后替换置信度最低的跟踪结果，保证Label库中每一项记录的有效性.图7b和图7d的跟踪结果证明了本文算法的准确性.

图6 本文和对比算法的距离准确率和跟踪成功率Fig.6 Precision and success rate of the proposed algorithm and compared algorithm

本文算法除了在视频序列Car1中，跟踪目标尺度和光照的强度变化大，分辨率越来越低，导致在目标拐弯时跟踪出现了一些漂移，在其他视频序列均取得了较好的跟踪结果.其他对比算法在视频序列Car1中，随着目标渐渐远离视线均出现跟踪漂移，而到目标拐弯处已不能再继续跟踪到目标，也没有重新恢复跟踪.由于HCF算法提取的是深度特征，在目标拐弯处虽能跟踪到目标，但结果有一定误差.当目标存在严重的半遮挡和较长时间遮挡时，即视频序列girl2，本文算法、CSK和ISP取得较好的跟踪效果，其他对比算法均出现了跟踪漂移，且不具备恢复重新跟踪目标的能力.和视频序列girl2相比，Jogging视频序列中目标也存在严重遮挡，且目标的形态不断变化，本文算法和CSK取得较好的跟踪结果.本文算法在目标出现后立即恢复了正常的跟踪，而CSK算法出现了短暂跟踪丢失的问题，但也很快重新恢复了跟踪能力.视频序列Singer2背景掺杂，灯光不均匀，整个目标与周围区域相似性又比较高时，本文算法取得较理想的结果，准确率接近1，而Sia⁃mRPN和CSK算法跟踪彻底失败.通过定性分析结果可以看出，当目标存在尺度变换、严重遮挡、短时间离开视线、背景颜色和目标颜色相近等情况时，本文提出的融合算法的优势比较明显，也进一步验证了跟踪过程中再检测模块的有效性.

为了解决长时间运动目标的跟踪问题，本研究提取图像的HOG和纹理特征，充分发挥两种特征在不同复杂环境下的优点，使融合算法更具有鲁棒性；
通过独立训练两个特征模板，对两个特征的滤波响应值进行线性加权融合，用融合后的最大响应值来确定目标区域.设计了一个能够存放高置信度跟踪结果的Label库，记录跟踪结果的位置信息、置信度、使用次数，在跟踪漂移、跟踪失败时可以快速获取重新跟踪的初始帧，有效解决了重跟踪问题.

本文算法在处理遮挡、尺度变换、光照不均、颜色相近等具有挑战性的视频场景时表现出良好的跟踪性能，但在跟踪运动模糊和目标旋转的视频序列时跟踪能力稍弱，在以后工作中将通过图像预处理、训练尺度滤波器等手段进行改进.

图7 本文和对比算法在部分视频序列跟踪结果Fig.7 The tracking results of partial video sequence of our algorithm and other algorithms

推荐访问:长时间 算法 跟踪