张瑞全
(滁州城市职业学院 体育部，安徽 滁州 239000)
篮球比赛过程中精准识别目标运动员有助于快速捕捉对手球队的阵型与比赛策略.篮球运动员目标检测作为构建战术决策系统的关键性技术，长期以来备受国内外研究者的关注，不仅可以实时追踪目标球员的行为轨迹，并且为赢得竞赛提供建设性与战略性的指导[1].随着视觉传感技术的更新升级，篮球运动领域更易实时获取大量高清晰度的动态视频，为运动员目标检测提供有利的数据基础.目标检测是视觉图像处理领域的关键分支，是通过获取帧图像的特征信息实时进一步分类[2]，从而判断目标对象所属类型，达到目标检测的目的，篮球运动员目标检测也是通过这一原理实现，如何在海量帧图像中识别出目标对象成为关键[3].相对于传统的目标检测方法，深度学习算法可以构建深层次的智能学习网络，面对大规模的样本数据也可以快速提取有效的目标特征，为篮球运动员目标检测提供了新的研究方向[4].本文选用深度学习算法中的卷积神经网络（convolutional neural networks,CNN）构建深层次的篮球运动员目标检测模型，对CNN的图像特征提取环节和模型训练策略进行优化，形成高性能的改进Faster R-CNN算法.
本文提出的改进Faster R-CNN 算法是对传统CNN算法的多次改进与优化.实现篮球运动员目标检测的步骤如下：（1）设定交替出现的Conv+Relu+Pooling 网络结构，并使用一组网络在特定层获取输入图像的卷积特征图，基于Gabor滤波器对帧图像实施平滑滤波和边缘特征提取处理[5]；
（2）以篮球运动员帧图像为对象，通过EdgeBoxes算法基于滑动窗口策略提取目标建议区域，将卷积特征池化为统一大小的特征向量，大量缩短建议区域提取时间；
（3）通过训练完成的支持向量机分类器（support vector machine,SVM）判断该初始建议区域归类于前景（背景）的概率[6,7]，基于分类与回归网络对建议区域内的目标进行分类和边界回归，精准实现篮球运动员目标检测.网络模型整体采用迁移学习策略，对在大规模帧图像数据集中预训练完成的网络模型实施监督训练和微调，以获取适用于当前目标检测任务的网络模型结构.
1.1 基于Gabor滤波器的篮球运动员图像特征提取
此次构建的篮球运动员目标检测模型设定交替出现的Conv+Relu+Pooling 网络结构，辅助使用Ga⁃bor 滤波器完成篮球运动员图像特征提取，设计基于Gabor 滤波器的卷基层，获取输入图像的精确卷积特征图.Gabor函数擅长提取图像的边缘信息，属于线性滤波器.空间域中正弦平面波调制的高斯核函数构成了二维Gabor滤波器[8].Gabor函数的实部负责图像平滑，虚部负责图像边缘的检测工作[9,10].
根据Gabor滤波器的基本定义，方向和频率是Gabor滤波器的两大关键性质信息，Gabor函数数组的非一致“频率”和“方向”设定对于图像轮廓和细节特征的提取更为有利.为提高学习特征在“方向”信息上的鲁棒性将方向信息编码到普通卷积核内，为优化学习特征在“尺度变化”上的鲁棒性，将频率信息整合至差异性的网络层内[11].由此，崭新卷积核的获取通过操作Gabor 滤波器实现，变化Gabor 滤波器的基本定义得到新的卷积核如
式中：u指方向；
v代表频率；
λ(u,v) 表示具备差异性方向与尺度信息的滤波器；
Fe,j表示一般性卷积核.
基于元素乘运算获取新的滤波器为
新滤波器内容变量影响前向传播权重，由于一般性卷积核被保留下来，因此更新一般性卷积核即可发挥Gabor滤波器对反向传播的作用.新Gabor滤波器影响反向传播表达式为
式中：Ge,q代表新卷积核；
β为待定系数；
ε计算方法为
式中：L为损失函数.
基于Gabor 滤波器更新卷积核为Faster R-CNN 深度学习网络构建新的卷积核，有效滤除输入篮球运动员图像的噪声和冗余信息，对输入图像实施网格划分，提高图像特征提取的精准度，为后期获取精简的特征建议区域创造有利条件.
1.2 基于EdgeBoxes算法的样本图像目标建议提取
样本图像目标建议提取数量决定了改进Faster R-CNN 网络的目标检测精度，参考路雪等人的研究[12]，使用EdgeBoxes 算法提取样本图像的目标建议区域，以削减改进Faster R-CNN 算法模型中感兴趣区域（ROI）池化层的复杂程度.篮球运动员目标检测前需进行目标标注工作，任务繁琐复杂，引入Edge⁃Boxes算法提取样本图像目标建议区域，可减少目标标注的任务量，提取过程基于滑动窗口策略实现，该过程需注意以下关键问题.
1）搜索步长、搜索准确度、建议区域上限和搜索最低分等变量均由特定的参数进行控制，保证Edge⁃Boxes提取特征的效果.
2）设置感兴趣区域池化层.求取运动员目标图像的感兴趣区域，将样本图像输入Faster R-CNN 网络即可提取卷积特征图，接下来将图像的卷积特征图与感兴趣区域作为ROI池化层的输入，随后将此层中随机且有效的感兴趣区域的特征向特征映射转换[13]，特征映射的统一标准具有固定尺寸H×W.
ROI 池化层使传统CNN 网络摆脱了输入图像固定尺寸的限制，取而代之的是在ROI 池化层内将差异尺寸的特征向量池化成统一规格.在ROI 池化层内进行如下具体操作：基于H×W大小的子窗口分割h×w的感兴趣区域窗口，获取子窗口数量；
将目标特征矩阵作为全连接层以求取特征矩阵，目标特征矩阵可通过池化层求取各子窗口的方式获取[14].最后，在两个并行的全连接层内实施回归计算，获得网络输出.
EdgeBoxes 算法除了辅助完成Faster R-CNN 深度学习网络的样本图像目标建议提取工作以外，还具有精准选取图像候选框的作用[15].原理如下：基于EdgeBoxes 算法求取候选框内部边缘数量并据此信息排序，从实际的运动员目标检测需求出发考虑候选框排序情况，选取更为合理的候选框及样本图像目标建议区域，有效控制样本图像目标建议区域数量.
1.3 基于迁移学习策略的Faster R-CNN深度学习模型训练
在Faster R-CNN 深度学习检测模型训练阶段采用迁移学习策略，可解决海量参数训练学习消耗计算机内存大、识别分类能力差等问题[16]，显著提升篮球运动员目标检测的效率.迁移学习是对成熟且预训练好的网络模型参数实施监督与微调的一种策略，使原网络模型适用于新的目标检测的一种方式.本研究对象样本规模远远低于百万级数据库，可使用迁移学习的方式对改进Faster R-CNN 深度学习网络模型进行训练[17,18].具体采用Alex-Net 类型的深度卷积网络模型，包含8 层网络结构，在层次数量、检测精度和计算量方面均符合篮球运动员目标识别的要求.基于迁移学习策略的Faster R-CNN 深度学习网络模型训练的过程如图1.
分析图1 可知，基于迁移学习策略的改进Faster R-CNN 关键点在于：首先，模型训练之初须标定训练成熟的网络模型为迁移学习做准备；
其次，每次迭代须计算模型检测误差，符合条件即可终止迭代并输出检测结果.
图1 基于迁移学习策略的改进Faster R-CNN 深度学习网络模型训练过程
本文检测对象为篮球运动员属于小目标，基于上述过程描述最终改进Fast R-CNN 深度学习网络模型由以下部分构成：7 个卷积层、1 个ROI池化层和2 个全连接层（并行模式），两个并行全连接层负责求取多任务损失量，获取最终的篮球运动员目标检测结果.改进Faster R-CNN深度学习网络结构如图2.
图2 改进Faster R-CNN 深度学习网络结构
为验证本研究提出的改进Faster R-CNN 深度学习网络在篮球运动员目标检测中的实际应用效果，搭建仿真实验环境.实验开展步骤如下：首先，由篮球比赛现场图像构建篮球运动员目标检测的训练集与测试集，包含8 000帧彩色图像（训练集与测试集分别包含6 000帧和2 000帧），图像均符合深度学习算法学习与训练标准；
其次，标注图像中的运动员目标，基于百万级数据库训练成熟的网络作为初始化网络模型，基于此次目标检测的实际需求对网络模型实施微调与修正；
最后，在测试阶段求取崭新网络模型检测效果，循环迭代，当网络检测结果误差不大于预设值后输出.在方法测试阶段引入Fast R-CNN网络模型、R-CNN网络模型进行篮球运动员目标检测对比测试.
2.1 目标建议区域选择效果分析
平均绝对误差（Mean Absolute Error，MAE）可用于评估目标检测方法对目标建议区域的预测情况，将预测结果与实际标注结果对比即可求取检测方法的平均绝对误差，计算方法为
式（5）中：预测目标建议区域与实际标注结果分别用r和T表示；
二者宽度与高度分别用W和H表示.测试中记录三种目标检测方法的平均绝对误差与平均速度，不同目标检测方法的平均绝对误差统计如图3.
分析图3 可知：本文方法的目标建议区域精度明显优于传统Fast R-CNN 网络模型、R-CNN网络模型.随着篮球运动员目标检测数量的增加，本文方法MAE 曲线保持着相对平稳的上升趋势，当篮球运动员目标达到5 个时，其MAE 值仍不高于0.1；
R-CNN 网络模型在初始阶段MAE值上升较缓慢，当运动员目标达到3 个时，该模型MAE 值远超过Fast R-CNN 网络模型；
Fast RCNN 网络模型MAE 值始终保持上升趋势，检测目标建议区域的整体效果较差.不同目标检测方法的平均速度统计见表1.
图3 不同目标检测方法的平均绝对误差统计
表1 不同目标检测方法的平均速度统计
结合表1中平均速度统计情况可知，本文方法识别目标建议区域的用时最短，平均速度整体呈上升趋势，约在12～18 f·s-1之间；
R-CNN 网络模型、Fast R-CNN 网络模型最高处理速度仅分别为9、10 f·s-1，且两种传统网络模型平均速度没有显著的优化趋势.本文方法的平均检测速度远远超过传统算法，这是因为联合使用Gabor滤波器与EdgeBoxes 算法完成样本图像目标建议提取，前者通过频率与方向处理图像平滑与边缘提取问题，降低特征提取难度；
后者使用滑动窗口策略实现建议区域提取过程，设置ROI池化层不同尺寸的特征向量形成统一规格，EdgeBoxes 算法求取候选框内部边缘数量并据此排序，有效控制样本图像目标建议区域数量，节约计算机系统的内存消耗，有效减少算法的运行时间.
2.2 检测方法的目标召回率分析
召回率是评价目标检测方法的有效方式之一，可以直接考察目标检测方法的漏检情况.统计了三种目标检测方法的平均召回率，结果见表2.
表2 不同目标检测方法的平均召回率统计
由表2可知，处理101数量级的目标建议时，三种目标检测方法的初始平均召回率差距较小，本文方法稍微领先.观察整体趋势可知，R-CNN 网络模型平均召回率稳步提升，但最终平均召回率仅为0.56，不够理想，而且所需的目标数量级较大，对计算机系统运行造成一定的负担；
Fast R-CNN 网络模型的平均召回率与目标建议数量级的关系与前者方法一致，不同的是仅在102规模的目标建议数量级下便获取了R-CNN 网络模型在103目标建议数量级下的检测效果，检测效果略优于R-CNN 网络模型；
上述两种方法的特点是需要较大规模的目标建议数量才能获得较好的召回率，相比之下本文方法依赖的目标建议数量级较小，几千个目标建议支持下即可达到理想的召回率，满足篮球运动员目标检测的实际应用.
本文提出一种改进Faster R-CNN 算法用于篮球运动员目标检测.在仿真测试环节取得了较优的应用效果，平均召回率、检测精度较为理想，之所以效果显著是因为存在以下3点优势.
1）基于EdgeBoxes 算法提取篮球运动员样本图像目标建议区域，提取过程基于滑动窗口策略实现；
同时设定了ROI池化层，池化层将特征向量变换为统一规格，其作用是令训练过程输入图像的大小无需受限于固定尺寸.改进Faster R-CNN 深度学习网络ROI池化层有效避免了强制缩放图像尺寸导致的局部建议区域图像比例失真、细节丢失等问题.
2）改进Faster R-CNN 深度学习检测模型训练阶段采用迁移学习策略，优点是对成熟且预训练好的网络模型参数实施监督与微调令其适用于新的目标检测，无需重新训练深度学习模型，大量节省了篮球运动员目标检测的工作量与时间.
3）基于Gabor 滤波器实现篮球运动员图像特征提取，由于Gabor 函数是线性滤波器，擅长提取图像的边缘信息，因此基于Gabor滤波器更新卷积核为Faster R-CNN 深度学习网络构建新的卷积核，滤除输入篮球运动员图像的噪声和冗余信息，以获取输入图像的精确卷积特征图，保障了篮球运动员目标检测的准确度.
当前该方法在篮球运动员目标检测领域获得了一定的成效，但面对不断增大的图像数量级及目标检测的效率需求，该方法还需适时进行深度优化.未来关于篮球运动员目标检测的研究中将着重考虑目标识别的时效性问题，协助Faster R-CNN 算法快速得到有效目标信息，为篮球比赛队员行为追踪、战术分析和智能决策提供数据基础.
猜你喜欢滤波器卷积篮球基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02卷积神经网络的分析与设计电子制作(2019年13期)2020-01-14从滤波器理解卷积电子制作(2019年11期)2019-07-04开关电源EMI滤波器的应用方法探讨电子制作(2018年16期)2018-09-26篮球36计之瞒天过海NBA特刊(2018年14期)2018-08-13篮球幼儿100(2018年13期)2018-05-11基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20一种微带交指滤波器的仿真电子制作(2018年1期)2018-04-04篮球辉煌（中篇小说）文艺论坛(2016年23期)2016-02-28基于TMS320C6678的SAR方位向预滤波器的并行实现火控雷达技术(2016年2期)2016-02-06
