梁明晶，王 璐，温 昕，曹 锐
太原理工大学 软件学院，山西 晋中 030600
情绪识别是人脑高级认知功能之一。作为一个跨学科领域，情绪识别的研究得益于心理学、现代神经科学、认知科学和计算机科学的发展[1]。现阶段，基于脑电图（electroencephalogram，EEG）的情绪识别正成为该领域的研究热点。相比于其他无创探测脑结构、功能成像或信号技术，EEG具有很高的时间分辨率，从大脑皮层、情绪理论到脑机接口应用的研究都表明使用EEG进行情绪识别是非常可行的[2-4]。
在传统的基于EEG的情绪识别方法中，不同频段的EEG功率谱密度（power spectral density，PSD）是情绪识别中最为常用的统计特征[5-7]。而近年来研究表明，微分熵（differential entropy，DE）是反映情绪变化更稳定和准确的EEG特征[8-9]。例如，Pan等人[5]提取DEAP数据集全频段的PSD和DE特征，由SVM分类器获得的LV/HV情绪的分类的平均精度和标准偏差分别为69.04%/5.91%和77.17%/6.37%；
刘双[10]基于触觉和EEG融合的情感研究中，在不同频段上使用DE特征的分类准确率优于PSD和小波熵，在γ频段无触觉和有触觉状态下分别达到70.89%和75.23%。
由于很多研究人员认识到人体是一个非线性系统，由人体自发产生的EEG是一种非线性信号，从而将熵引入到基于EEG的情绪识别研究中，特别是样本熵（sample entropy，SampEn）在情绪识别任务中得到较多应用。Xiang等人[11]在DEAP数据集上基于SampEn对情感进行分类，在愉悦度和唤醒度准确率分别为80.43%和79.11%；
苏建新[12]使用SampEn对压力状态和平静状态进行情绪分类，分类准确率为77.8%。
但情绪活动涉及脑区间的交互和信息传递，研究人员尝试将脑功能连接特征引入情绪识别研究中。最小生成树（minimum spanning tree，MST）代表了网络中关键的信息流，避免了传统网络阈值选择等诸多争议问题，在脑网络研究领域展现出了潜在的优越性。例如，Farashi等人[13]利用脑功能连接中MST在DEAP数据集基于唤醒-效价空间象限进行情绪二元分类的系统性能高于80%；
Xing等人[14]利用MST改变动态脑电图连接组相空间特征进行社会焦虑的情绪调节。
使用单一特征可能丢失一些脑功能信息，认为不同类型的特征融合可以尽可能地涵盖情绪变化中大脑活动模式的变化。因此，为充分考虑特征的互补性，在DE基础上将分别提取非线性SampEn特征和功能连接MST属性获取更为丰富的EEG情感信息进行分类，以期达到更好的分类效果，为探索大脑认知机制提供新的研究思路。
1.1 实验数据
实验数据来自上海交通大学BCMI实验室提供的SEED-IV数据集[15]，包含由ESI神经扫描系统和SMI眼动追踪眼镜收集的15个被试的62通道脑电信号以及眼动信号。实验范式如图1所示。其中电影片段播放开始提示时间为5 s，电影片段约为2 min，看完电影后有45 s的自我评估时间。每个被试进行3次实验（即3个session），每次实验相隔一周。每次实验观看24个电影片段，电影片段包含快乐、悲伤、恐惧和中性4种情绪，每种情绪的电影片段为6个。
图1 SEED-IV数据集实验范式Fig.1 Experimental protocol in SEED-IV dataset
只使用62通道的脑电信号作为实验数据，原始脑电数据降采样至200 Hz，并使用1~75 Hz的带通滤波器过滤噪声、去除伪影。已有研究表明[16-17]，γ频段与情绪过程具有高度相关性，其能更好地揭示情绪认知控制机制。将处理得到的γ频段的脑电数据以4 s（800个采样点）为一非重叠段划分时间窗生成足够数量的样本用于情绪分类，时间窗个数视为样本个数。
1.2 特征提取
1.2.1 微分熵（DE）
DE用于衡量连续随机信号包含信息的总量，对于连续信号的概率密度分布中的不确定性进行统计。对于EEG时间序列X，已知其概率密度分布函数为P(x)，可以利用DE表示EEG序列复杂程度。随机变量的DE计算如公式（1）所示：
研究表明虽然原始EEG信号不满足某种特定概率密度分布函数，但是通过子频带分解，各子频带信号近似服从高斯分布x~N(μ,σ2)，EEG时间序列在固定子频带DE特征计算如公式（2）所示[9]：
本实验中计算DE特征使用公式（2），重点研究处理得到的γ频段的脑电数据。
1.2.2 样本熵（SampEn）
SampEn用以量化EEG时间序列波动规律性和不可预测性的非线性动力学参数，其基于ApEn进行相应改进克服对时间序列长度依赖的缺点，保证较短时间序列也能计算SampEn。具体计算过程如公式（3）~（8）所示：
（1）定义参数m与r，其中m为重构向量维度，r为相似容限。
（2）将时间序列{x(i),i=1,2,…,N}重构N-m+1个m维向量X(1),X(2),…,X(N-m+1)，其中X(i)=[x(i),x(i+1),…,x(i+m-1)],1≤i≤N-m+1。
（3）计算每个向量与其他N-m个向量之间的距离d[Xm(i),Xm(j)]。将计算所得N-m个距离与给定相似容限r进行比较，当计算所得距离小于相似容限r时认为两个向量相似，满足条件的向量个数记为Bm
i(r)，计算过程如公式（3）所示：
（4）求Bmi(r)对所有i的平均值，记为Bm(r)，Bm(r)的计算过程如公式（4）所示：
（5）将时间序列重构为m+1维向量，重复上述步骤，根据公式（5）得到Bm+1(r)：
其中(r)计算过程如公式（6）所示：
则EEG时间序列SampEn可由公式（7）计算得到：
实际计算过程中N不可能为无穷，当N为有限值时，SampEn的计算如公式（8）所示：
本实验计算EEG时间序列过程中，m设置为2，r设置为0.2 SD（SD为EEG时间序列的标准差）。
1.2.3 最小生成树（MST）
以脑电节点作为脑网络的节点，相位滞后指数（phase lag index，PLI）通过衡量脑电节点间的依赖关系作为脑网络的边，计算功能脑网络关联矩阵，然后采用算法效率更快的Kruskal算法得到MST。此过程将脑网络所有的连接权重从最低权重排序到最高权重，首先断开所有节点的连接，其次添加权重最高的连接，接下来添加权重第二高的连接，并重复此过程，直到所有节点都处于同一个连通图中，并且没有形成闭环。
为了更好地衡量MST的结构，计算了如表1所示的常用6种度量指标[18]，分别是节点度（degree）、直径（diameter，Dia）、离心率（eccentricity，Ecc）、叶子分数（leaf fraction，Lf）、中间中心度（betweenness centrality，BC）、树层次（tree hierarchy，Th）。
表1 MST属性的常用度量指标Table 1 Common metrics for minimum spanning tree attributes
1.2.4 特征融合与选择
从不同的EEG中提取了大量特征，将所有提取的特征矩阵使用串行拼接的融合方式构建新的特征向量。其融合特征计算过程如公式（9）~（12）所示：
其中，Di代表第i个样本的DE特征，Mi代表第i个样本的MST属性（上述6个度量指标拼接得到），Si代表第i个样本的Sampen特征，Yi代表融合特征，由Di、Mi和Si串行拼接得到。
每种特征对情绪最终的影响不尽相同，为了提高特征敏感性，正确地对每种情绪进行分类，使用双样本T检验（sample t-test）来选择合适且重要的特征。其权重基于sample t-test的绝对值和合并方差估计，计算过程如公式（13）所示：
其中，W(i)是特征i的权重，m是特征均值，Nx是情绪类别中的样本数量，mx和σx2是预期特征中的情绪分类的均值和方差。本实验选择特征时，将权重临界值设为0.05，如果小于0.05，则视为显著，反之不显著。
1.2.5 分类方法
SVM分类器通常是通过建立超平面，尽可能区分正反例来解决两类问题。本文使用LIBSVM[19]工具包对脑电不同情绪进行分类，通过训练样本和相应的标签、核函数和惩罚因子构建用于测试样本的决策函数。同时，使用五折交叉验证尽可能地避免过拟合。
2.1 基于单特征的情绪分类
为了研究不同类型特征对脑电情绪分类的影响，选取第一次实验采集的脑电情绪数据（即1个session），将其快乐、悲伤、恐惧和中性4种情绪的EEG信号进行两两对比实验共设计6组，分别采用DE、MST、SampEn作为SVM分类器的输入向量并得出分类结果，分类结果如表2所列。
表2 单特征的情绪分类结果Table 2 Sentiment classification results with single feature 单位：%
结果表明，DE特征的分类效果要明显优于MST和SampEn，其平均分类准确率为77.86%，而MST属性的平均分类准确率仅为52.47%，SampEn特征的平均分类准确率为60.34%。这可能是因为高频特征与情绪处理的关联更大，而DE特征对于大脑情绪的高频特征具有一定程度上的平衡作用[20]，使高频特征的作用变得更强，进而更容易被有效区分，因此推测DE特征相较其他两种特征更适用于EEG的情绪分类。而且，较Zheng等人[15]在同一数据集采用DE特征达到70.58%的平均分类准确率，本文经sample t-test特征选择之后平均分类准确率提升了7.28个百分点，这说明提取的原始特征包含的冗余信息可能会影响情绪的分类。
2.2 基于多特征的情绪分类
为了进一步验证特征之间互补性在脑电情绪分类中的作用，在上述实验基础上，分别将MST、SampEn与DE进行多特征融合后作为SVM分类器的输入向量并得出分类结果，其中，DE+MST平均分类准确率为83.07%，DE+SampEn平均分类准确率为81.87%，MST+SampEn平均分类准确率为61.92%，DE+MST+SampEn平均分类准确率为84.58%。分类结果如表3所列。
表3 多特征的情绪分类结果Table 3 Sentiment classification results with multiple features 单位：%
对比表2和表3，可以发现相较于单特征分类结果，以DE特征作为融合时基准特征的多特征融合后的分类准确率均有明显提高。相比于使用MST属性的分类效果提升最高，高达30.6和32.11个百分点，而相比使用SampEn特征分类准确率提高了21.53和24.24个百分点。而简单的MST和SampEn融合效果也有所提升，其分类准确率分别提升9.45和1.58个百分点。虽然单独的MST属性和SampEn特征情绪分类效果不太理想，但通过特征融合后改善了分类结果，说明两者均包含表征情绪的有效信息，而利用不同特征对情绪状态表征特性的互补性能有效提高最终的分类效果[15]。综上结果也说明将脑功能连接特征引入情绪识别研究中是有效的。
图2展示了不同特征及其融合的分类结果，可以发现，DE+MST+SampEn分类效果最好，DE+MST和DE+SampEn相差不大，而MST+SampEn小幅提升。这可能是因为，DE是一种衡量复杂性的有效方法，可以稳定地描述EEG特征，适用于情绪解码和分类[21]。而在脑网络中，大脑功能被认为是由几个信息处理节点的同步活动产生的，MST可有效用于大脑特定行为（如对情绪刺激的感知）背后的主干结构，它允许在情绪处理任务期间研究大脑的动态状态，有助于理解大脑网络复杂性在情绪状态之间转换时的变化方式[13]。人体又是一个非线性动力系统，人体自发产生的EEG是非线性的，SampEn作为一种非线性特征可以用来衡量EEG的复杂程度，有效表征EEG情绪变化中更多的非线性信息[22]。将上述不同类型的脑电特征融合后，其在情绪处理过程中能够相互作用，从而蕴含了EEG中更为丰富的情绪信息，这说明提取的DE、MST、SampEn三者之间存在互补性，同时验证了多特征融合对脑电情绪分类的有效性。
图2 不同特征及其融合的分类结果Fig.2 Classification results of different features and fusion
2.3 重复测量实验
为进一步验证本方法的有效性与稳定性，对被试在不同时间段做3次实验采集的脑电情绪数据进行重复实验，图3展示不同特征及其融合在不同实验中的分类结果，每一列代表一种特征或者一种融合特征，从左至右依次是DE、MST、SampEn、DE+MST、DE+SampEn、MST+SampEn、DE+MST+SampEn，每一行代表一次实验，从上至下依次为1、2、3，颜色代表了平均分类准确率，越接近红色代表平均分类准确率越高，越接近紫色代表平均分类准确率越低。
图3 不同特征及其融合在不同实验中的分类结果Fig.3 Classification results of different features and fusion in different experiments
结果表明，每种特征及其融合在不同实验中的平均分类准确率没有较大差异，在3次实验中总体分别呈现绿色、紫色、蓝色、浅蓝色、橘色、橘黄色、橘红色。这说明采集期的EEG随情绪变化的模式是稳定的，即利用EEG对同一被试进行情绪分类是可以重复的，这与之前的研究结果是一致的[23]。而在相同实验中，不同特征及其融合的平均分类准确率有较大的差异，相较于单独的DE、MST、SampEn，MST+SampEn、DE+MST、DE+SampEn更接近红色，平均分类准确率更高，但平均分类准确率最高的为DE+MST+SampEn，其颜色趋近红色。这与2.2节所述结果一致，再次验证了多特征融合对脑电情绪分类的有效性。
本文提出了一种基于多特征融合的脑电情绪分类新方法。具体地说，首先对EEG的DE、功能连接MST和非线性SampEn特征进行提取，然后结合sample t-test检验算法进行特征选择去除冗余。最后，使用SVM进行情绪分类。实验结果表明，与基于单一特征的情绪分类相比，本文提出的多特征融合方法在准确率方面取得了更好的性能，而且发现不同时间段内的EEG随情绪变化的模式是稳定的。但本文仅在传统的机器学习模型上予以讨论，结合卷积神经网络、循环神经网络等深度学习算法模型还有待研究。另外，多模态生理信号携带的特征信息具有互补性，在将来的研究中基于多模态生理信号进行情绪识别也有望得到更好的分类效果。
猜你喜欢脑电准确率公式组合数与组合数公式新高考·高二数学(2022年3期)2022-04-29排列数与排列数公式新高考·高二数学(2022年3期)2022-04-29乳腺超声检查诊断乳腺肿瘤的特异度及准确率分析健康之家(2021年19期)2021-05-23不同序列磁共振成像诊断脊柱损伤的临床准确率比较探讨医学食疗与健康(2021年27期)2021-05-132015—2017 年宁夏各天气预报参考产品质量检验分析农业科技与信息(2021年2期)2021-03-27等差数列前2n-1及2n项和公式与应用中学生数理化(高中版.高二数学)(2020年11期)2020-12-14高速公路车牌识别标识站准确率验证法中国交通信息化(2018年5期)2018-08-21例说：二倍角公式的巧用中学生数理化·高一版(2018年6期)2018-07-09现代实用脑电地形图学(续)现代电生理学杂志(2016年3期)2016-07-10现代实用脑电地形图学(续)现代电生理学杂志(2016年4期)2016-07-10
