支持向量机在柴油机尾气分析中的核模型选择

摘 要：研究支持向量机（SVM）中常用核函数及其参数对分类效果的影响。在此基础上，联系柴油机尾气数据，应用交叉确认法（CV）得到在该数据集下拥有不同常用核函数的SVM的最优参数，及在最优参数下SVM的三个性能指标，即对训练集的交叉确认准确率、对测试集的分类准确率和寻优时间。对比各性能指标，结果表明：对于柴油机尾气数据，径向基核函数模型所对应的训练集交叉确认准确率最高，而其测试集分类准确率最低；线性核函数模型的寻优时间最短。综合考虑SVM的学习能力、外推能力及寻优时间，决定选择线性核函数作为SVM在柴油机尾气分析中的核模型。

关键词：支持向量机；尾气分析；核函数；柴油机；交叉确认法

中图分类号：TP312；TK428 文献标识码：A

The Nuclear Model Selection of SVM in the Analysis of Diesel Engine Exhaust Emissions

GAO Yang，LI Guozhang

(Department 1，Ordnance Engineering College , Shijiazhuang 050003, China)

Abstract:The effect of ordinary kernels and their parameters of the Support Vector Machine (SVM) on classification are researched. Then, use Cross-Validation (CV) to obtain the optimum parameters of SVM with different ordinary kernel on the diesel engine exhaust emissions data, and 3 performance indexes of SVM, the CV accuracy on training data and the classification accuracy on testing data as well as the parameter optimizing time, under the corresponding optimum parameters respectively. Comparing the same type indexes, the results are, for the diesel engine exhaust emissions data, the RBF kernel model has higher accuracy than other models at the first index, but the lower one at the second; the Linear kernel model takes shorter time on parameter optimizing than other ones. Considering the learning and extrapolating ability as well as the parameter optimizing time, linear kernel is determined to be used in SVM in the analysis of diesel engine exhaust emissions.

Key words:SVM; analysis of exhaust emissions; kernel; diesel engine; CV

1 引 言

近年来，随着人们对车辆尾气排放的关注，相关的研究也开始活跃起来。部分研究者将研究目的设定为检查并控制车辆的尾气排放，其目标为设计出尾气测试及控制方法［1］。而另一部分研究者［2］则将研究的重点放在通过车辆的尾气排放情况来判断车辆的故障情况。本文的研究即是后一类研究中的部分工作，即通过采集的尾气排放数据判断柴油机对应的故障类型。

本文采用支持向量机对采集样本进行判断，识别其所属的故障类型。但对于支持向量机最优参数的确定，到现在还没有统一的标准和方法可循［3］。而且，支持向量机的最优参数的获得，不仅与包括核函数在内的支持向量机本身性能有关，同时还与所利用的训练样本有关，这无疑加大了参数寻优的难度。本文拟在对支持向量机参数，特别是核函数及其各参数，对分类效果的影响作一定分析的基础上，通过实验对比，为支持向量机在柴油机尾气分析上的应用选择合适的核模型。

2 核模型及其对分类的影响

求解非线性支持向量机的二分类问题，就是解决下列凸二次规划问题［4］：

И┆min α12∑mi=1∑mj=1yiyjK(xi,xj)│联i│联j－∑mj=1│联j

s. t：0≤│联i≤C, i = 1,2,…,m

∑mi=1yi│联i=0其中，训练集T={（x1,y1）,（x2,y2）,…, (xm,ym)} ∈(Rn×У)m,

xi∈ Rn,yi∈У={-1，1}，i = 1,2,…,m

K(xi,xj)为核函数。

由上式的解│联唱┆=(│联唱1,│联唱2,│联唱3...)T可得到判别函数

f(x)=sgn(g(x)).

从上面的式子可以看出，在支持向量机中，我们仅需确定参数C和核函数即可完成分类模型的建立。经过仿真发现，这两者中核函数的作用尤为关键。

目前,在工程上常用的核函数有线性核函数、多项式核函数、径向基核函数及sigmoid核函数［5］。当然，也有针对具体数据集构造的核函数［6］。虽说这样的核函数具有更好的分类效果，但针对特定数据集专门构造核函数无疑增大了工程应用的复杂性。而且在实际中，选择适当的常用核函数相对于构造的核函数对数据集的分类效果相差不大。所以，通常情况下，我们都是选用常用核函数。但在应用上，各常用核函数也具有各自不同的特点，这些特点从支持向量机的分类效果和运算速度等方面得以表现。下面本文针对各常用核函数的特点对其进行简要的介绍。

线性核函数是一种最基本的常用核函数，其表达式为K(xi,xj)= xirxj，其中，xi,xj∈Rn。运用此核函数的情况为，训练集在样本空间中便可以进行线性分划。同时，在保证分类效果的前提下，若使用线性核函数，可以有效地提高计算速度和分类效率。但当训练集在样本空间是不可分的，或类别标签与特征之间的关系为非线性关系时，线性核函数就不能达到预期的分类效果了。

多项式核函数也是较常用的一种核函数，其表达式为K(xi,xj)=│(xi,xj)+rd, 其中xi,xj∈Rn，κ∈R+，r∈R，d∈Z+。多项式核函数可以将训练样本映射到高维空间，使其在特征空间中能够被线性分划。根据仿真实验知道，多项式核函数具有较好的外推能力，且随着阶数d的降低，其外推能力增强，而学习能力则会随之下降；相反，若果阶数d升高，则其学习能力会升高，甚至产生过拟合现象，同时也会增大系统的复杂性，降低运算速度。此外，多项式核函数有三个参数需要确定，相对其他核函数显得复杂了些，这在一定程度上影响了它的使用率。

径向基核函数是用的最多的一种核函数，其表达式为K(xi,xj)=e－{xi－xj22│要2}，其中xi,xj∈Rn，σ∈R。根据文献［7］［7］可知线性核函数和多项式核函数是径向基核函数的特殊情况。同时根据［8］［8］可知，在某些参数情况下，sigmoid核函数和径向基核函数具有相似的性能。同而且，径向基核函数只有一个参数σ，相对其他核函数而言显得更易掌握。所以该核函数在实际中使用率最高。虽说径向基核函数只有一个参数，但这个唯一的参数对支持向量机的性能却有着很大的影响。选择不同的σ就相当于将样本映射到不同的特征空间中，即对σ的选择就是对特征空间的选择。同时通过实验发现，随着σ的减小，SVM的学习能力加强，局部效应［9］加重。当σ很小时产生过学习现象，此时所有的训练样本都被认为是支持向量，这将加大计算量，在训练样本较多时尤为明显。同时，随着σ的减小，SVM的外推能力会随之降低。与此相反，随着σ增大时，SVM的学习能力降低。当σ很大时，产生欠学习现象，此时SVM会将所有的样本都归为同一类。因此，在对σ的选择中，应该兼顾SVM的学习和外推能力，选取恰当的σ值，使样本在特征空间中能比较容易地实现线性划分，同时简化计算。

Sigmoid核函数源于神经网络，其表达式为K(xi,xj)= tanh (κ(xi,xj)+r)，其中xi,xj∈Rn，κ∈R+，r∈R。此函数需要符合一些条件才能满足作为核函数的要求，这在一定程度上影响了它的应用。

由本节可知，支持向量机仅需要确定参数C和核函数就可完成分类模型的建立。本文上面对常用核函数及其参数对分类效果的影响做了简要的介绍，接下来就对参数C的影响效果做一简要介绍。

参数C是误差惩罚系数，它能够使模型在复杂度和训练误差间取得折中［10］，使模型具有较好的学习及外推能力。当C较小时，对样本误判的惩罚就较小，从而使训练误差变大，当系统对新的样本进行分类时，错分率就会较高。当C过大时，系统对训练样本误判的惩罚就很大，这样系统对训练样本的错分率很小，但对新样本的错分率却很大。所以，对于C的选择，不宜过大，也不宜过小，应该根据计算取得最优值，以使模型的学习能力及外推能力达到协调。

对于核函数参数及C的选取，现在常用的方法为k折交叉确认法（k-CV），其基本思想为：将所有训练点随机分成k个互不相交且大小近似的子集，每个子集扮演一次测试集，然后进行k次训练和测试。将每次测试的错误点个数相加再比上全部测试样本个数得到本算法的错误率, 1减去错误率即得到交叉确认的准确率。根据计算得到的交叉确认准确率大小来判断包括核函数在内的各参数的取值最优点。本文对于柴油机尾气分析中的最优参数确定也将采用这个办法。

3 柴油机尾气分析中的参数优化及核模型

分析

3.1 数据情况

本文的数据来源为对F3L912柴油机的四种模拟故障状态下的尾气测试数据。所谓模拟，即是在实验室条件下，人为地设置相应故障。柴油机的主要技术参数见表1，相应故障的类别标号如表2。

测试中的数据属性包括HC（碳氢化合物）、NO（氮氧化合物）、O2、CO、CO2和光吸收系数K值，它们在样本中的排列顺序及各自的单位如表3。

为了方便计算，本文仅选取柴油机在转速为800转/分左右，空载条件下处于各故障状态下的尾气排放的部分数据作为训练及测试样本。现将柴油机在该转速状态下测试所得的尾气排放数据列于图1。

(1)为低压油路进气故障

(2)为单缸高压油管漏油故障

（3）为单缸失火故障

（4）为进气严重堵塞

图1 怠速工况下柴油机在各故障状态下的尾气排放属性值变化

在各故障状态数据中分别选取50个样本点（随机抽取），连同其对应标号组成一个具有200个样本点的训练集T1，然后再在剩下的各样本中分别选取10个样本点（随机抽取），连同其对应标号组成一个具有40个样本点的测试集T2。本文通过训练集来建立模型并判断模型的学习能力，而通过测试集来判断模型的外推能力。在综合考虑模型的学习及外推能力和参数寻优时间后，再最终确定选择哪种核函数。对于各模型的参数，本文通过对训练集采用上节提到的交叉确认法（CV）获取，且对各模型均采用5折交叉确认法。

3.2 参数优化及对比

首先，本文运用线性核函数模型对T1进行交叉确认，以得到在此核函数下针对训练集的最优参数，其训练结果如图2。Accuracy表示的是对训练集的交叉确认准确率，这体现了模型的学习能力。从图中可以看出，在C为0.0625时，Accuracy首次达到最大，且其参数寻优耗时0.42s。

图2 应用线性核函数的训练效果

其次，本文运用多项式核函数模型对T1进行交叉确认，在此令κ=1，r=0，其训练结果如图3。从图中可以看出，在C为0.0068，阶数d为2时，对训练集的交叉确认准确率首先达到最大，且其参数寻优耗时695.95s。

图3 应用多项式核函数的训练效果

再次，运用径向基核函数模型对T1进行交叉确认，其训练结果如图4。从图中可以看出，在C为9.1896，12│要2=g=0.1088时，对训练集的交叉确认准确率首次达到最高，且其参数寻优耗时16.14s。

图4 应用径向基核函数的训练效果

最后，运用sigmoid核函数模型对T1进行交叉确认，在此令r=0，其训练效果如图5。从图中可以看出，当C为10000，κ=g=1.5849×10-5时，对训练集的交叉确认准确率首次达到最高，且其参数寻优耗时22.16s。

图5 应用sigmoid核函数的训练结果

现将使用不同核函数模型的CV结果列于表4。从表中可以看出，各核函数模型对训练集的交叉确认准确率都比较高，这也说明了CV方法的有效性。

3.3 模型的对比分析

对比表4和表5发现，针对柴油机尾气数据，各常用核函数用于支持向量机中都有不错的性能表现，主要体现在他们的学习和外推能力上。其中，径向基核模型对训练集的交叉确认准确率甚至达到了100%，其他核模型也都达到了99%。而在测试中，径向基核模型相对其它模型稍欠缺，但各模型实际效果差别都不是太大。从参数寻优时间上看，多项式核模型所用的时间远远多于其它核模型，而线性模型表现优越，其运算时间远短于其它核模型。

4 结 论

综合以上的对比，对于柴油机尾气数据的分析，相对于其它常用模型，线性核函数模型具有更好的综合性能，主要体现在其不错的学习及外推能力和最短的寻优时间上。这说明，原尾气数据在样本空间中就有较好的线性可分性，若将样本映射到特征空间中，不仅使分类更加复杂，而且还不一定有利于分类精度的提高。达到这个结论后，我们再反观样本数据图1。从图中可以看到，各故障模式在设定转速下的排放数据在分布（主要在变化趋势和各属性值的数量级）上本身就各有特点，而且差别较明显，这也解释了线性核模型能够较好地完成分类的原因。综上所述，在用支持向量机通过尾气数据判断柴油机故障模式时，宜选用线性核模型。

参考文献

［1］刘巽俊. 内燃机的排放与控制［M］. 北京：机械工业出版社，2003.

［2］ 滕飞. 基于灰靶理论和排放分析的柴油机状态评估［J］. 车用发动机，2009,1:74-76.

［3］ 贾志杰. 基于支持向量机的柴油机燃油系统故障诊断［J］. 四川兵工学报，2008,8:12-14.

［4］ 邓乃扬, 田英杰. 支持向量机-理论、算法与拓展［M］. 北京：科学出版社，2009.

［5］ GUSTAVO C V, LORENZO B. Kernelbased methods for hyperspectral image classification ［J］. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43：52-55.

［6］ 吴涛. 核函数的性质、方法及其在障碍检测中的应用［D］.长沙：国防科学技术大学，2003.

［7］ KEERTHI S S, LIN C J. Asymptotic behaviors of support vector machines with gaussian kernel ［J］. Neural Computation, 2003, 15(7): 1667-1689.

［8］ LIN H T, LIN C J.A Study on sigmoid kernels for SVM and the Training of non-PSD kernels by SMO-type Methods ［D］. Taipei: Department of Computer Science and Information Engineering, National Taiwan University, 2003.

［9］ CHRISTIAN W, BARBARA C, ARNULF G. Recognition with local feature: the kernel recipe ［C］. Proceedings of the Ninth IEEE International Conference on Computer Vision, 2003.

［10］AZHANG Y, CHI Z X, LIU X D, WANG X H. A novel fuzzy compensation multi-class support vector machine ［J］. Applied Intelligence, 2007, 27: 21-28

注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文