互联网 qkzz.net
全刊杂志网:首页 > 女性 > 文章正文
刊社推荐

基于光滑Ramp损失函数的健壮支持向量机


□ 孙汪泉 王 磊

  摘要:提出一种新型的基于光滑Ramp损失函数的健壮支持向量机,能够有效抑制孤立点对泛化性能的影响,并采用CCCP将它的非凸优化目标函数转换成连续、二次可微的凸优化。在此基础上,给出训练健壮支持向量机的一种Newton型算法并且分析了算法的收敛性质。实验结果表明,提出的健壮支持向量机对孤立点不敏感,在各种数据集上均获得了比传统的SVMlight算法和Newton-Primal算法更优的泛化能力。
  关键词:支持向量机; 光滑Ramp损失函数; 原始空间; 凹凸过程
  中图分类号:TP18文献标志码:A
  文章编号:1001-3695(2008)06-1676-03
  
  支持向量机是现代机器学习理论的最新研究进展之一,具有泛化能力强、维数不敏感等特点,已经在模式识别和回归分析等领域表现出优异的性能[1]。迄今为止,理论界已经针对SVMs的对偶优化和原始优化问题提出了多种有效的求解方法,如SVMlight算法[2]和Newton-Primal算法[3]等。然而,软间隔SVMs对训练样本中的孤立点非常敏感,本质原因是采用L1损失函数时孤立点所产生的间隔损失最大,从而在确定SVMs的决策超平面位置时所起到的作用也最大。因此,SVMs的泛化性能必然受到它们的影响而降低。近年来,更为健壮的Ramp损失函数受到了广泛的研究[4,5]。该函数明确限制孤立点所能造成的最大损失,直接抑制它们对决策超平面的影响。但是,Ramp损失函数同时也导致了优化目标的非凸性,使得大多数传统的凸优化方法不能直接用于求解SVMs[6]。
  
  1健壮支持向量机
  
  实际上,上述UCI数据集中由于普遍存在类别重叠,因而固有地包含一些误分类样本(图1中的z≤1的样本),任何分类算法都不能将它们完全正确地分类。鉴于许多误分类样本存在于图1中的B3区域,它们对决策超平面具有同孤立点类似的负面影响。这样,由于Hinge损失对孤立点敏感,使得Newton-Primal和SVMlight算法的泛化误差率较高。相反,本文提出的健壮支持向量机方法采用了不敏感的光滑Ramp损失函数,能够抑制孤立点对决策超平面的影响,因而获得了更低的泛化误差率。
  
  4结束语
  
  本文提出一种光滑Ramp损失函数,并将其应用到SVMs的原始优化问题,得到了新型的对孤立点样本的不敏感的健壮支持向量机;通过CCCP过程[7]克服新优化目标的非凸性,获得它的连续、二次可微的凸优化形式;给出一种Newton型算法对其进行求解并且分析了算法的收敛性质。基于多个数据集的实验结果表明,提出的健壮支持向量机方法对孤立点样本不敏感并且获得了更优的泛化性能。
   ......
很抱歉,暂无全文,若需要阅读全文或喜欢本刊物请联系《计算机应用研究》杂志社购买。
欢迎作者提供全文,请点击编辑
分享:
 

了解更多资讯,请关注“木兰百花园”
分享:
 
精彩图文


关键字
支持中国杂志产业发展,请购买、订阅纸质杂志,欢迎杂志社提供过刊、样刊及电子版。
关于我们 | 网站声明 | 刊社管理 | 网站地图 | 联系方式 | 中图分类法 | RSS 2.0订阅 | IP查询
全刊杂志赏析网 2017