SVM优缺点

本文由用户“cairuichun”分享发布 更新时间:2021-07-16 05:45:33 举报文档

以下为《SVM优缺点》的无排版文字预览,完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

SVM有如下主要几个优点:

(1)SVM 是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法。从本质上看,它避开了从归纳到演绎的传统过程,直接用此空间的内积函数(既是核函数),再利用在线性可分的情况下的求解方法直接求解对应的高维空间的决策问题,实现了高效的从训练样本到预报样本的“转导推理”,大大简化了通常的分类和回归等问题。

(2)非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射;对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法的核心;支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。SVM的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了“维数灾难”。

(3)少数支持向量决定了最终结果,这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单,而且具有较好的“鲁某某”性。这种“鲁某某”性主要体现在:

①增、删非支持向量样本对模型没有影响;

②支持向量样本集具有一定的鲁某某性;

③有些成功的应用中,SVM 方法对核的选取不敏感

(4)它基于结构风险最小化原则,这样就避免了过学习问题,泛化能力强。

(5)它是一个凸优化问题,因此局部最优解一定是全局最优解的优点。SVM解决了分类问题,线性可分自不必说。在线性不可分情况下,利用一个余某某。在非线性情况下,利用核函数,将低维非线性转化为高位 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 。

(3)空间和时间代价

SVM的空间消耗主要是存储训练样本和核矩阵。对于每个高维空间在此空间的映射F,如何确定F也就是核函数,现在还没有合适的方法,所以对于一般的问题,SVM只是把高维空间的复杂性的困难转为了求核函数的困难。而且即使确定核函数以后,在求解问题分类时,要求解函数的二次规划,这就需要大量的存储空间

SVM的时间消耗《A Tutorial on Support Vector Machines for Pattern Recognition》1998KluwerAcademicPublishers,Boston,训练计算复杂度在O(Nsv^3+LNsv^2+d*L*Nsv)和O(d*L^2)之间,其中Nsv是支持向量的个数,L是训练集样本的个数,d是每个样本的维数(原始的维数,没有经过向高维空间映射之前的维数)。总的来讲,SVM的SMO算法根据不同的应用场景,其算法复杂度为~N 到~N^2.2之间,而chunking scale的复杂度为~N^1.2 到~N^3.4之间。一般SMO比chunking算法有一阶的优势。线性SVM比非线性SVM的smo算法要慢一些。所以,据原著论文的测试,SMO算法,在线性svm上快1000倍,在非线性上快15倍。对于SVM的SMO算法的内存需求时线性的,这使得其能适用比较大的训练集。所以,如果数据量很大,SVM的训练时间就会比较长,如垃圾邮件的分类检测,没有使用SVM分类器,而是使用了简单的naive bayes分类器,或者是使用逻辑回归模型分类。

[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]

以上为《SVM优缺点》的无排版文字预览,完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

图片预览