以下为《核函数的定义及其作用》的无排版文字预览，完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。

1.核函数的定义及其作用

核函数一般是为了解决维度过高导致的计算能力不足的缺陷，实质就是特征向量内积的平方。为什么会提出核函数： 一般我们在解决一般的分类或者回归问题的时候，给出的那个数据可能在低维空间并不线性可分，但是我们选用的模型却是在特征空间中构造超平面，从而进行分类，如果在低维空间中直接使用模型，很明显，效果必然会大打折扣。

 但是！如果我们能够将低纬空间的特征向量映射到高维空间，那么这些映射后的特征线性可分的可能性更大，

由此我们可以构造映射函数，但问题随之而来了，维度扩大，那么随之而言的计算成本就增加了，模型效果好了，但是可用性降低，那也是不行的。于是有人提出了核函数的概念，可以在低维空间进行高维度映射过后的计算，使得计算花销大为降低，由此，使得映射函数成为了可能。

举个简单的例子吧，假设我们的原始样本特征维度为2，将其映射到三维空间，随便假设我们的映射函数为f(x1,x2) = (x1^2, x2^2, 2*x1*x2)，那么在三维空间中，样本线性可分更大，但是向量内积的计算开销从4提高到9，再看对于样本n1=(a1,a2)，n2=(b1,b2)，映射到三维空间之后，两者的内积I1为：a1^2 * b1^2 + a2^2 * b2^2 + 4 * a1 * a2 * b1 * b2，此时，又有，n1,n2在二维空间中的内积为：a1b1 + a2b2，平方之后为I2:a1^2 * b1^2 + a2^2 * b2^2 + 4 * a1 * a2 * b1 * b2，此时 I1 和 I2 是不是很相似，只要我们将f(x1,x2)调整为： (x1^2, x2^2, 根号(2*x1*x2) ) ，那么此时就有I1 = I2，也就是说，映射到三维空间里的内积，可以通过二维空间的内积的平方进计算！

2.核函数作用

（1）线性核函数

使用了核函数后，相当于把原来的数据，映射到一个高维空间（在相对低维度的空间中难分类的样本，很可能在映射到高维空间后用线性分类器就可以分开）。而在SVM中使用核函数，我理解是替换了SVM中衡量内积的方式(x*z)为K(x,z)，以此来达到映射的目的的。

（2）多项式核函数

在基于核的分类问题中,核函数及其参数选择皆对分类结果具有重要影响,通常基于经验选择核函数或基于多核优化方法确定核函数的权系数。针对GF空间的多项式核函数,在范数限定条件下利用多核学习方法优化多项式权系数,实现多项式核函数的优化。实验结果表明,算法优化得到的多项式核函数其分类性能优于常用的单核函数,与多核相当,并在分类中取得良好的效果。

（3）高斯径向基核函数所谓径向基函数?(Radial?Basis?Function?简称?RBF),?就是某种沿径向对称的标量函数。通常定义为空间中任某某x到某一中心xc之间欧氏距离的单调函数?,?可记作?k(||x-xc||),?其作用往往是局部的?,?即当x远离xc时函数取值很小。高斯核函数?-?常用公式最常用的径向基函数是高斯核函数?,形式为?k(||x-xc||)=exp{-?||x-xc||^2/(2*σ)^2)?}?其中xc为核函数中心,σ为函数的宽度参数?,?控制了函数的径向作用范围。

3．实现（代码见文件夹）

/ /

4. 支持向某某（SVM）

拟合的不是一条线，而是两条平行线，且这两条平行线宽度尽量大，主要关注距离车道近的边缘数据点（支撑向量support vector），即large margin classification——上图右

/

使用前，需 内容过长，仅展示头部和尾部部分文字预览，全文请查看图片预览。 O(m*n))

SVM Regression（SVM回归）

尽量让所用instance都fit到车道上，车道宽度使用超参数/控制，越大越宽

使用LinearSVR

fromsklearn.svmimportLinearSVRsvm_reg = LinearSVR(epsilon=1.5)svm_reg.fit(X, y)

使用SVR

fromsklearn.svmimportSVRsvm_poly_reg = SVR(kernel="poly", degree=2, C=100, epsilon=0.1)svm_poly_reg.fit(X, y)

/

支持向某某的实现（代码见文件夹）

/

[文章尾部最后300字内容到此结束,中间部分内容请查看底下的图片预览]

以上为《核函数的定义及其作用》的无排版文字预览，完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的，下载的文档就是什么样的。