Hinge损失函数(SVM)【图文详解】

今天爱分享给大家带来Hinge损失函数(SVM)【图文详解】,希望能够帮助到大家。
在机器学习算法中,hinge损失函数和SVM是息息相关的。在线性支持向量机中,最优化问题可以等价于下列式子:

Hinge损失函数(SVM)【图文详解】插图

下面来对式子做个变形,令:

Hinge损失函数(SVM)【图文详解】插图(1)

于是,原式就变成了:

Hinge损失函数(SVM)【图文详解】插图(2)

如若取Hinge损失函数(SVM)【图文详解】插图(3),式子就可以表示成:

Hinge损失函数(SVM)【图文详解】插图(4)

可以看出,该式子与下式非常相似:

Hinge损失函数(SVM)【图文详解】插图(5)

前半部分中的ll就是hinge损失函数,而后面相当于L2正则项。

Hinge 损失函数的标准形式

Hinge损失函数(SVM)【图文详解】插图(6)

可以看出,当|y|>=1时,L(y)=0。

补充一下:在libsvm中一共有4中核函数可以选择,对应的是-t参数分别是:
0-线性核;
1-多项式核;
2-RBF核;
3-sigmoid核。

如此,SVM有第二种理解,即最优化+损失最小,或如@夏粉_百度所说“可从损失函数和优化算法角度看SVM,boosting,LR等算法,可能会有不同收获”。

人已赞赏
Python

指数损失函数(Adaboost)【图文详解】

2020-12-24 15:34:58

Python

0-1损失函数【图文详解】

2020-12-24 15:39:15