今天爱分享给大家带来Hinge损失函数(SVM)【图文详解】,希望能够帮助到大家。
在机器学习算法中,hinge损失函数和SVM是息息相关的。在线性支持向量机中,最优化问题可以等价于下列式子:
下面来对式子做个变形,令:
于是,原式就变成了:
如若取,式子就可以表示成:
可以看出,该式子与下式非常相似:
前半部分中的ll就是hinge损失函数,而后面相当于L2正则项。
Hinge 损失函数的标准形式
可以看出,当|y|>=1时,L(y)=0。
补充一下:在libsvm中一共有4中核函数可以选择,对应的是-t参数分别是:
0-线性核;
1-多项式核;
2-RBF核;
3-sigmoid核。
如此,SVM有第二种理解,即最优化+损失最小,或如@夏粉_百度所说“可从损失函数和优化算法角度看SVM,boosting,LR等算法,可能会有不同收获”。