log对数损失函数(逻辑回归)是什么【图文详解】

今天爱分享给大家带来log对数损失函数(逻辑回归)是什么【图文详解】,希望能够帮助到大家。

log对数损失函数(逻辑回归)
有些人可能觉得逻辑回归的损失函数就是平方损失,其实并不是。平方损失函数可以通过线性回归在假设样本是高斯分布的条件下推导得到,而逻辑回归得到的并不是平方损失。在逻辑回归的推导中,它假设样本服从伯努利分布(0-1分布),然后求得满足该分布的似然函数,接着取对数求极值等等。

而逻辑回归并没有求似然函数的极值,而是把极大化当做是一种思想,进而推导出它的经验风险函数为:最小化负的似然函数(即max F(y, f(x)) —> min -F(y, f(x)))。从损失函数的视角来看,它就成了log损失函数了。

log损失函数的标准形式:
L(Y,P(Y|X))=−logP(Y|X)

刚刚说到,取对数是为了方便计算极大似然估计,因为在MLE中,直接求导比较困难,所以通常都是先取对数再求导找极值点。

损失函数L(Y, P(Y|X))表达的是样本X在分类Y的情况下,使概率P(Y|X)达到最大值(换言之,就是利用已知的样本分布,找到最有可能(即最大概率)导致这种分布的参数值;或者说什么样的参数才能使我们观测到目前这组数据的概率最大)。因为log函数是单调递增的,所以logP(Y|X)也会达到最大值,因此在前面加上负号之后,最大化P(Y|X)就等价于最小化L了。

逻辑回归的P(Y=y|x)表达式如下(为了将类别标签y统一为1和0,下面将表达式分开表示):

log对数损失函数(逻辑回归)是什么【图文详解】插图

将它带入到上式,通过推导可以得到logistic的损失函数表达式,如下:

log对数损失函数(逻辑回归)是什么【图文详解】插图(1)

逻辑回归最后得到的目标式子如下:

log对数损失函数(逻辑回归)是什么【图文详解】插图(2)

人已赞赏
Python

损失函数常用的有几种【图文详解】

2020-12-24 15:15:14

Python

平方损失函数(最小二乘法, Ordinary Least Squares )【图文详解】

2020-12-24 15:24:02

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧