逻辑回归为什么使用极大似然函数作为损失函数，而不用平方损失函数【面试题详解】

今天爱分享给大家带来逻辑回归为什么使用极大似然函数作为损失函数，而不用平方损失函数【面试题详解】，希望能够帮助到大家。
使用极大似然函数取对数之后等同于对数损失函数，使用对数损失函数训练参数的速度比较快，其梯度下降过程中表示梯度的式子为

梯度更新的速度只和 xi, yi 有关，与 logistic 函数本身的梯度无关，这样更新速度自始至终比较稳定。

如果使用平方损失函数，其梯度下降过程中表示梯度的式子为

这里引入了

等价于 logistic 函数本身的梯度，logistic 函数在定义域内梯度都不大与 0.25，在输出接近于 0 或 1 时，梯度会变得非常小，出现梯度消失的问题，容易导致训练变慢。

另外对数损失函数只和分类正确的预测结果有关系，对于二元分类问题，使用极大似然估计的目的就是为了找到一个合适的参数 [公式] 使得把样本分为正确类的概率尽可能大，而不看重错误分类；相反，使用平方损失函数除了让正确的分类尽量变大，还会让错误的分类变得均匀，它对错误的输出惩罚比较大，但这在分类问题中是没有必要的。平方损失函数更适合回归问题。