首页 > 编程笔记

逻辑回归模型损失函数推导

我们已经知道逻辑回归模型分类的原理,但是如何才能求得该模型呢?和线性回归一样,先假设模型函数,然后使用梯度下降方法来求最优解。但是不同于线性回归的是,逻辑回归的假设函数与线性回归的不同,损失函数也不相同,损失函数如下:

hθ(x)=g(θTx)

其中:
逻辑回归函数
 
所以:
逻辑回归损失函数推导
 
如果按照线性回归计算损失函数的话,我们会得到一个非凸函数,无法进行梯度下降求解。所以我们要对损失函数做以下变形,即在y取不同值时,对应的损失函数也不相同,分别为:

逻辑回归损失函数推导
 
上述的两个等式可以合并成:
逻辑回归损失函数
 
这样,我们的损失函数就可以写成:
逻辑回归损失函数
 
对其使用梯度下降方法,即可求得最优直线。

优秀文章