【关于 逻辑回归】那些你不知道的事
一、介绍篇
1.1什么是逻辑回归
LR是Logistic Regression Classifier，本质上是线性回归，特殊之处在于特征到结果的映射中加入了一层逻辑函数g(z)，即先把特征线性求和，然后使用函数g(z)作为假设函数来预测。g(z)可以将连续值映射到0 和1。逻辑回归使用的g(z)函数是sigmoid函数。因此逻辑回归=线性回归 + sigmoid。
逻辑回归的表达式为
图像
1.2逻辑回归的优势
逻辑回归的优点：
它是直接对分类可能性进行建模，无需实现假设数据分布，这样就避免了假设分布不准确所带来的问题；
它不是仅预测出“类别”，而是可得到近似概率预测，这对许多需利用概率辅助决策的任务很有用；
逻辑回归函数是任意阶可导的凸函数，有很好的数学性质，现有的许多数值优化算法都可直接用于求取最优解。
对于线性数据，（大部分时候）逻辑回归的拟合和计算都非常快，计算效率优于SVM和随机森林
二、推导篇
2.1逻辑回归推导
假设数据集为 sigmoid函数为 在线性回归中有 为了方便，我们将其中的权值向量和输入向量进行扩充，即；，则式(3)可以改写为
线性回归是将向量映射为具体的数值（连续），而逻辑回归是用来解决分类问题（通常为二分类问题），希望得到或的概率（区间），即通过某种方式将数值映射到区间范围内。逻辑回归采用sigmoid函数来完成这样的映射，从而建立与之间的概率判别模型 有
得到 对应的似然函数为 取对数，得到对数似然函数
对
L(w)
求极大值（即极大似然估计），即可得到
w
的估计值
w^=argmaxwL(w)
这样，问题就变成了以对数似然函数为目标的最优化问题，可采用梯度下降法或拟牛顿法。
2.2求解优化
令
此时，
因为这里是求最大值，采用梯度上升法：