参考简书中Logistic回归及Python代码实现。
Logistic函数的损失函数的偏导数为$\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x_i)-y_i)x_i^j$，所以$\theta$的更新可以写为：$\theta_j=\theta_j-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x_i)-y_i)x_i^j$，推导过程中使用了最大似然估计，具体过程见原文。
推导过程如下：
1）Logistic函数如下
$$g(z)=\frac{1}{1+e^{-z}}$$
其中
$$z={\theta }_{0}{x }_{0}+{\theta }_{1}{x }_{1}+...+{\theta }_{n}{x }_{n}$$
向量表示为
$$Z={\Theta}^{T}X$$
2）目标函数变形
预测函数为
$$h_\theta(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}$$
函数$h_\theta(x)$的值有特殊的含义，它表示结果取1的概率，因此，对于输入x分类结果为类别1和类别0的概率分别为：
$$P(y=1|x;\theta)=h_\theta(x)\\ P(y=0|x;\theta)=1-h_\theta(x)$$
将以上两个式子合起来写为
$$P(y|x;\theta)=(h_\theta(x))^y(1-h_\theta(x))^{1-y}$$
3）取似然函数
$$L(\theta)=\prod_{i=1}^mP(y_i|x_i;\theta)=\prod_{i=1}^m(h_\theta(x_i))^{y_i}(1-h_\theta(x_i))^{1-y_i}$$
这是一组观测值的概率，取对数为
$$l(\theta)=\log L(\theta)=\sum_{i=1}^m(y_i\log h_\theta(x_i)+(1-y_i)\log (1-h\theta(x_i)))$$
最大似然估计就是求使$l(\theta)$最大时，$\theta$的值。设计函数$J(\theta)$如下
$$J(\theta)=-\frac{1}{m}l(\theta)$$
因为乘了一个负系数$-\frac{1}{m}$，所以$J(\theta)$最小时的$\theta$是最佳参数，最终函数为
$$J(\theta)=-\frac{1}{m}[\sum_{i=1}^m(y_i\log h_\theta(x_i)+(1-y_i)\log (1-h\theta(x_i)))]$$
4）$\theta$更新
设置学习率为$\alpha$后，$\theta$的更新为
$$\theta_j=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta)$$
求偏导过程如下
$$\frac{\partial}{\partial\theta_j}J(\theta)=-\frac{1}{m}\sum_{i=1}{m}()$$
原文：https://www.cnblogs.com/guesswhy/p/11285753.html