重温概率论的基础
批梯度上升规则和随机梯度上升规则 拟合出logistic回归模型。
利用牛顿方法来进行模型拟合。
牛顿法也叫切线法。
为了使牛顿算法有效，需要将f满足某些条件，这些条件相当复杂。通常如何初始化x不是个大问题，一般讲f(x) = 0,这些算法通常不会考虑收敛性的问题，一般，这些算法都是收敛的，但收敛速度会有很大差别。牛顿算法是一个收敛速度很快的算法，收敛速度可以理解为二次收敛。牛顿方法的每一次迭代，都会使你正在逼近解的有效数字的数目加倍，不考虑常量因子。
其他知识点：Hessian矩阵
基于最小二乘的线性回归，Logistic回归都属于广义线性回归
指数分布族 伯努利分布、高斯分布
Nani_xiao的机器学习与总结：Andrew Ng.机器学习（四） ：牛顿方法
原文：http://blog.csdn.net/xiao_lxl/article/details/45100985
