NG的课件1，引出常用的优化方法梯度下降法(gradient descent)
? ?
对于 ordinary least squares regression， cost function为
求最小值，意味着求导数为0的位置
? ?
考虑只有一个样本
? ?
这叫做LMS update rule (Least Mean Squares)
? ?
对应所有样本的训练集合
? ?
这种方法叫做batch gradient decent ，与之对应的在样本数目比如海量的情况下，为了计算快速，经常会每
扫描一个点就做一次update而不是扫描所有点后做一次update，对应称作stochastic gradient decent
? ?
在逻辑回归中:
对应按照MLE观点看，最大化概率
? ?
? ?
? ?
? ?
原文：http://www.cnblogs.com/rocketfan/p/4152386.html