单变量线性回归

纲要

• 代价函数
• 梯度下降算法
• 全局最优与局部最优

代价函数

函数定义：

\[ J(\theta_0,\theta_1,...)=\frac{1}{2m}\sum_{i=1}^{n}(h_\theta(x^{(i)})-y^{(i)})^{2} \]

代价函数是为了寻找假设函数\(h(\theta)\)上的最佳参数\(\theta\)，以期得到一个更符合实际情况的假设函数。

梯度下降算法

数学公式定义：

\[ \theta_j := \theta_j - \alpha\frac{\delta}{\delta\theta_j}J(\theta_0,\theta_1,...,\theta_n) \]

其中\(\alpha\)是学习率Learning Rate，而\(\frac{\delta}{\delta\theta_j}\)就是代价函数\(J(\theta)\)的斜率。

梯度下降算法是在函数某一点上寻找下降最快的途径，然后递归在下一个点中继续寻找。由于斜率越接近局部最优点时越小，所以它的下降速度也会越来越小。梯度下降算法对各个参数的优化是同时的，所表现的形式如下：

\(temp0 := \theta_0 - \alpha\frac{\delta}{\delta\theta_0}J(\theta_0,\theta_1,...,\theta_n)\)
\(temp1 := \theta_1 - \alpha\frac{\delta}{\delta\theta_1}J(\theta_0,\theta_1,...,\theta_n)\)
\(\theta_0 := temp0\)
\(\theta_1 := temp1\)

可以看出，梯度算法需要同步更新各个参数变量。同时，梯度下降算法寻找的是一个局部最优点，而线性回归模型存在全局最优点，因此它需要尽可能地遍历所有的训练集，从所有的局部最优点中比较出全局最优点。

局部最优和全局最优

我想用NG课件里的几幅图可以很好的表示这两个概念：

这是其中一个局部最优途径

这是另一个局部最优途径

线性回归模型存在全局最优

参考

http://daniellaah.github.io/2016/Machine-Learning-Andrew-Ng-My-Notes-Week-1-Linear-Regression-with-One-Variable.html

吴恩达机器学习笔记一_单变量线性回归

原文：https://www.cnblogs.com/ChanWunsam/p/9635009.html