今天先是回顾一些线代的基本知识,因为比较熟悉,过得就快些。
然后是在昨天单参数线性回归的基础上,增加参数,然后看其他函数如何变化。
因为参数变多,所以就引入线代中矩阵和向量的概念来对目标函数进行简化,而对于损失函数来说,变化就比较小,就相当于将原本的单参数进行扩展,用来更新各个参数,相对来说难点不是很多。
然后是两个实践小窍门。一个是特征缩放,就是对于多个参数范围相差比较大的时候,可以进行一定的放缩,来加快梯度下降的速度和效率。另一个就是确保梯度下降工作正确,可以通过画图确保每次迭代都有降低损失函数来接近目标结果。
理论基础差不多就是这样,接下来可以加强一下代码实践,加深理解。
原文:https://www.cnblogs.com/junenatte/p/13047020.html