首页 > 其他 > 详细

约束优化的理解:L-BFGS

时间:2021-03-07 15:10:01      阅读:18      评论:0      收藏:0      [点我收藏+]

基础知识

偏导数

技术分享图片

关于d,可以认为是投影方向(以三维为二位例子理解)

技术分享图片

偏导数是方向导数的子集合,还是以三维为例,偏导数是各标准方向,方向导数是各个方向

技术分享图片

利用变换主元的思想,可以将α视作未知数,就可以得到已下的推到

技术分享图片

也即为

技术分享图片

直观理解

方向导数

梯度

梯度:是一个矢量,其方向上的方向导数最大,其大小正好是此最大方向导数,试想一个山,每一点都取梯度,则最终会得到最快的下山路径

欧几里得范数

欧几里得范数指得就是通常意义上的距离范数。例如在欧式空间里,它表示两点间的距离(向量的模长),||x||表示向量的长度.

约束优化的理解:L-BFGS

原文:https://www.cnblogs.com/zuoanfengxi/p/14493506.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!