首页 > 其他 > 详细

最小二乘法

时间:2019-11-24 21:56:59      阅读:82      评论:0      收藏:0      [点我收藏+]

最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

 

考虑超定方程组(超定指未知数小于方程个数):
技术分享图片
其中m代表有m个等式,n代表有 n 个未知数
技术分享图片
,m>n ;将其进行向量化后为:
技术分享图片

  
技术分享图片
技术分享图片
技术分享图片
显然该方程组一般而言没有解,所以为了选取最合适的
技术分享图片
让该等式"尽量成立",引入残差平方和函数S
技术分享图片
(在统计学中,残差平方和函数可以看成n倍的均方误差MSE)
技术分享图片
时,
技术分享图片
取最小值,记作:
技术分享图片
通过对
技术分享图片
进行微分求最值,可以得到:
技术分享图片
如果矩阵
技术分享图片
非奇异则
技术分享图片
有唯一解:
技术分享图片
 
 
 

最小二乘法

原文:https://www.cnblogs.com/HYun/p/11924215.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!