首页 > 其他 > 详细

归一化与标准化的概念与区别

时间:2020-05-08 17:15:07      阅读:62      评论:0      收藏:0      [点我收藏+]

https://www.zhihu.com/question/20467170 (参看z.defyingmyazi 的回答)

归一化,又称最大最小值归一化,特点为:

①其特征变换后的值严格在范围区间内,如 [0,1];

②不会改变数据分布;

③会使特征量纲相同,不会有大数值特征掩盖小竖直特征的情况,相当于去掉了特征的权重;

优点为:

①加速模型收敛;

②特征量纲相同,会提升模型精度;

③当使用sigmoid作为激活函数时,bp时躲开非饱和区,加速模型收敛。

缺点为:

①如果奇异数据比较多,则分母max-min不准确,造成精度影响;

对适用范围的思考:

①对数据范围有严格要求时;

②对于图像,因为像素值介于[0,255],所以经常被使用;

③不想改变特征分布时;

技术分享图片

 

 

标准化,特点如下:

①特征变换后的值没有严格的范围区间;

②会改变特征分布~N(0,1);

③会使特征量纲大致相同,不会有大数值特征掩盖小竖直特征的情况,相当于去掉了特征的权重;

优点为:

①由于使loss下降由扁圆图变为了类圆图,加速了模型收敛;

缺点为:

①改变了数据分布情况,可能导致模型精度下降;

 

技术分享图片

 

归一化与标准化的概念与区别

原文:https://www.cnblogs.com/liutianrui1/p/12851183.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!