首页 > 其他 > 详细

Coursera在线学习---第九节.异常数据检测(Anomaly Detection)

时间:2017-03-01 14:24:16      阅读:298      评论:0      收藏:0      [点我收藏+]

一、如何构建Anomaly Detection模型?

技术分享

 

二、如何评估Anomaly Detection系统?

  1)将样本分为6:2:2比例

  2)利用交叉验证集计算出F1值,可以用F1值选取概率阈值ξ,选取使得F1值最大的那个ξ。

  3)同时也可以根据训练集、交叉验证集、测试集来同样选取使用哪些特征变量更好。方法就是不断更换特征组合构建模型,利用交叉验证集计算F1值,并看测试集的效果等等。

 技术分享

 

三、什么时候用异常数据检测法,什么时候用有监督的分类方法?

  1)一般来讲,当样本中有大量正常样本数据,而仅仅有少量异常点数据时,这个时候建议构建Anomaly Detection模型。因为异常样本太少,无法进行有效的监督训练;而此时因为有大量的正样本数据,可以有效的拟合高斯模型。当正样本与负样本数量都比较大的时候,可以采用有监督的学习方法,这就是两种方法的不同之处。

  2)另一种不同在于,异常数据点的出现情况往往是多种多样、不可预测的。所以,这个时候只对正常数据样本拟合模型即可,不符合该模型的数据均可视为异常数据点。而有监督的学习方法需要有明确的正样本与负样本标签,让机器明白无误的去训练学习。

Coursera在线学习---第九节.异常数据检测(Anomaly Detection)

原文:http://www.cnblogs.com/gczr/p/6483762.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!