首页 > 编程语言 > 详细

【节选 转载】 当前的迁移学习算法进行分类

时间:2019-05-04 16:35:05      阅读:312      评论:0      收藏:0      [点我收藏+]

原文地址:

https://www.jiqizhixin.com/articles/2018-08-01-6

 

 

-----------------------------------------------------------------------------------------

 

 

 

 

 

 

机器之心:您如何对当前的迁移学习算法进行分类?原因是什么?

之前,我们通常将迁移学习分为三类。第一类是样本迁移,将可能对新领域有用的样本的权重加大。这一类方法非常经典,但是现在用得比较少。

 

第二种叫做特征迁移,特征空间的维度很高,如果我发现第一个领域里发现的重要特征能够覆盖新领域,那么我就把它迁移到新领域中去。迁移的部分可能是人工选出来的特征,这种方法在自然语言处理迁移中比较常见,也可以是一个特征提取器,这种方法在计算机视觉迁移中比较常见。

 

最后一种是参数迁移,迁移的范围与两个领域之间的距离有关。例如和图像相关的模型,越是靠下的层越通用,迁移能力越强,越是靠上的层越是特殊,迁移能力越弱。因此可以根据领域间距离定量地确定迁移的程度:如果两个领域相距很远,那么可以只迁移最下方的几层,如果两个领域很相似,则可以多迁移几层。此外还可以量化迁移后调节参数的时机:两个领域相距越远,参数调节就应该越早进行,两个领域相距越近,参数调节就可以越晚进行。

 

 

 

 

近年一个有意思的特征迁移案例是斯坦福大学为联合国做的「如何在卫星图片中标记贫穷的地区」。联合国在决定给每个地区分配的资助前,需要确定当地的贫穷程度。在过去,做法是派人去进行经济调查,而斯坦福大学试图用 跨越式迁移的方法来解决这个问题。研究人员首先对白天的卫星图片进行语义级别的分割,标出桥梁、建筑物等。然后以灯光明亮度代表富裕程度,通过白天和夜晚的图像比对,找出最富有的地区在白天有哪些可见的特征,比如游泳池。然后将游泳池视为富裕地区的显著特征后,再通过搜索游泳池周围经常出现特征,进行另一轮的代表性特征选择。逐步扩展下去,最后在识别贫富程度上达到和现场调查人员相近的准确率。

 

 

这类非常具有社会意义的选题也是值得国内研究者思考和借鉴的,我们不应该只擅长刷 ImageNet 榜单。

 

 

 

除此之外,根据采用的模型结构还可以分成采用/不采用深度学习的。近年随着对抗生成网络在迁移学习中的应用越来越广泛,还有一种分法是根据是否利用对抗的方法进行分类。迁移学习中天然存在可以对抗的部分:希望算法在本领域准确性尽可能高,希望算法在两个领域间的差距尽可能小。把这两个限制条件同时作为目标,就形成了一个恰恰合适对抗生成网络做的事情。

 

 

 

 

 

-----------------------------------------------------------------------------

 

【节选 转载】 当前的迁移学习算法进行分类

原文:https://www.cnblogs.com/devilmaycry812839668/p/10808674.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!