首页 > Web开发 > 详细

论文阅读笔记《Gated Context Aggregation Network for Image Dehazing and Deraining》WACV19

时间:2018-12-03 22:45:36      阅读:401      评论:0      收藏:0      [点我收藏+]

 

目录:

  • 相关链接
  • 方法亮点
  • 方法细节
  • 实验结果
  • 总结与收获

相关链接:

论文:https://arxiv.org/abs/1811.08747

源码:暂无


 

方法亮点:

  • 提出端到端的去雾网络,不依赖于先验
  • 采用了smooth dilated convolution 代替原有的dilated convolution,解决了原来的dilated convolution导致的grid artifacts 问题
  • 提出了一个gated fusion sub-network,融合high-level 及low-level 特征,提升复原效果

 

方法细节:

1、smoothed dilated convolution

技术分享图片

上面的图表示的是原始的空洞卷积的工作,从图中不同颜色的块块可以看出,经过dilated rate(r)>1的空洞卷积后,输出的特征层中相邻的特征值与输入特征层是完全独立的,没有相互依赖的关系,我们可以知道,图像是具有局部相关性的,同理,特征层也应该保留这个特性。

下面的图是经过改进的空洞卷积,在执行dilated rate>1的空洞卷积之前,做了一次核为(2r-1)的分离卷积,卷积的参数共享,经过该层卷积之后,每一个特征点都融合了周围(2r-1)大小的特征。该操作仅仅增加了(2r-1)(2r-1)大小的参数,却能有效的解决grid artifacts问题。

2、Gated fusion sub-network

技术分享图片技术分享图片

 

 该子网络主要是融合了不同层次的特征信息,以往的网络都是直接添加short-cut操作进行信息融合,本文的Gate fusion network 为不同层次的特征分别学习了权重,最后加权得到融合的特征层。

3、network

技术分享图片

 

 这篇文章的网络很简单,可以看做简单的三个部分:encoder,feature transfer,decoder.其中feature transfer部分是由若干个残差块组成的,残差块的卷积用到的是上面提到的smooth dilated convolution.encoder 第三部分中使用到一次下采样,相应的decoder中第一部分用到上采样。

这篇文章用到的损失函数相当的简单,就是一个简单的MSE,感觉作者还会就这个议题,再发一篇文章,可以关注一下。


 实验结果:

 

为了验证文章提出的两个结构的有效性,及将BN层改成IN层对该课题是有改进的,文章给出了在SOT indoor数据集上的ablation study .

技术分享图片

smoothed dilation 模块的改进,提升了1PSNR,gated fusion 网络提升了约0.5PSNR,将BN改成IN也能提升将近1PSNR,从实验结果来看,文章提出的每个小改进都是很有效的,令人意外的是文章的baseline,竟然有这么好的效果

这篇文章的结果可以说是相当美丽了,PSNR及SSIM直接是质的飞跃。是一篇值得复现的文章。

技术分享图片

视觉效果也还不错,但是GFN方法的视觉效果其实也是不错的,猜测是本文的方法恢复的结果,颜色信息更接近GT,所以PSNR更高。技术分享图片

 

技术分享图片

 为了验证本文提出的方法具有通用性,文章给出了在去雨数据集上的实验结果。这个PSNR结果也是相当美丽,就是有点好奇为什么不给出SSIM的结果呢?

技术分享图片

 

 


总结与收获:

 文章中采用的smoothed dilated convolution 及 gated fusion 网络在大部分图像复原中应该都能起到不错的作用。从SE-block之后,可以看出现在大部分工作对特征层的融合方式也有了新的考量,而不是简单的concat,包括本文的gated fusion也是基于这样的思想。

 

论文阅读笔记《Gated Context Aggregation Network for Image Dehazing and Deraining》WACV19

原文:https://www.cnblogs.com/jingyingH/p/10061286.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!