Convolutional Random Walk Networks for Semantic Image Segmentation

Convolutional Random Walk Networks for Semantic Image Segmentation

1. For What Question

2. Innovation point

3. Implement

一、For What Question

1. 为了解决图像的语义分割问题

2. 以往方法存在的问题

   （1）使用大的感受野和池化层造成了深层的图像的低空间分辨率，导致对于图像的边界预测精度的不准确
   （2）传统方法CRFs和MRFs不能够捕获到事物语义级的关联度
   （3）将CRFs和MRFs嵌入到FCN网络中大大增加了网络的复杂程度

二、Innovation point

1. 使用一个复杂的多阶段学习策略，在不同的阶段对不同的层进行优化

2. 将Random Walk的思想嵌入到FCN网络中

3. 论文提出的方法优化了像素间的亲和度以及语义分割的精度，经由一个随机游走层将两者融合起来

4. 论文方法的优点

   （1）有利于解决图像边界定位不准确的问题
   （2）有利于解决空间分割的碎片化问题

三、Implement

1. 给出实验结构图：

   

    

    

2. 可以看出论文采用的是一个双平行分支的网络架构

   （1）对于语义分割的部分：
       采用DeepLab的网络结构，最终的提取层采用的ASPP模块，达到了对于图像信息多尺度的提取，提升实验分割的效果
   （2）对于亲和度分支的部分：
       论文采用原始图像concat语义分割第一个block中的64通道的图像，形成n*n*67的图像送入亲和度矩阵分支中，通过矩阵运算，计算出像素点之间的关联程度，经由一个卷积层归一化图像通道。
   （3）两个分支网络通过RandomWalk层整合起来，使用简单的矩阵运算将亲和度概率值辐射到语义分割图上。作者在此论证了随机游走迭代的可行性必要性，论文中采用单步游走。同样，作者证明了反向传播算法在本实验中的可用性。

3. 实验结果部分作者给出了在标准评估、局部和边界、空间平滑度等方面，提出的方法较之前的方法都有所提升。

Convolutional Random Walk Networks for Semantic Image Segmentation

原文：https://www.cnblogs.com/KevinSmith/p/12863165.html