针对已有的方法中存在的问题:
- Itti模型,针对Itti模型进行的扩展的显著性检测方法,以及光谱剩余假说系列的方法过分强调小的,局部特征,对对象级别的应用不适合;
- 对图像的全局属性进行建模的方法,虽然能够将整个对象较好地检测出来,但是计算复杂度高;
- 综上找到一种compact并且有效的表示方法很有必要。这样的方法有颜色平均值或亮度平均值表示。但是一阶平均太简单,忽略了颜色的方差以及图像各部分之间的空间关系;
- 近期,Cheng提出了一种基于区域对比度的方法来对全局显著性进行建模,但是由于这种方法使用了image
segments,不太容易对空间分布进行建模。
本文提出的方法既考虑了全局唯一性,有考虑了颜色的空间分布。具体步骤如下:
-
- 对RGB颜色空间进行量化,将R,G,B均匀量化成12阶,然后计算各通道的直方图,将出现频率高的阶留下,总的像素的覆盖比率为95%;
- 计算量化后的颜色的协方差矩阵,进而估计GMM中的其余参数,即均值和后验概率。GMM的component的个数为15。
- spatial overlap based component clustering
-
- 对于图像中的每一个像素,均可以获得一个向量P=[p1, .., p15],保留P中前两个最大元素,P中其余元素置为0
- 对于每一个分量,先进行一个3*3的均值滤波
- 计算两个clusters之间的空间一致性C(ci, cj),得到一个pairwise coponent correlation矩阵。
- 进行聚类,得到C类。采用的方法是message-passing based
clustering,correlation矩阵就用来衡量15个GMM分量之间的相似性。用message-passing based
clustering的好处是不用指定聚类的数目。
-
- 0层:所有的像素,可以生成一整全分辨率的显著图(元素个数等于图像的大小);
- 1层:直方图表示层(元素个数约为85);
- 2层:GMM表示层(元素个数为15);
- 3层:message-passing 聚类后的层(元素个数小于15);
- 底层与高一层具有对应关系,这种对应关系也应该保存。
- 全局唯一性计算(Global Uniqueness)
在2层,即GMM表示层计算GMM分量ci的全局唯一性,从而得到显著图。
- 颜色空间分布(Color Spatial Distribution)
在3层,即message-passing clustering后的表示层,计算颜色的空间分布,从而得到显著图。
V. Gopalakrishnan et al.
2009认为用权重组合单个的显著图并不是一个很好的选择,有时候甚至会变得更差。因此,作者借助于compactness中的假设,将空间差异更小的显著图做为最终的显著图。
实验部分
在MSRA1000上进行的实验,最终的PR Curve与SF相当,所以必定比GS_SP(ECCV2012)差。
Efficient Salient Region Detection with Soft Image
Abstraction笔记
原文:http://www.cnblogs.com/qingliu411/p/3541459.html