Cluster-based Co-saliency Detection笔记

1. 两个定义

• co-saliency：在一组相似的图像中发现unique object (D. Jacobs 2010)// 从多幅图像中发现共有的显著性
• co-segmentation：将两张或是多张图像中相似的对象分割感出来

2. co-saliency与co-segmentation之间的区别

• 在非监督的co-segmentation方法中，图像中的非显著但相似的背景会给corresponding过程带来副作用；
• 对于有歧义的图像，需要用户的输入来指导分割过程；
• co-segmentation方法的计算量往往很大，尤其是面对大量的图像的时候。然而很多需求，例如图像缩放，目标定位和识别，对于精度要求往往不是很苛刻，只要能够快速定位出多张图像中的共有对象即可。

3. 本文所做的工作

• 基于聚类的co-saliency检测；                                                                                                                                                                         
• 用的特征是contrast，spatial，correspondence；
• 优点是基本上是自底向上的，没有繁重的学习过程，而且简单、通用、有效；
• 在co-segmentation，robust image distance，weakly surpervised learning以及video foreground detection具有广泛的应用前景。

4. 本文的动机

单张图像中的显著性检测方法忽视了多张图像中的关联线索，因此，本文将重复属性做为附加约束来发现多张图像中的共有显著对象。所以本文既考虑了单张图像内的显著性(intra-saliency)，也考虑了多张图像间表现出的显著性(inter-saliency)。

5. 方法概述

符号说明：

张图像记为；

图像中的像素集合记为，其中表示第j个image lattice（不是图像中的像素的个数？）；

对这M张图像进行聚类，得到K个cluster，记为，聚类中心记为，是D维向量；

对于图像中每个像素以及对应的cluster index ，定义一个映射函数。

是图像中像素的归一化后的位置。

所用的显著性测度:

• 特征对比度测度Contrast Cue

    类 的特征对比度测度定义为类与其他类的特征对比度，形式化描述如下：

                 

其中为所有的图像的像素和，为聚类的像素个数。所以，类中像素个数越多，对特征对比度的贡献也就更大。

特征对比度与直方图对比度之间的不同：

    这里衡量的是cluster的对比度，而直方图对比度衡量的是直方图的对比度；

    对比度测度只是三个显著性测度中的一个。

特征对比度测度的优点：

    cluster越是独特，cluster越是显著。

• 中心偏移测度Spatial Cue

    偏移测度的依据是：人类视觉系统中，图像中心区域往往能够在比其他区域更加吸引人的注意。当对象与图像中心之间的距离越大时，显著性也就越来越减小。在单张图像中，称为中央偏向准则(center bias rule)。本文作者对这个概念进行了扩展，将其扩展到基于聚类的方法上。聚类的重心偏移测度定义如下：

   

与单张图像中的中心偏移测度不一样的是，这里定义的是多张图像上的全局中央偏向性。

• 图间分布测度Corresponding Cue

图间分布测度主要用于衡量多张图像上的cluster的分布的。重复率描述了一个对象在多张图像上重复出现的频率，是反映协同显著性的一个重要的全局属性。首先采用一个具有M个bin的直方图来描述聚类在M张图像中的分布:

   

然后就可以定义图间分布测度:

   

在各个图像中分布越是均匀的cluster，对应的图间分布测度就越是大。

协同显著性图生成：

Cluster-based Co-saliency Detection笔记

原文：http://www.cnblogs.com/qingliu411/p/3541077.html