Learning Context Graph for Person Search
2019-06-24 09:14:03
Code: https://github.com/sjtuzq/person_search_gcn
Person Search Paper List: https://github.com/wangxiao5791509/Person-Search-Paper-List
1. Background and Motivation:
作者首先总结了现有的 re-ID 方法的挑战：
1). 现有的 re-ID 的设定（prob-gallery）是属于多模态的，例如：手机拍的照片和常规的低分辨率监控相机；
2). 不同的光照和行人姿态将会增加 intra-class variation；
3). 不准确的检测/跟踪，遮挡和复杂背景将会导致严重的外观变化，将会进一步增加 person re-ID 的难度。
紧跟着，作者开始基于上述挑战，引出 re-ID 的设定，在实际应用中存在的挑战。然后，引入 person search 这个课题。现有的 person search 的方法尝试将 context/group 信息用于解决实际问题，但是这些方法仍然有如下的不足：如何定义 group 是一个很重要的任务。有的方法尝试用手工标注的方式，但是这就需要额外的人力。其他的方法有尝试利用时空信息，如：场景中的速度和相对位置，来帮助 re-ID。作者认为这些 social force models 利用协同设计的约束来模拟场景中的社交影响力，并没有提供很好的解决方案，很难优化。
本文基于上述观察，提出一种新的利用 context 信息的方法，来解决 person search 的问题。首先从图像中产生很多 candidates，然后用 relative attention module 筛选出有用的图像对。在这些图像对上，构建 context graph 来建模 prob-gallery pairs 的全局相似性。图的节点是：target pair and context pairs。为了充分的利用 context 信息，作者将所有的 context nodes 都和 target nodes 进行相连。该 graph 输出的是 target pair 的相似性。
2. 算法总览：
本文的算法主要是由三个模块构成的，示意图如上图所示。
Instance Detection and Feature Learning: 在常规物体检测方法 Faster RCNN 的基础上，作者引入了 part-based feature learning，以得到更加具有判别性的表达。
Context Instance Expansion: 该模块是本文的核心，作者在 instance feature 的基础上进行拓展，引入 context information。Query 和 gallery 之间所有的 instance pairs 都被作为 context candidates，其中的 noise contexts 将会被过滤掉。这里就是采用简单的相似性度量的方法，仅将高置信度的 pairs 选出作为 information contexts。
Contextual Graph Representation Learning：
==
Learning Context Graph for Person Search
原文：https://www.cnblogs.com/wangxiaocvpr/p/11075513.html