行人重识别综述——下-编程知识

https://blog.csdn.net/m0_60388871/article/details/136177398?spm=1001.2014.3001.5501

3 OPEN-WORLD PERSON RE-IDENTIFICATION

3.1 Heterogeneous Re-ID

基于深度的Re-ID：
- 利用深度图像捕捉人体形状和骨骼信息，这对于在光照变化或衣物更换环境下的Re-ID尤为重要，也适用于个性化人机交互应用。提到了一种基于recurrent attention-based 模型来识别人体的小型、区分性的局部区域，并利用RGB到深度的转换方法桥接深度图像与RGB图像间的差距。
文本到图像的Re-ID：
- 处理文本描述与RGB图像间的匹配问题，特别重要于当查询人物的视觉图像无法获取，只能提供文本描述的情况。采用门控神经注意力模型学习文本描述与人物图像间的共享特征，以实现文本到图像行人检索的端到端训练。
可见光到红外的Re-ID：
- 解决日间可见光与夜间红外图像间的跨模态匹配问题，对低光照条件下的应用至关重要。采用深度零填充框架学习模态可共享的特征，并引入双流网络模型同时处理模态内和跨模态的变化，以及使用GAN技术生成跨模态人物图像以减少跨模态差异。
跨分辨率的Re-ID：
- 在低分辨率和高分辨率图像间进行匹配，解决大的分辨率变化问题。使用级联的SR-GAN生成高分辨率人物图像，并采用对抗学习技术获取分辨率不变的图像表示

3.2 End-to-End Re-ID

这个任务要求模型在一个框架内同时执行人员检测和重新识别。这是具有挑战性的，因为这两个主要组成部分的关注点不同。

原始图像/视频中的Re-ID：
- Zheng等人提出了一个两阶段框架，系统评估了人员检测对后续人员Re-ID的好处和限制。
- Xiao等人设计了一个端到端的人员搜索系统，使用单个卷积神经网络同时进行人员检测和重新识别。
- 开发了一种神经人员搜索机器（NPSM），通过充分利用查询和检测到的候选区域之间的上下文信息，递归细化搜索区域并定位目标人员。
- 类似地，在图学习框架中学习了一个上下文实例扩展模块，以改进端到端的人员搜索。
- 开发了一个以查询为指导的端到端人员搜索系统，该系统使用Siamese squeeze-and-excitation网络捕获全局上下文信息，并生成查询引导的区域提议。
- 引入了一个具有区分性Re-ID特征学习的定位细化方案，以生成更可靠的边界框。
- 身份识别注意力增强学习（IDEAL）方法选择信息丰富的区域，以自动生成边界框，从而提高Re-ID性能。
多摄像头跟踪：
- 端到端的人员Re-ID也与多人多摄像头跟踪密切相关。
- 提出了一种基于图的公式，用于多人跟踪中链接人员假设，其中结合了整个人体的整体特征和身体姿势布局作为每个人的表示。
- Ristani等人学习了多目标多摄像头跟踪与人员Re-ID之间的关联，通过困难身份挖掘和自适应加权三元组学习。
- 最近，提出了一种具有内部和外部摄像头关系建模的局部感知外观度量（LAAM）。
具有挑战性的问题：
- Yamaguchi等人研究了一个更具挑战性的问题，即使用文本描述从原始视频中搜索人员。提出了一个具有时空人员检测和多模态检索的多阶段方法。

3.3 Semi-supervised and Unsupervised Re-ID

3.3.1 Unsupervised Re-ID

Early unsupervised Re-ID mainly learns invariant components, i.e., dictionary [203], metric [204] or saliency [66], which leads to limited discriminability or scalability.

深度无监督方法：
- 采用跨摄像头标签估计作为流行方法之一。动态图匹配（DGM）将标签估计问题形式化为二分图匹配问题，并利用全局摄像头网络约束以实现一致匹配。其他方法包括逐步挖掘标签、强健的锚点嵌入方法，以及迭代聚类和Re-ID模型学习，利用估计的标签通过深度学习来学习Re-ID模型。
端到端无监督Re-ID：
- 提出了一个迭代聚类和Re-ID模型学习的方法，以及利用样本间关系的层次聚类框架。软多标签学习从参考集中挖掘软标签信息进行无监督学习。跟踪片段关联无监督深度学习（TAUDL）框架同时进行摄像头内跟踪片段关联和跨摄像头跟踪片段相关性建模。
局部特征表示学习：
- 一些方法尝试基于局部特征表示学习，因为在局部部分挖掘标签信息比整幅图像更容易。PatchNet旨在通过挖掘局部相似性来学习区分性的局部特征。
半监督/弱监督Re-ID：
- 在有限的标签信息条件下，提出了一种一次性度量学习方法，结合了深度纹理表示和颜色度量。针对基于视频的Re-ID，提出了一种逐步的一次性学习方法（EUG），逐渐从未标注的跟踪片段中选择少数候选者以丰富标注的跟踪片段集合。还有利用视频级标签进行表示学习的多实例注意力学习框架，减轻了对完全标注的依赖。

3.3.2 Unsupervised Domain Adaptation

无监督域适应（Unsupervised Domain Adaptation, UDA）是机器学习中的一种策略，特别是在迁移学习领域中。它旨在解决在源域（source domain）上有大量标记数据，而在目标域（target domain）上几乎没有或完全没有标记数据的情况。源域和目标域在特征分布上存在差异，这种差异会导致直接将在源域训练的模型应用到目标域上时性能下降。无监督域适应的目标是通过某种方式减少这两个域之间的分布差异，以提高模型在目标域上的泛化能力。

目标图像生成：使用GAN生成技术将源域图像转换为目标域风格，通过生成的图像在未标记的目标域中进行有监督的Re-ID模型学习。提及了多种方法，如PTGAN、SPGAN、HHL、自适应转移网络等。
目标域监督挖掘：一些方法直接从源数据集训练好的模型中挖掘未标记目标数据集的监督信息，如示例记忆学习、域不变映射网络（DIMN）、自训练方法和自步调对比学习框架等。

3.3.3 State-of-The-Arts for Unsupervised Re-ID

性能提升：无监督Re-ID性能在过去几年里显著提高，例如在Market-1501数据集上，Rank-1准确率/mAP从54.5%/26.3%提高到90.3%/76.7%。
进一步改进的空间：包括在无监督Re-ID中应用强大的注意力机制，目标域图像生成的有效性，以及使用注释源数据进行跨数据集学习。
无监督与监督Re-ID之间的差距：尽管无监督Re-ID取得了显著进展，但与监督Re-ID相比仍有较大差距。例如，监督方法ConsAtt在Market-1501数据集上的rank-1准确率达到96.1%，而无监督方法SpCL的最高准确率为90.3%。

3.4 Noise-Robust Re-ID

面对重度遮挡的部分Re-ID

问题描述：当人体只有部分可见时的Re-ID问题。
解决策略：
- 使用全卷积网络生成不完整人像的固定大小空间特征图。
- 深度空间特征重构（DSR）通过利用重构误差避免显式对齐。
- 可见性感知部分模型（VPM）提取共享区域级特征，抑制不完整图像中的空间错位。
- 前景感知金字塔重建方案从未被遮挡的区域学习。
- 姿态引导的特征对齐（PGFA）利用姿态标记挖掘遮挡噪声中的判别性部分信息。

因检测或跟踪错误导致的样本噪声

问题描述：人像图像或视频序列包含由于检测不良/跟踪不准确结果导致的异常区域/帧的问题。
解决策略：
- 利用姿态估计线索或注意力线索来抑制噪声区域在最终整体表示中的贡献。
- 对于视频序列，采用集合级特征学习或帧级重加权来减少噪声帧的影响。

因标注错误引起的标签噪声

问题描述：由于标注错误而无法避免的标签噪声问题。
解决策略：
- 郑等人采用标签平滑技术来避免标签过拟合问题。
- 提及一个模型特征不确定性的分布网络（DNet），以对抗标签噪声，减少具有高特征不确定性样本的影响。
- 与一般分类问题不同，鲁棒的Re-ID模型学习受限于每个身份的有限训练样本。
- 未知的新身份为鲁棒的Re-ID模型学习增加了额外的难度。

3.5 Open-set Re-ID and Beyond

Open-set Re-ID is usually formulated as a person verification problem, i.e., discriminating whether or not two person images belong to the same identity .

群组Re-ID

群组Re-ID（Group Re-identification）是指在监控视频或图片中识别并关联整个群组的过程，而不仅仅是个体。它的目的是在不同的摄像头视角、时间或地点中，识别并跟踪由多个人组成的群组。与传统的个体Re-ID不同，群组Re-ID需要处理群组内部的动态变化，如群组成员的进出、群组形态的变化以及不同环境下的群组外观差异。