改进生成对抗网络的换衣行人再识别

张玉霞; 车进; 贺愉婷

doi:10.37188/CJLCD.2022-0086

您当前的位置：

首页 >

文章列表页 >

改进生成对抗网络的换衣行人再识别

图像处理 | 更新时间：2022-09-26

- 改进生成对抗网络的换衣行人再识别
- Improved generative adversarial network for pedestrian re-identification in clothes
- 液晶与显示 2022年37卷第10期页码：1364-1374
- 作者机构：
  
  1.宁夏大学物理与电子电气工程学院，宁夏银川 750021
  2.宁夏沙漠信息智能感知重点实验室，宁夏银川 750021
- 作者简介：
  
  [ "张玉霞（1997—），女，宁夏中卫人，硕士研究生，2019年于宁夏大学获得学士学位，主要从事图像处理、行人再识别、智能视频等方面的研究。E-mail： 1064316204@qq.com" ]
  [ "车进（1973—），男，宁夏银川人，博士，教授，2014年于天津大学获得博士学位，主要从事图像处理、行人再识别、智能视频等方面的研究。E-mail：koalache@126.com" ]
- 基金信息：
  
  国家自然科学基金（No.‍61861037）
- DOI：10.37188/CJLCD.2022-0086
  中图分类号： TP391
- 收稿日期：2022-03-15，
  
  修回日期：2022-03-25，
  
  纸质出版日期：2022-10-05
- 稿件说明：
移动端阅览
张玉霞, 车进, 贺愉婷. 改进生成对抗网络的换衣行人再识别[J]. 液晶与显示, 2022,37(10):1364-1374.

Yu-xia ZHANG, Jin CHE, Yu-ting HE. Improved generative adversarial network for pedestrian re-identification in clothes[J]. Chinese journal of liquid crystals and displays, 2022, 37(10): 1364-1374.
张玉霞, 车进, 贺愉婷. 改进生成对抗网络的换衣行人再识别[J]. 液晶与显示, 2022,37(10):1364-1374. DOI： 10.37188/CJLCD.2022-0086.

Yu-xia ZHANG, Jin CHE, Yu-ting HE. Improved generative adversarial network for pedestrian re-identification in clothes[J]. Chinese journal of liquid crystals and displays, 2022, 37(10): 1364-1374. DOI： 10.37188/CJLCD.2022-0086.

摘要

针对不同摄像机之间存在显著的类内差异，部分行人如换衣等发生变化均会导致识别下降的问题，提出一种将生成对抗网络（GAN）数据生成和行人再识别学习端对端结合起来的联合学习框架。首先，在DGNet网络的基础上，将生成器与鉴别器中的残差块ResBlock替换为DenseBlock，加强特征传播并且避免梯度消失的问题。然后，生成模块通过切换外观和结构编码，生成高质量的合成图像。最后，在鉴别模块中加入新型注意力机制（NAM），抑制不太显著的权重，更关注所需的目标区域。生成模块生成的图像在线反馈给鉴别模块鉴别图像真假，同时将结果反馈给行人再识别模块进行分类识别（鉴别模块与行人再识别模块是共享的）。在Market-1501、DukeMTMC-reID数据集上的rank-1/mAP分别达到95.7%/88.6%和87.1%/75.7%。

Abstract

In view of the significant intra-class differences between different cameras， and the change of the clothes of some pedestrians， which leads to the degradation of recognition， an end-to-end combination of generative adversarial network （GAN） data generation and person re-identification learning is proposed， which makes up the federated learning framework. Firstly， on the basis of the DGNet network， the residual block （ResBlock） in the generator and discriminator is replaced with DenseBlock， which strengthens feature propagation and avoids the problem of gradient disappearance. Then， the generative module generates high-quality synthetic images by switching appearance and structure encodings. Finally， a new normalization-based attention module （NAM） is added to the discriminative module to suppress less salient weights and pay more attention to the desired target regions. The images generated by the generation module are fed back online to the identification module to identify the true and fake images， and the results are fed back to the person re-identification module for classification and identification （the identification module and the pedestrian re-identification module are shared）. The rank-1/mAP on Market-1501 and DukeMTMC-reID datasets reach 95.7%/88.6% and 87.1%/75.7%， respectively.

关键词

Keywords

references

LIAO S C ， HU Y ， ZHU X Y ， et al . Person re-identification by local maximal occurrence representation and metric learning ［C］// Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Boston ： IEEE ， 2015 ： 2197 - 2206 . doi: 10.1109/cvpr.2015.7298832 http://dx.doi.org/10.1109/cvpr.2015.7298832

ZHENG L ， YANG Y ， HAUPTMANN A G . Person re-identification： past， present and future ［J］. arXiv ， 2016 ： 1610 .02984.

CHEN B H ， DENG W H ， HU J N . Mixed high-order attention network for person re-identification ［C］// Proceedings of 2019 IEEE/CVF International Conference on Computer Vision （ICCV） . Seoul ： IEEE ， 2019 ： 371 - 381 . doi: 10.1109/iccv.2019.00046 http://dx.doi.org/10.1109/iccv.2019.00046

CHEN D P ， XU D ， LI H S ， et al . Group consistent similarity learning via deep CRF for person re-identification ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 8649 - 8658 . doi: 10.1109/cvpr.2018.00902 http://dx.doi.org/10.1109/cvpr.2018.00902

GE Y X ， CHEN D P ， LI H S . Mutual mean-teaching： pseudo label refinery for unsupervised domain adaptation on person re-identification ［C］// Proceedings of the 8th International Conference on Learning Representations . Addis Ababa ： ICLR ， 2020 .

SI J L ， ZHANG H G ， LI C G ， et al . Dual attention matching network for context-aware feature sequence based person re-identification ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Salt Lake City ： IEEE ， 2018 ： 5363 - 5372 . doi: 10.1109/cvpr.2018.00562 http://dx.doi.org/10.1109/cvpr.2018.00562

YU S J ， LI S H ， CHEN D P ， et al . COCAS： a large-scale clothes changing person dataset for re-identification ［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Seattle ： IEEE ， 2020 ： 3397 - 3406 . doi: 10.1109/cvpr42600.2020.00346 http://dx.doi.org/10.1109/cvpr42600.2020.00346

ZHENG Z D ， ZHENG L ， YANG Y . Pedestrian alignment network for large-scale person re-identification ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2019 ， 29 （ 10 ）： 3037 - 3045 . doi: 10.1109/tcsvt.2018.2873599 http://dx.doi.org/10.1109/tcsvt.2018.2873599

SUH Y ， WANG J D ， TANG S Y ， et al . Part-aligned bilinear representations for person re-identification ［C］// Proceedings of the 15th European Conference on Computer Vision . Munich ： Springer ， 2018 ： 418 - 437 . doi: 10.1007/978-3-030-01264-9_25 http://dx.doi.org/10.1007/978-3-030-01264-9_25

张良，车进，杨琦 . 多粒度特征融合的行人再识别研究［J］. 液晶与显示， 2020 ， 35 （ 6 ）： 555 - 563 .

ZHANG L ， CHE J ， YANG Q . Multi-granularity feature fusion for person re-identification ［J］. Chinese Journal of Liquid Crystals and Displays ， 2020 ， 35 （ 6 ）： 555 - 563 . （in Chinese）

ZHENG Z D ， ZHENG L ， YANG Y . Unlabeled samples generated by GAN improve the person re-identification baseline in vitro ［C］// Proceedings of 2017 IEEE International Conference on Computer Vision （ICCV） . Venice ： IEEE ， 2017 ： 3374 - 3782 . doi: 10.1109/iccv.2017.405 http://dx.doi.org/10.1109/iccv.2017.405

WEI L H ， ZHANG S L ， GAO W ， et al . Person transfer GAN to bridge domain gap for person re-identification ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Salt Lake City ： IEEE ， 2018 ： 79 - 88 . doi: 10.1109/cvpr.2018.00016 http://dx.doi.org/10.1109/cvpr.2018.00016

杨琦，车进，张良，等 . GAN网络混合编码的行人再识别［J］. 液晶与显示， 2021 ， 36 （ 2 ）： 334 - 342 . doi: 10.37188/CJLCD.2020-0167 http://dx.doi.org/10.37188/CJLCD.2020-0167

YANG Q ， CHE J ， ZHANG L ， et al . Person re-identification of GAN network hybrid coding ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 2 ）： 334 - 342 . （in Chinese） . doi: 10.37188/CJLCD.2020-0167 http://dx.doi.org/10.37188/CJLCD.2020-0167

QIAN X L ， FU Y W ， XIANG T ， et al . Pose-normalized image generation for person re-identification ［C］// Proceedings of the 15th European Conference on Computer Vision . Munich ： Springer ， 2018 ： 661 - 678 . doi: 10.1007/978-3-030-01240-3_40 http://dx.doi.org/10.1007/978-3-030-01240-3_40

GE Y X ， LI Z W ， ZHAO H Y ， et al . FD-GAN： pose-guided feature distilling GAN for robust person re-identification ［C］// Proceedings of the 32nd International Conference on Neural Information Processing Systems . Montréal ： Curran Associates Inc. ， 2018 ： 1230 - 1241 .

杨海伦，王金聪，任洪娥，等 . 基于DCN的无监督域自适应行人重识别方法［J］. 液晶与显示， 2021 ， 36 （ 11 ）： 1573 - 1582 . doi: 10.37188/CJLCD.2021-0095 http://dx.doi.org/10.37188/CJLCD.2021-0095

YANG H L ， WANG J C ， REN H E ， et al . DCN-based unsupervised domain adaptive person re-identification method ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 11 ）： 1573 - 1582 . （in Chinese） . doi: 10.37188/CJLCD.2021-0095 http://dx.doi.org/10.37188/CJLCD.2021-0095

ZHENG Z D ， YANG X D ， YU Z D ， et al . Joint discriminative and generative learning for person re-identification ［C］// Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach ： IEEE ， 2019 ： 2133 - 2142 . doi: 10.1109/cvpr.2019.00224 http://dx.doi.org/10.1109/cvpr.2019.00224

LIU Y C ， SHAO Z R ， TENG Y Y ， et al . NAM： normalization-based attention module ［J］. arXiv： 2111.12419 ， 2021 .

HUANG G ， LIU Z ， VAN DER MAATEN L ， et al . Densely connected convolutional networks ［C］// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu ： IEEE ， 2017 ： 2261 - 2269 . doi: 10.1109/cvpr.2017.243 http://dx.doi.org/10.1109/cvpr.2017.243

WOO S ， PARK J ， LEE J Y ， et al . CBAM： convolutional block attention module ［C］// Proceedings of the 15th European Conference on Computer Vision . Munich ： Springer ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

ZHENG L ， SHEN L Y ， TIAN L ， et al . Scalable person re-identification： a benchmark ［C］// Proceedings of 2015 IEEE International Conference on Computer Vision （ICCV） . Santiago ： IEEE ， 2015 ： 1116 - 1124 . doi: 10.1109/iccv.2015.133 http://dx.doi.org/10.1109/iccv.2015.133

RISTANI E ， SOLERA F ， ZOU R ， et al . Performance measures and a data set for multi-target， multi-camera tracking ［C］// Proceedings of European Conference on Computer Vision . Amsterdam ： Springer ， 2016 ： 17 - 35 . doi: 10.1007/978-3-319-48881-3_2 http://dx.doi.org/10.1007/978-3-319-48881-3_2

张师林，曹旭 . 基于Camstyle改进的行人重识别算法［J］. 计算机工程与应用， 2020 ， 56 （ 15 ）： 124 - 131 .

ZHANG S L ， CAO X . Improved person re-identification algorithm on Camstyle ［J］. Computer Engineering and Applications ， 2020 ， 56 （ 15 ）： 124 - 131 . （in Chinese）

ZHANG Y X ， CHE J ， HE Y T . Research on person re-identification based on pose-attention-GAN ［C］// Proceedings 2021 International Conference on Computer Information Science and Artificial Intelligence ， 2021 ： 261 - 2 . doi: 10.1109/cisai54367.2021.00056 http://dx.doi.org/10.1109/cisai54367.2021.00056

HE S T ， LUO H ， WANG P C ， et al . TransReID： transformer-based object re-identification ［C］// Proceedings of 2021 IEEE/CVF International Conference on Computer Vision . Montreal ： IEEE ， 2021 ： 14993 - 15002 . doi: 10.1109/iccv48922.2021.01474 http://dx.doi.org/10.1109/iccv48922.2021.01474

LI Z Y ， JIN Y ， LI Y D ， et al . Learning part-alignment feature for person re-identification with spatial-temporal-based re-ranking method ［J］. World Wide Web ， 2020 ， 23 （ 3 ）： 1907 - 1923 . doi: 10.1007/s11280-019-00734-5 http://dx.doi.org/10.1007/s11280-019-00734-5

ZHOU Q Q ， ZHONG B N ， LAN X Y ， et al . Fine-grained spatial alignment model for person re-identification with focal triplet loss ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 7578 - 7589 . doi: 10.1109/tip.2020.3004267 http://dx.doi.org/10.1109/tip.2020.3004267

WANG P Y ， ZHAO Z C ， SU F ， et al . HOReID： deep high-order mapping enhances pose alignment for person re-identification ［J］. IEEE Transactions on Image Processing ， 2021 ， 30 ： 2908 - 2922 . doi: 10.1109/tip.2021.3055952 http://dx.doi.org/10.1109/tip.2021.3055952

唐一星 . 融合全局特征与局部特征的行人再识别研究［D］. 合肥：合肥工业大学， 2021 .

TANG Y X . Research on person re-identification based on fusing global features and local features ［D］. Hefei ： Hefei University of Technology ， 2021 . （in Chinese）

YANG J ， ZHANG C L ， TANG Y P ， et al . PAFM： pose-drive attention fusion mechanism for occluded person re-identification ［J］. Neural Computing and Applications ， 2022 ， 34 （ 10 ）： 8241 - 8252 . doi: 10.1007/s00521-022-06903-4 http://dx.doi.org/10.1007/s00521-022-06903-4

浏览量

237

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

GAN网络混合编码的行人再识别

多粒度特征融合的行人再识别研究