基于边缘引导的光场图像显著性检测

梁晓; 邓慧萍; 向森; 吴谨

doi:10.37188/CJLCD.2022-0239

您当前的位置：

首页 >

文章列表页 >

基于边缘引导的光场图像显著性检测

图像处理 | 更新时间：2023-05-09

- 基于边缘引导的光场图像显著性检测
- Edge-guided light field image saliency detection
- 液晶与显示 2023年38卷第5期页码：644-655
- 作者机构：
  
  1.武汉科技大学信息科学与工程学院，湖北武汉 430081
  2.武汉科技大学冶金自动化与检测技术教育部工程研究中心，湖北武汉 430081
- 作者简介：
  
  [ "梁晓（1996—），女，河南平顶山人，硕士研究生，2022年于武汉科技大学获得学士学位，主要从事图形图像处理、机器学习等方面的研究。E-mail：2646749251@qq.com" ]
  [ "邓慧萍（1983—），女，湖北应城人，博士，副教授，2013年于华中科技大学获得博士学位，主要从事3D视频与图像的处理、机器学习、三维信息测量等方面的研究。E-mail：denghuiping@wust.edu.cn" ]
- 基金信息：
  
  国家自然科学基金(61702384;61502357)
- DOI：10.37188/CJLCD.2022-0239
  中图分类号： TP391
- 收稿日期：2022-07-11，
  
  修回日期：2022-08-16，
  
  纸质出版日期：2023-05-05
- 稿件说明：
移动端阅览
梁晓, 邓慧萍, 向森, 等. 基于边缘引导的光场图像显著性检测[J]. 液晶与显示, 2023,38(5):644-655.

LIANG Xiao, DENG Hui-ping, XIANG Sen, et al. Edge-guided light field image saliency detection[J]. Chinese journal of liquid crystals and displays, 2023, 38(5): 644-655.
梁晓, 邓慧萍, 向森, 等. 基于边缘引导的光场图像显著性检测[J]. 液晶与显示, 2023,38(5):644-655. DOI： 10.37188/CJLCD.2022-0239.

LIANG Xiao, DENG Hui-ping, XIANG Sen, et al. Edge-guided light field image saliency detection[J]. Chinese journal of liquid crystals and displays, 2023, 38(5): 644-655. DOI： 10.37188/CJLCD.2022-0239.

摘要

针对光场图像显著性检测存在检测目标不完整、边缘模糊的问题，本文提出了一种基于边缘引导的光场图像显著性检测方法。利用边缘增强网络提取全聚焦图像的主体图和边缘增强图，结合主体图和焦堆栈图像所提取的特征获得初始显著图，以提高检测结果的准确性和完整性；将初始显著图和边缘增强图通过特征融合模块进一步学习边缘特性的信息，突出边缘细节信息；最后，使用边界混合损失函数优化以获得边界更为清晰的显著图。实验结果表明，本文所提出的网络在最新的光场图像数据集上，F-measure和MAE分别为0.88和0.046，表现均优于现有的RGB图像、RGB-D 图像和光场图像显著性检测算法。所提方法能够更加精确地从复杂场景中检测出完整的显著对象，获得边缘清晰的显著图。

Abstract

Aiming at the problems of incomplete detection targets and blurred edges in light field image saliency detection， this paper proposes an edge-guided light field image saliency detection method. The edge enhancement network is used to extract the main image and edge enhancement image of all-focus image， and the initial saliency map is obtained by combining the features extracted from the main image and focal stack image to improve the accuracy and completeness of detection results. The initial saliency map and edge enhancement further learns the information of edge characteristics and highlights the edge details through the feature fusion module. Finally， the boundary mixing loss function is used to optimize the saliency map with clearer boundaries. The experimental results show that on the latest light field data set， F-measure and MAE are 0.88 and 0.046 respectively， which are better than the existing RGB images， RGB-D images and light field image saliency detection algorithms. The proposed method can more accurately detect complete salient objects from complex scenes， and obtain saliency maps with clear edges.

关键词

Keywords

references

ADELSON E H ， WANG J Y A . Single lens stereo with a plenoptic camera ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 1992 ， 14 （ 2 ）： 99 - 106 . doi: 10.1109/34.121783 http://dx.doi.org/10.1109/34.121783

陈晓冬，盛婧，杨晋，等 . 多参数Gabor预处理融合多尺度局部水平集的超声图像分割［J］. 中国光学， 2020 ， 13 （ 5 ）： 1075 - 1084 . doi: 10.37188/co.2020-0025 http://dx.doi.org/10.37188/co.2020-0025

CHEN X D ， SHENG J ， YANG J ， et al . Ultrasound image segmentation based on a multi-parameter Gabor filter and multiscale local level set method ［J］. Chinese Optics ， 2020 ， 13 （ 5 ）： 1075 - 1084 . （in Chinese） . doi: 10.37188/co.2020-0025 http://dx.doi.org/10.37188/co.2020-0025

冯洁，王世刚，韦健，等 . 结合相机阵列选择性光场重聚焦的显著性检测［J］. 中国光学， 2021 ， 14 （ 3 ）： 587 - 595 . doi: 10.37188/co.2020-0165 http://dx.doi.org/10.37188/co.2020-0165

FENG J ， WANG S G ， WEI J ， et al . Saliency detection combined with selective light field refocusing of camera array ［J］. Chinese Optics ， 2021 ， 14 （ 3 ）： 587 - 595 . （in Chinese） . doi: 10.37188/co.2020-0165 http://dx.doi.org/10.37188/co.2020-0165

张晓梦，张涛 . 基于FPGA实现CT图像重建加速的设计［J］. 液晶与显示， 2014 ， 29 （ 3 ）： 455 - 460 . doi: 10.3788/yjyxs20142903.0455 http://dx.doi.org/10.3788/yjyxs20142903.0455

ZHANG X M ， ZHANG T . Design of CT image reconstruction acceleration based on FPGA ［J］. Chinese Journal of Liquid Crystals and Displays ， 2014 ， 29 （ 3 ）： 455 - 460 . （in Chinese） . doi: 10.3788/yjyxs20142903.0455 http://dx.doi.org/10.3788/yjyxs20142903.0455

WANG T T ， PIAO Y R ， LU H C ， et al . Deep learning for light field saliency detection ［C］// Proceedings of 2019 IEEE/CVF International Conference on Computer Vision . Seoul ： IEEE ， 2019 ： 8837 - 8847 . doi: 10.1109/iccv.2019.00893 http://dx.doi.org/10.1109/iccv.2019.00893

ZHANG J ， LIU Y M ， ZHANG S P ， et al . Light field saliency detection with deep convolutional networks ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 4421 - 4434 . doi: 10.1109/tip.2020.2970529 http://dx.doi.org/10.1109/tip.2020.2970529

ZHANG M ， LI J J ， JI W ， et al . Memory-oriented decoder for light field salient object detection ［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems . Vancouver ： ACM ， 2019 ： 81 .

ZHANG M ， JI W ， PIAO Y R ， et al . LFNet： light field fusion network for salient object detection ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 6276 - 6287 . doi: 10.1109/tip.2020.2990341 http://dx.doi.org/10.1109/tip.2020.2990341

PIAO Y R ， RONG Z K ， ZHANG M ， et al . Exploit and replace： an asymmetrical two-stream architecture for versatile light field saliency detection ［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence . New York ： AAAI ， 2020 ： 11865 - 11873 . doi: 10.1609/aaai.v34i07.6860 http://dx.doi.org/10.1609/aaai.v34i07.6860

PIAO Y R ， JIANG Y Y ， ZHANG M ， et al . PANet： patch-aware network for light field salient object detection ［J］. IEEE Transactions on Cybernetics ， 2023 ， 53 （ 1 ）： 379 - 391 . doi: 10.1109/tcyb.2021.3095512 http://dx.doi.org/10.1109/tcyb.2021.3095512

FENG M Y ， LU H C ， DING E R . Attentive feedback network for boundary-aware salient object detection ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 1623 - 1632 . doi: 10.1109/cvpr.2019.00172 http://dx.doi.org/10.1109/cvpr.2019.00172

QIN X B ， ZHANG Z C ， HUANG C Y ， et al . BASNet： boundary-aware salient object detection ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 7471 - 7481 . doi: 10.1109/cvpr.2019.00766 http://dx.doi.org/10.1109/cvpr.2019.00766

PANG Y W ， ZHAO X Q ， ZHANG L H ， et al . Multi-scale interactive network for salient object detection ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020 ： 9410 - 9419 . doi: 10.1109/cvpr42600.2020.00943 http://dx.doi.org/10.1109/cvpr42600.2020.00943

WEI J ， WANG S H ， HUANG Q M . F 3 Net： fusion， feedback and focus for salient object detection ［C］// Proceedings of the 34nd AAAI Conference on Artificial Intelligence . New York ： AAAI ， 2020 ： 12321 - 12328 . doi: 10.1609/aaai.v34i07.6916 http://dx.doi.org/10.1609/aaai.v34i07.6916

HOU Q B ， CHENG M M ， HU X W ， et al . Deeply supervised salient object detection with short connections ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2019 ， 41 （ 4 ）： 815 - 828 . doi: 10.1109/tpami.2018.2815688 http://dx.doi.org/10.1109/tpami.2018.2815688

ZHAO J X ， LIU J J ， FAN D P ， et al . EGNet： edge guidance network for salient object detection ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision . Seoul ： IEEE ， 2019 ： 8778 - 8787 . doi: 10.1109/iccv.2019.00887 http://dx.doi.org/10.1109/iccv.2019.00887

WU Z ， SU L ， HUANG Q M . Stacked cross refinement network for edge-aware salient object detection ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision . Seoul ： IEEE ， 2019 ： 7264 - 7273 . doi: 10.1109/iccv.2019.00736 http://dx.doi.org/10.1109/iccv.2019.00736

SU J M ， LI J ， ZHANG Y ， et al . Selectivity or invariance： boundary-aware salient object detection ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision . Seoul ： IEEE ， 2019 ： 3798 - 3807 . doi: 10.1109/iccv.2019.00390 http://dx.doi.org/10.1109/iccv.2019.00390

WEI J ， WANG S H ， WU Z ， et al . Label decoupling framework for salient object detection ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020 ： 13022 - 13031 . doi: 10.1109/cvpr42600.2020.01304 http://dx.doi.org/10.1109/cvpr42600.2020.01304

WOO S ， PARK J ， LEE J Y ， et al . CBAM： convolutional block attention module ［C］// Proceedings of the 15th European Conference on Computer Vision . Munich ： Springer ， 2018 ： 3 - 19 . doi: 10.1007/978-3-030-01234-2_1 http://dx.doi.org/10.1007/978-3-030-01234-2_1

LI N Y ， YE J W ， JI Y ， et al . Saliency detection on light field ［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition . Columbus ： IEEE ， 2014 ： 2806 - 2813 . doi: 10.1109/cvpr.2014.359 http://dx.doi.org/10.1109/cvpr.2014.359

SIMONYAN K ， ZISSERMAN A . Very deep convolutional networks for large-scale image recognition ［C］// Proceedings of the 3rd International Conference on Learning Representations . San Diego ： ICLR ， 2015 .

WANG X ， DONG Y Y ， ZHANG Q ， et al . Region-based depth feature descriptor for saliency detection on light field ［J］. Multimedia Tools and Applications ， 2021 ， 80 （ 11 ）： 16329 - 16346 . doi: 10.1007/s11042-020-08890-x http://dx.doi.org/10.1007/s11042-020-08890-x

李爽，邓慧萍，朱磊，等 . 联合聚焦度和传播机制的光场图像显著性检测［J］. 中国图象图形学报， 2020 ， 25 （ 12 ）： 2578 - 2586 . doi: 10.11834/jig.190675 http://dx.doi.org/10.11834/jig.190675

LI S ， DENG H P ， ZHU L ， et al . Saliency detection on a light field via the focusness and propagation mechanism ［J］. Journal of Image and Graphics ， 2020 ， 25 （ 12 ）： 2578 - 2586 . （in Chinese） . doi: 10.11834/jig.190675 http://dx.doi.org/10.11834/jig.190675

LIU N ， ZHANG N ， HAN J W . Learning selective self-mutual attention for RGB-D saliency detection ［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020 ： 13753 - 13762 . doi: 10.1109/cvpr42600.2020.01377 http://dx.doi.org/10.1109/cvpr42600.2020.01377

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于多级联递进卷积结构的图像去雨算法

基于深度学习的计算全息显示进展

基于空间角度解耦融合网络的光场重建

基于预处理卷积神经网络提升3D光场显示视觉分辨率的方法