基于改进局部一致性约束的立体匹配算法

任晓奎; 关钧渤; 殷新勇; 陶志勇

doi:10.37188/CJLCD.2022-0226

您当前的位置：

首页 >

文章列表页 >

基于改进局部一致性约束的立体匹配算法

图像处理 | 更新时间：2023-04-10

- 基于改进局部一致性约束的立体匹配算法
- Stereo matching algorithm based on improved local consistency constraint
- 液晶与显示 2023年38卷第4期页码：543-553
- 作者机构：
  
  辽宁工程技术大学电子与信息工程学院，辽宁葫芦岛 125105
- 作者简介：
  
  [ "任晓奎（1965—），男，辽宁阜新人，学士，副教授，1989年于辽宁大学获得学士学位，主要从事电路与系统方面的研究。E-mail：7146765@qq.com" ]
  [ "关钧渤（1998—），男，辽宁鞍山人，硕士研究生，2020年于辽宁工程技术大学获得学士学位，主要从事图像处理方面的研究。E-mail：gjb16604120939@163.com" ]
- 基金信息：
  
  国家重点研发计划(2018YFB1403303);2021年教育厅项目(LJKZ0349)
- DOI：10.37188/CJLCD.2022-0226
  中图分类号： TP391.4
- 收稿日期：2022-07-04，
  
  修回日期：2022-08-11，
  
  纸质出版日期：2023-04-05
- 稿件说明：
移动端阅览
任晓奎, 关钧渤, 殷新勇, 等. 基于改进局部一致性约束的立体匹配算法[J]. 液晶与显示, 2023,38(4):543-553.

REN Xiao-kui, GUAN Jun-bo, YIN Xin-yong, et al. Stereo matching algorithm based on improved local consistency constraint[J]. Chinese journal of liquid crystals and displays, 2023, 38(4): 543-553.
任晓奎, 关钧渤, 殷新勇, 等. 基于改进局部一致性约束的立体匹配算法[J]. 液晶与显示, 2023,38(4):543-553. DOI： 10.37188/CJLCD.2022-0226.

REN Xiao-kui, GUAN Jun-bo, YIN Xin-yong, et al. Stereo matching algorithm based on improved local consistency constraint[J]. Chinese journal of liquid crystals and displays, 2023, 38(4): 543-553. DOI： 10.37188/CJLCD.2022-0226.

摘要

针对PatchMatchStereo立体匹配算法在实现倾斜平面时，因使用随机函数生成平面参数而导致算法计算量大且误匹配率高的问题，提出一种基于局部一致性约束的立体匹配算法。首先，通过对图像中的像素进行稀疏匹配获得视差置信度高的支撑点；其次，利用三角剖分为图像内各像素点确定一个三角平面，计算平面参数并分配给该平面内的点；然后，通过迭代传播为每个像素点找到更加准确的平面参数，构建出局部一致性平行窗口模型；最后，通过平面参数计算视差值并通过视差后处理优化视差。本文算法在Middlebury评估平台第三版标准测试数据集上进行实验，实验结果表明，处理后的平均误匹配率比PMS算法降低了4.39%，其中对单个图像的误匹配率最高降低15.42%。本文算法在降低误匹配率的同时提高了图像处理的效率，相较于其他算法具有显著的优越性。

Abstract

Aiming at the problem of large computational complexity and high mismatch rate caused by the use of random functions to generate planar parameters in the PatchMatchStereo stereo matching algorithm when implementing inclined planes， a stereo matching algorithm based on local consistency constraints is proposed. First， the algorithm obtains support points with high parallax confidence by sparse matching of pixels in the image. Second， the algorithm uses triangulation to determine a triangular plane for each pixel in the image， calculates the plane parameters and assigns them to the points in the plane. Then， a more accurate plane parameter is found for each pixel through iterative propagation， and a local consistent parallel window model is constructed. Finally， the disparity is calculated through the plane parameter and optimized through the disparity post-processing. The algorithm in this paper is tested on the standard test data set of the third edition of the Middlebury evaluation platform. The experimental results show that the average error matching rate after processing is 4.39% lower than that of the PMS algorithm， and the maximum error matching rate of a single image is reduced by 15.42%. The algorithm in this paper improves the efficiency of image processing while reducing the false matching rate， and has significant advantages over other algorithms.

关键词

Keywords

references

杜瑞建，葛宝臻，陈雷 . 多视高分辨率纹理图像与双目三维点云的映射方法［J］. 中国光学， 2020 ， 13 （ 5 ）： 1055 - 1064 . doi: 10.37188/CO.2020-0034 http://dx.doi.org/10.37188/CO.2020-0034

DU R J ， GE B Z ， CHEN L . Texture mapping of multi-view high-resolution images and binocular 3D point clouds ［J］. Chinese Optics ， 2020 ， 13 （ 5 ）： 1055 - 1064 . （in Chinese） . doi: 10.37188/CO.2020-0034 http://dx.doi.org/10.37188/CO.2020-0034

MAYER N ， ILG E ， HÄUSSER P ， et al . A large dataset to train convolutional networks for disparity， optical flow， and scene flow estimation ［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 4040 - 4048 . doi: 10.1109/cvpr.2016.438 http://dx.doi.org/10.1109/cvpr.2016.438

KENDALL A ， MARTIROSYAN H ， DASGUPTA S ， et al . End-to-end learning of geometry and context for deep stereo regression ［C］// 2017 IEEE International Conference on Computer Vision . Venice ： IEEE ， 2017 ： 66 - 75 . doi: 10.1109/iccv.2017.17 http://dx.doi.org/10.1109/iccv.2017.17

CHANG J R ， CHEN Y S . Pyramid stereo matching network ［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Salt Lake City ： IEEE ， 2018 ： 5410 - 5418 . doi: 10.1109/cvpr.2018.00567 http://dx.doi.org/10.1109/cvpr.2018.00567

李蓉，邓春健，邹昆 . 一种基于MRF的单幅图像数据的三维重构方法研究［J］. 液晶与显示， 2016 ， 31 （ 3 ）： 301 - 309 ． doi: 10.3788/yjyxs20163103.0301 http://dx.doi.org/10.3788/yjyxs20163103.0301

LI R ， DENG C J ， ZOU K . 3D reconstruction method based on single image data by MRF ［J］. Chinese Journal of Liquid Crystals and Displays ， 2016 ， 31 （ 3 ）： 301 - 309 . （in Chinese） . doi: 10.3788/yjyxs20163103.0301 http://dx.doi.org/10.3788/yjyxs20163103.0301

SCHARSTEIN D ， SZELISKI R . A taxonomy and evaluation of dense two-frame stereo correspondence algorithms ［J］. International Journal of Computer Vision ， 2002 ， 47 （ 1/3 ）： 7 - 42 . doi: 10.1023/a:1014573219977 http://dx.doi.org/10.1023/a:1014573219977

ZHANG Y D ， KHAMIS S ， RHEMANN C ， et al . ActiveStereoNet： end-to-end self-supervised learning for active stereo systems ［C］// 15th European Conference on Computer Vision . Munich ： Springer ， 2018 ： 802 - 819 . doi: 10.1007/978-3-030-01237-3_48 http://dx.doi.org/10.1007/978-3-030-01237-3_48

ŽBONTAR J ， LECUN Y . Stereo matching by training a convolutional neural network to compare image patches ［J］. The Journal of Machine Learning Research ， 2016 ， 17 （ 1 ）： 2287 - 2318 .

朱建鸿，王曹松，高美凤 . 一种改进的Census变换和自适应窗口的匹配算法［J］. 激光与光电子学进展， 2021 ， 58 （ 12 ）： 1215003 ． doi: 10.3788/LOP202158.1215003 http://dx.doi.org/10.3788/LOP202158.1215003

ZHU J H ， WANG C S ， GAO M F . An improved matching algorithm of census transform and adaptive window ［J］. Laser & Optoelectronics Progress ， 2021 ， 58 （ 12 ）： 1215003 . （in Chinese） . doi: 10.3788/LOP202158.1215003 http://dx.doi.org/10.3788/LOP202158.1215003

李大华，沈洪宇，于晓，等 . 一种改进Census变换的双目匹配测距方法［J］. 激光与光电子学进展， 2019 ， 56 （ 11 ）： 111503 ． doi: 10.3788/lop56.111503 http://dx.doi.org/10.3788/lop56.111503

LI D H ， SHEN H Y ， YU X ， et al . Binocular ranging method using stereo matching based on improved Census transform ［J］. Laser &. Optoelectronics Progress ， 2019 ， 56 （ 11 ）： 111503 . （in Chinese） . doi: 10.3788/lop56.111503 http://dx.doi.org/10.3788/lop56.111503

GUPTA R K ， CHO S Y . Stereo correspondence using efficient hierarchical belief propagation ［J］. Neural Computing and Applications ， 2012 ， 21 （ 7 ）： 1585 - 1592 . doi: 10.1007/s00521-012-0831-7 http://dx.doi.org/10.1007/s00521-012-0831-7

HU T B ， QI B J ， WU T ， et al . Stereo matching using weighted dynamic programming on a single-direction four-connected tree ［J］. Computer Vision and Image Understanding ， 2012 ， 116 （ 8 ）： 908 - 921 . doi: 10.1016/j.cviu.2012.04.003 http://dx.doi.org/10.1016/j.cviu.2012.04.003

YIN J H ， ZHU H M ， YUAN D ， et al . Sparse representation over discriminative dictionary for stereo matching ［J］. Pattern Recognition ， 2017 ， 71 ： 278 - 289 . doi: 10.1016/j.patcog.2017.06.015 http://dx.doi.org/10.1016/j.patcog.2017.06.015

张建业，朴燕 . 基于改进稳态匹配概率的立体匹配算法研究［J］. 液晶与显示， 2018 ， 33 （ 4 ）： 357 - 364 . doi: 10.3788/yjyxs20183304.0357 http://dx.doi.org/10.3788/yjyxs20183304.0357

ZHANG J Y ， PIAO Y . Stereo matching algorithm based on improved steady-state matching probability ［J］. Chinese Journal of Liquid Crystals and Displays ， 2018 ， 33 （ 4 ）： 357 - 364 . （in Chinese） . doi: 10.3788/yjyxs20183304.0357 http://dx.doi.org/10.3788/yjyxs20183304.0357

MA L ， LI J J ， MA J ， et al . A modified census transform based on the neighborhood information for stereo matching algorithm ［C］// Seventh International Conference on Image and Graphics . Qingdao ： IEEE ， 2013 ： 533 - 538 . doi: 10.1109/icig.2013.113 http://dx.doi.org/10.1109/icig.2013.113

赵杰，陈小梅，侯玮旻，等 . 基于城市遥感卫星影像对的立体匹配［J］. 光学精密工程， 2022 ， 30 （ 7 ）： 830 - 839 . doi: 10.37188/OPE.20223007.0830 http://dx.doi.org/10.37188/OPE.20223007.0830

ZHAO J ， CHEN X M ， HOU W M ， et al . Stereo matching based on urban satellite remote sensing image pair ［J］. Optics and Precision Engineering ， 2022 ， 30 （ 7 ）： 830 - 839 . （in Chinese） . doi: 10.37188/OPE.20223007.0830 http://dx.doi.org/10.37188/OPE.20223007.0830

HIRSCHMULLER H . Accurate and efficient stereo processing by semi-global matching and mutual information ［C］// IEEE Computer Society Conference on Computer Vision and Pattern Recognition . San Diego ： IEEE ， 2005 ： 807 - 814 . doi: 10.1109/cvpr.2005.4 http://dx.doi.org/10.1109/cvpr.2005.4

ZUO C ， QIAN J M ， FENG S J ， et al . Deep learning in optical metrology： a review ［J］. Light： Science & Applications ， 2022 ， 11 （ 1 ）： 39 . doi: 10.1038/s41377-022-00714-x http://dx.doi.org/10.1038/s41377-022-00714-x

NAHAR S ， JOSHI M V . A learned sparseness and IGMRF-based regularization framework for dense disparity estimation using unsupervised feature learning ［J］. IPSJ Transactions on Computer Vision and Applications ， 2017 ， 9 （ 1 ）： 2 . doi: 10.1186/s41074-016-0013-0 http://dx.doi.org/10.1186/s41074-016-0013-0

PAN C ， LIU Y Q ， HUANG D P . Novel belief propagation algorithm for stereo matching with a robust cost computation ［J］. IEEE Access ， 2019 ， 7 ： 29699 - 29708 . doi: 10.1109/access.2019.2902249 http://dx.doi.org/10.1109/access.2019.2902249

YAO P ， ZHANG H ， XUE Y B ， et al . As-global-as-possible stereo matching with adaptive smoothness prior ［J］ IET Image Process ， 2019 ， 13 （ 1 ）： 98 - 107 . doi: 10.1049/iet-ipr.2018.5801 http://dx.doi.org/10.1049/iet-ipr.2018.5801

李新春，殷新勇，林森 . 改进窗口特征及微分算子的立体匹配算法［J］. 激光与光电子学进展， 2020 ， 57 （ 8 ）： 081504 ． doi: 10.3788/lop57.081504 http://dx.doi.org/10.3788/lop57.081504

LI X C ， YIN X Y ， LIN S . Stereo matching by improved window characteristics and differential operators ［J］. Laser & Optoelectronics Progress ， 2020 ， 57 （ 8 ）： 081504 . （in Chinese） . doi: 10.3788/lop57.081504 http://dx.doi.org/10.3788/lop57.081504

刘建明，何晴，陈辉 . 基于改进Census变换与颜色梯度融合的立体匹配［J］. 微电子学与计算机， 2021 ， 38 （ 9 ）： 38 - 44 ．

LIU J M ， HE Q ， CHEN H . Stereo matching based on improved Census transform and color gradient fusion ［J］. Microelectronics & Computer ， 2021 ， 38 （ 9 ）： 38 - 44 . （in Chinese）

BLEYER M ， RHEMANN C ， ROTHER C . PatchMatch stereo-stereo matching with slanted support windows ［C］// British Machine Vision Conference . Dundee ： BMVA Press ， 2011 ： 1 - 11 . doi: 10.5244/c.25.14 http://dx.doi.org/10.5244/c.25.14

SCHARSTEIN D ， SZELISKI R ， HIRSCHMÜLLER H . Middlebury stereo vision page ［EB/OL］. 2014-10-15 ［ 2019-08-26 ］. https：//vision.middlebury.edu/stereo/ https://vision.middlebury.edu/stereo/ .

ZHANG F H ， PRISACARIU V ， YANG R G ， et al . GA-Net： guided aggregation net for end-to-end stereo matching ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 185 - 194 . doi: 10.1109/cvpr.2019.00027 http://dx.doi.org/10.1109/cvpr.2019.00027

MEI X ， SUN X ， ZHOU M C ， et al . On building an accurate stereo matching system on graphics hardware ［C］// IEEE International Conference on Computer Vision Workshops . Barcelona ： IEEE ， 2012 ： 467 - 474 . doi: 10.1109/iccvw.2011.6130280 http://dx.doi.org/10.1109/iccvw.2011.6130280

浏览量

279

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

TFT-LCD表面Mura缺陷的AOI检测研究进展

基于OpenCV的双波长光纤导引光在高精度装调上的应用

基于FPGA的分段近似双边滤波算法设计与实现

基于改进YOLOv7的小目标焊点缺陷检测算法