Stereo matching algorithm based on improved local consistency constraint

REN Xiao-kui; GUAN Jun-bo; YIN Xin-yong; TAO Zhi-yong

doi:10.37188/CJLCD.2022-0226

您当前的位置：

首页 >

文章列表页 >

Stereo matching algorithm based on improved local consistency constraint

Image Processing | 更新时间：2023-04-10

- Stereo matching algorithm based on improved local consistency constraint
- Chinese Journal of Liquid Crystals and Displays Vol. 38, Issue 4, Pages: 543-553(2023)
- 作者机构：
  
  辽宁工程技术大学电子与信息工程学院，辽宁葫芦岛 125105
- 作者简介：
- 基金信息：
  
  National Key Research and Development Program(2018YFB1403303);2021 Education Department Project(LJKZ0349)
- DOI：10.37188/CJLCD.2022-0226
  CLC： TP391.4
- Received：04 July 2022，
  
  Revised：11 August 2022，
  
  Published：05 April 2023
- 稿件说明：
移动端阅览
REN Xiao-kui, GUAN Jun-bo, YIN Xin-yong, et al. Stereo matching algorithm based on improved local consistency constraint[J]. Chinese journal of liquid crystals and displays, 2023, 38(4): 543-553.
DOI：

REN Xiao-kui, GUAN Jun-bo, YIN Xin-yong, et al. Stereo matching algorithm based on improved local consistency constraint[J]. Chinese journal of liquid crystals and displays, 2023, 38(4): 543-553. DOI： 10.37188/CJLCD.2022-0226.

摘要

针对PatchMatchStereo立体匹配算法在实现倾斜平面时，因使用随机函数生成平面参数而导致算法计算量大且误匹配率高的问题，提出一种基于局部一致性约束的立体匹配算法。首先，通过对图像中的像素进行稀疏匹配获得视差置信度高的支撑点；其次，利用三角剖分为图像内各像素点确定一个三角平面，计算平面参数并分配给该平面内的点；然后，通过迭代传播为每个像素点找到更加准确的平面参数，构建出局部一致性平行窗口模型；最后，通过平面参数计算视差值并通过视差后处理优化视差。本文算法在Middlebury评估平台第三版标准测试数据集上进行实验，实验结果表明，处理后的平均误匹配率比PMS算法降低了4.39%，其中对单个图像的误匹配率最高降低15.42%。本文算法在降低误匹配率的同时提高了图像处理的效率，相较于其他算法具有显著的优越性。

Abstract

Aiming at the problem of large computational complexity and high mismatch rate caused by the use of random functions to generate planar parameters in the PatchMatchStereo stereo matching algorithm when implementing inclined planes， a stereo matching algorithm based on local consistency constraints is proposed. First， the algorithm obtains support points with high parallax confidence by sparse matching of pixels in the image. Second， the algorithm uses triangulation to determine a triangular plane for each pixel in the image， calculates the plane parameters and assigns them to the points in the plane. Then， a more accurate plane parameter is found for each pixel through iterative propagation， and a local consistent parallel window model is constructed. Finally， the disparity is calculated through the plane parameter and optimized through the disparity post-processing. The algorithm in this paper is tested on the standard test data set of the third edition of the Middlebury evaluation platform. The experimental results show that the average error matching rate after processing is 4.39% lower than that of the PMS algorithm， and the maximum error matching rate of a single image is reduced by 15.42%. The algorithm in this paper improves the efficiency of image processing while reducing the false matching rate， and has significant advantages over other algorithms.

关键词

Keywords

references

杜瑞建，葛宝臻，陈雷 . 多视高分辨率纹理图像与双目三维点云的映射方法［J］. 中国光学， 2020 ， 13 （ 5 ）： 1055 - 1064 . doi: 10.37188/CO.2020-0034 http://dx.doi.org/10.37188/CO.2020-0034

DU R J ， GE B Z ， CHEN L . Texture mapping of multi-view high-resolution images and binocular 3D point clouds ［J］. Chinese Optics ， 2020 ， 13 （ 5 ）： 1055 - 1064 . （in Chinese） . doi: 10.37188/CO.2020-0034 http://dx.doi.org/10.37188/CO.2020-0034

MAYER N ， ILG E ， HÄUSSER P ， et al . A large dataset to train convolutional networks for disparity， optical flow， and scene flow estimation ［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 4040 - 4048 . doi: 10.1109/cvpr.2016.438 http://dx.doi.org/10.1109/cvpr.2016.438

KENDALL A ， MARTIROSYAN H ， DASGUPTA S ， et al . End-to-end learning of geometry and context for deep stereo regression ［C］// 2017 IEEE International Conference on Computer Vision . Venice ： IEEE ， 2017 ： 66 - 75 . doi: 10.1109/iccv.2017.17 http://dx.doi.org/10.1109/iccv.2017.17

CHANG J R ， CHEN Y S . Pyramid stereo matching network ［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Salt Lake City ： IEEE ， 2018 ： 5410 - 5418 . doi: 10.1109/cvpr.2018.00567 http://dx.doi.org/10.1109/cvpr.2018.00567

李蓉，邓春健，邹昆 . 一种基于MRF的单幅图像数据的三维重构方法研究［J］. 液晶与显示， 2016 ， 31 （ 3 ）： 301 - 309 ． doi: 10.3788/yjyxs20163103.0301 http://dx.doi.org/10.3788/yjyxs20163103.0301

LI R ， DENG C J ， ZOU K . 3D reconstruction method based on single image data by MRF ［J］. Chinese Journal of Liquid Crystals and Displays ， 2016 ， 31 （ 3 ）： 301 - 309 . （in Chinese） . doi: 10.3788/yjyxs20163103.0301 http://dx.doi.org/10.3788/yjyxs20163103.0301

SCHARSTEIN D ， SZELISKI R . A taxonomy and evaluation of dense two-frame stereo correspondence algorithms ［J］. International Journal of Computer Vision ， 2002 ， 47 （ 1/3 ）： 7 - 42 . doi: 10.1023/a:1014573219977 http://dx.doi.org/10.1023/a:1014573219977

ZHANG Y D ， KHAMIS S ， RHEMANN C ， et al . ActiveStereoNet： end-to-end self-supervised learning for active stereo systems ［C］// 15th European Conference on Computer Vision . Munich ： Springer ， 2018 ： 802 - 819 . doi: 10.1007/978-3-030-01237-3_48 http://dx.doi.org/10.1007/978-3-030-01237-3_48

ŽBONTAR J ， LECUN Y . Stereo matching by training a convolutional neural network to compare image patches ［J］. The Journal of Machine Learning Research ， 2016 ， 17 （ 1 ）： 2287 - 2318 .

朱建鸿，王曹松，高美凤 . 一种改进的Census变换和自适应窗口的匹配算法［J］. 激光与光电子学进展， 2021 ， 58 （ 12 ）： 1215003 ． doi: 10.3788/LOP202158.1215003 http://dx.doi.org/10.3788/LOP202158.1215003

ZHU J H ， WANG C S ， GAO M F . An improved matching algorithm of census transform and adaptive window ［J］. Laser & Optoelectronics Progress ， 2021 ， 58 （ 12 ）： 1215003 . （in Chinese） . doi: 10.3788/LOP202158.1215003 http://dx.doi.org/10.3788/LOP202158.1215003

李大华，沈洪宇，于晓，等 . 一种改进Census变换的双目匹配测距方法［J］. 激光与光电子学进展， 2019 ， 56 （ 11 ）： 111503 ． doi: 10.3788/lop56.111503 http://dx.doi.org/10.3788/lop56.111503

LI D H ， SHEN H Y ， YU X ， et al . Binocular ranging method using stereo matching based on improved Census transform ［J］. Laser &. Optoelectronics Progress ， 2019 ， 56 （ 11 ）： 111503 . （in Chinese） . doi: 10.3788/lop56.111503 http://dx.doi.org/10.3788/lop56.111503

GUPTA R K ， CHO S Y . Stereo correspondence using efficient hierarchical belief propagation ［J］. Neural Computing and Applications ， 2012 ， 21 （ 7 ）： 1585 - 1592 . doi: 10.1007/s00521-012-0831-7 http://dx.doi.org/10.1007/s00521-012-0831-7

HU T B ， QI B J ， WU T ， et al . Stereo matching using weighted dynamic programming on a single-direction four-connected tree ［J］. Computer Vision and Image Understanding ， 2012 ， 116 （ 8 ）： 908 - 921 . doi: 10.1016/j.cviu.2012.04.003 http://dx.doi.org/10.1016/j.cviu.2012.04.003

YIN J H ， ZHU H M ， YUAN D ， et al . Sparse representation over discriminative dictionary for stereo matching ［J］. Pattern Recognition ， 2017 ， 71 ： 278 - 289 . doi: 10.1016/j.patcog.2017.06.015 http://dx.doi.org/10.1016/j.patcog.2017.06.015

张建业，朴燕 . 基于改进稳态匹配概率的立体匹配算法研究［J］. 液晶与显示， 2018 ， 33 （ 4 ）： 357 - 364 . doi: 10.3788/yjyxs20183304.0357 http://dx.doi.org/10.3788/yjyxs20183304.0357

ZHANG J Y ， PIAO Y . Stereo matching algorithm based on improved steady-state matching probability ［J］. Chinese Journal of Liquid Crystals and Displays ， 2018 ， 33 （ 4 ）： 357 - 364 . （in Chinese） . doi: 10.3788/yjyxs20183304.0357 http://dx.doi.org/10.3788/yjyxs20183304.0357

MA L ， LI J J ， MA J ， et al . A modified census transform based on the neighborhood information for stereo matching algorithm ［C］// Seventh International Conference on Image and Graphics . Qingdao ： IEEE ， 2013 ： 533 - 538 . doi: 10.1109/icig.2013.113 http://dx.doi.org/10.1109/icig.2013.113

赵杰，陈小梅，侯玮旻，等 . 基于城市遥感卫星影像对的立体匹配［J］. 光学精密工程， 2022 ， 30 （ 7 ）： 830 - 839 . doi: 10.37188/OPE.20223007.0830 http://dx.doi.org/10.37188/OPE.20223007.0830

ZHAO J ， CHEN X M ， HOU W M ， et al . Stereo matching based on urban satellite remote sensing image pair ［J］. Optics and Precision Engineering ， 2022 ， 30 （ 7 ）： 830 - 839 . （in Chinese） . doi: 10.37188/OPE.20223007.0830 http://dx.doi.org/10.37188/OPE.20223007.0830

HIRSCHMULLER H . Accurate and efficient stereo processing by semi-global matching and mutual information ［C］// IEEE Computer Society Conference on Computer Vision and Pattern Recognition . San Diego ： IEEE ， 2005 ： 807 - 814 . doi: 10.1109/cvpr.2005.4 http://dx.doi.org/10.1109/cvpr.2005.4

ZUO C ， QIAN J M ， FENG S J ， et al . Deep learning in optical metrology： a review ［J］. Light： Science & Applications ， 2022 ， 11 （ 1 ）： 39 . doi: 10.1038/s41377-022-00714-x http://dx.doi.org/10.1038/s41377-022-00714-x

NAHAR S ， JOSHI M V . A learned sparseness and IGMRF-based regularization framework for dense disparity estimation using unsupervised feature learning ［J］. IPSJ Transactions on Computer Vision and Applications ， 2017 ， 9 （ 1 ）： 2 . doi: 10.1186/s41074-016-0013-0 http://dx.doi.org/10.1186/s41074-016-0013-0

PAN C ， LIU Y Q ， HUANG D P . Novel belief propagation algorithm for stereo matching with a robust cost computation ［J］. IEEE Access ， 2019 ， 7 ： 29699 - 29708 . doi: 10.1109/access.2019.2902249 http://dx.doi.org/10.1109/access.2019.2902249

YAO P ， ZHANG H ， XUE Y B ， et al . As-global-as-possible stereo matching with adaptive smoothness prior ［J］ IET Image Process ， 2019 ， 13 （ 1 ）： 98 - 107 . doi: 10.1049/iet-ipr.2018.5801 http://dx.doi.org/10.1049/iet-ipr.2018.5801

李新春，殷新勇，林森 . 改进窗口特征及微分算子的立体匹配算法［J］. 激光与光电子学进展， 2020 ， 57 （ 8 ）： 081504 ． doi: 10.3788/lop57.081504 http://dx.doi.org/10.3788/lop57.081504

LI X C ， YIN X Y ， LIN S . Stereo matching by improved window characteristics and differential operators ［J］. Laser & Optoelectronics Progress ， 2020 ， 57 （ 8 ）： 081504 . （in Chinese） . doi: 10.3788/lop57.081504 http://dx.doi.org/10.3788/lop57.081504

刘建明，何晴，陈辉 . 基于改进Census变换与颜色梯度融合的立体匹配［J］. 微电子学与计算机， 2021 ， 38 （ 9 ）： 38 - 44 ．

LIU J M ， HE Q ， CHEN H . Stereo matching based on improved Census transform and color gradient fusion ［J］. Microelectronics & Computer ， 2021 ， 38 （ 9 ）： 38 - 44 . （in Chinese）

BLEYER M ， RHEMANN C ， ROTHER C . PatchMatch stereo-stereo matching with slanted support windows ［C］// British Machine Vision Conference . Dundee ： BMVA Press ， 2011 ： 1 - 11 . doi: 10.5244/c.25.14 http://dx.doi.org/10.5244/c.25.14

SCHARSTEIN D ， SZELISKI R ， HIRSCHMÜLLER H . Middlebury stereo vision page ［EB/OL］. 2014-10-15 ［ 2019-08-26 ］. https：//vision.middlebury.edu/stereo/ https://vision.middlebury.edu/stereo/ .

ZHANG F H ， PRISACARIU V ， YANG R G ， et al . GA-Net： guided aggregation net for end-to-end stereo matching ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 185 - 194 . doi: 10.1109/cvpr.2019.00027 http://dx.doi.org/10.1109/cvpr.2019.00027

MEI X ， SUN X ， ZHOU M C ， et al . On building an accurate stereo matching system on graphics hardware ［C］// IEEE International Conference on Computer Vision Workshops . Barcelona ： IEEE ， 2012 ： 467 - 474 . doi: 10.1109/iccvw.2011.6130280 http://dx.doi.org/10.1109/iccvw.2011.6130280

Views

437

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Development of AOI inspection of Mura defects on TFT-LCD surface

Application of dual-wavelength fiber guided light based on OpenCV in high-precision assembly and alignment

Design and implementation of piecewise approximation bilateral filtering algorithm based on FPGA

Defect detection of small object solder joints based on improved YOLOv7

Related Author

YIN Xin-yong

Tao Zhi-yong

CHEN Zekang

SHEN Yi

ZHAI Chenyang

DONG Chenyao

WANG Shuangxi

LÜ Guanhui

Related Institution

College of Engineering， Shantou University

Guangdong Provincial Key Laboratory of Automotive Display and Touch Technologies

College of Mechanical and Electrical Engineering， Hainan University

Key Laboratory of Chemical Lasers， Dalian Institute of Chemical Physics， Chinese Academy of Sciences

School of Microelectronics， Shanghai University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰