Point cloud denoising method based on image segmentation

LONG Jia-le; DU Zi-hao; ZHANG Jian-min; CHEN Fu-jian; GUAN Hao-yuan; HUANG Ke-sen; SUN Rui

doi:10.37188/CJLCD.2022-0171

您当前的位置：

首页 >

文章列表页 >

Point cloud denoising method based on image segmentation

Image Processing | 更新时间：2023-03-15

- Point cloud denoising method based on image segmentation
- Chinese Journal of Liquid Crystals and Displays Vol. 38, Issue 1, Pages: 104-117(2023)
- 作者机构：
  
  1.五邑大学智能制造学部，广东江门 529020
  2.北京小米移动软件有限公司，广东深圳 518054
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(62075168);Natural Science Foundation of Guangdong Province(2020A1515011088);Key scientific research platforms and projects of ordinary universities in Guangdong Province(2021KCXTD051);Key Projects of Basic and Applied Basic Research of Jiangmen(2021030103730007331);Wuyi University College Students Innovation and Entrepreneurship Training Program(S202011349043S)
- DOI：10.37188/CJLCD.2022-0171
  CLC： TP391.41;TN206
- Received：17 May 2022，
  
  Revised：20 June 2022，
  
  Published：05 January 2023
- 稿件说明：
移动端阅览
LONG Jia-le, DU Zi-hao, ZHANG Jian-min, et al. Point cloud denoising method based on image segmentation[J]. Chinese journal of liquid crystals and displays, 2023, 38(1): 104-117.
DOI：

LONG Jia-le, DU Zi-hao, ZHANG Jian-min, et al. Point cloud denoising method based on image segmentation[J]. Chinese journal of liquid crystals and displays, 2023, 38(1): 104-117. DOI： 10.37188/CJLCD.2022-0171.

摘要

在基于结构光条纹投影的三维形貌测量中，由于环境等各种因素的影响会产生各种噪声。在现有的点云去噪方法中，通过分析三维空间和点云的几何关系进行点云噪声的去除存在计算复杂、效率低等问题。为了提高点云精度和点云去噪的速度，提出了一种基于图像分割的点云去噪方法。首先，根据结构光条纹投影重构的三维点云建立二维点云映射图像；其次，利用图像阈值分割方法和区域生长方法对二维点云映射图像进行图像分割；然后，对分割出的噪声区域进行记录并去除；最后，对新的二维点云映射图像重新进行三维重建得出去除噪声的点云。实验结果表明，经过该方法处理后点云精度可以达到99.974%，去噪时间为0.954 s。所提方法可以有效去除点云噪声，避免在三维空间进行复杂的计算。

Abstract

In the three-dimensional （3D） shape measurement based on structural light fringe projection， various factors due to such as environmental environment can produce point cloud noise. In the existing point cloud denoising method， the point cloud denoising needs to be carried out by analyzing the geometric relationship between 3D space and point cloud， and is faced with a series of problems such as complex calculation and low efficiency. In order to improve point cloud accuracy and denosing speed， a point cloud denoising method is proposed based on image segmentation. Firstly， a 2D point cloud map image is established according to the 3D point cloud reconstructed by structured light fringe projection. Secondly， segmentation of 2D point cloud map image is performed by using threshold segmentation method and region growing method. Then， the segmented noise area is recorded and removed. Finally， the new 2D point cloud mapping image is re-reconstructed in 3D space to obtain a point cloud with noise removed. Experimental results show that point cloud accuracy can reach 99.974% after the proposed method， and denoising time is 0.954 s，which can effectively remove point cloud noise and avoid complex calculations in 3D space.

关键词

Keywords

references

戴美玲，杨福俊，耿敏，等 . 单幅彩色条纹投影的不连续物体表面三维形貌测量［J］. 光学学报， 2012 ， 32 （ 4 ）： 0412005 . doi: 10.3788/aos201232.0412005 http://dx.doi.org/10.3788/aos201232.0412005

DAI M L ， YANG F J ， GENG M ， et al . Single color fringe projection for measuring three-dimensional shapes with discontinuities ［J］. Acta Optica Sinica ， 2012 ， 32 （ 4 ）： 0412005 . （in Chinese） . doi: 10.3788/aos201232.0412005 http://dx.doi.org/10.3788/aos201232.0412005

刘晓，吴训威 . 破损古文物的计算机三维重构［J］. 电子与信息学报， 2001 ， 23 （ 7 ）： 650 - 656 .

LIU X ， WU X W . Computer-rebuilding damaged cultural relics in three dimensions ［J］. Journal of Electronics & Information Technology ， 2001 ， 23 （ 7 ）： 650 - 656 . （in Chinese）

王丽辉，袁保宗 . 三维散乱点云模型的特征点检测［J］. 信号处理， 2011 ， 27 （ 6 ）： 932 - 938 . doi: 10.3969/j.issn.1003-0530.2011.06.021 http://dx.doi.org/10.3969/j.issn.1003-0530.2011.06.021

WANG L H ， YUAN B Z . Feature point detection for 3D scattered point cloud model ［J］. Signal Processing ， 2011 ， 27 （ 6 ）： 932 - 938 . （in Chinese） . doi: 10.3969/j.issn.1003-0530.2011.06.021 http://dx.doi.org/10.3969/j.issn.1003-0530.2011.06.021

毕勇，潘鸣奇，张硕，等 . 三维点云数据超分辨率技术［J］. 中国光学， 2022 ， 15 （ 2 ）： 210 - 223 . doi: 10.37188/CO.2021-0176 http://dx.doi.org/10.37188/CO.2021-0176

BI Y ， PAN M Q ， ZHANG S ， et al . Overview of 3D point cloud super-resolution technology ［J］. Chinese Optics ， 2022 ， 15 （ 2 ）： 210 - 223 . （in Chinese） . doi: 10.37188/CO.2021-0176 http://dx.doi.org/10.37188/CO.2021-0176

JAVAHERI A ， BRITES C ， PEREIRA F ， et al . Subjective and objective quality evaluation of 3D point cloud denoising algorithms ［C］// 2017 IEEE International Conference on Multimedia & Expo Workshops （ICMEW） . Hong Kong， China ： IEEE ， 2017 ： 1 - 6 . doi: 10.1109/icmew.2017.8026263 http://dx.doi.org/10.1109/icmew.2017.8026263

张栋栋，龚伟华 . 三维网格去噪算法研究综述［J］. 软件导刊， 2021 ， 20 （ 6 ）： 235 - 242 .

ZHANG D D ， GONG W H . 3D mesh models denoising algorithms： a survey ［J］. Software Guide ， 2021 ， 20 （ 6 ）： 235 - 242 . （in Chinese）

李茂月，刘泽隆，赵伟翔，等 . 面结构光在机检测的叶片反光抑制技术［J］. 中国光学， 2022 ， 15 （ 3 ）： 464 - 475 . doi: 10.37188/co.2021-0194 http://dx.doi.org/10.37188/co.2021-0194

LI M Y ， LIU Z L ， ZHAO W X ， et al . Blade reflection suppression technology based on surface structured light on-machine detection ［J］. Chinese Optics ， 2022 ， 15 （ 3 ）： 464 - 475 . （in Chinese） . doi: 10.37188/co.2021-0194 http://dx.doi.org/10.37188/co.2021-0194

袁华，庞建铿，莫建文 . 基于噪声分类的双边滤波点云去噪算法［J］. 计算机应用， 2015 ， 35 （ 8 ）： 2305 - 2310 . doi: 10.11772/j.issn.1001-9081.2015.08.2305 http://dx.doi.org/10.11772/j.issn.1001-9081.2015.08.2305

YUAN H ， PANG J K ， MO J W . Denoising algorithm for bilateral filtered point cloud based on noise classification ［J］. Journal of Computer Applications ， 2015 ， 35 （ 8 ）： 2305 - 2310 . （in Chinese） . doi: 10.11772/j.issn.1001-9081.2015.08.2305 http://dx.doi.org/10.11772/j.issn.1001-9081.2015.08.2305

LU X Q ， LIU X H ， DENG Z G ， et al . An efficient approach for feature-preserving mesh denoising ［J］. Optics and Lasers in Engineering ， 2017 ， 90 ： 186 - 195 . doi: 10.1016/j.optlaseng.2016.09.003 http://dx.doi.org/10.1016/j.optlaseng.2016.09.003

吴禄慎，史皓良，陈华伟 . 基于特征信息分类的三维点数据去噪［J］. 光学精密工程， 2016 ， 24 （ 6 ）： 1465 - 1473 . doi: 10.3788/ope.20162406.1465 http://dx.doi.org/10.3788/ope.20162406.1465

WU L S ， SHI H L ， CHEN H W . Denoising of three-dimensional point data based on classification of feature information ［J］. Optics and Precision Engineering ， 2016 ， 24 （ 6 ）： 1465 - 1473 . （in Chinese） . doi: 10.3788/ope.20162406.1465 http://dx.doi.org/10.3788/ope.20162406.1465

张云存，李亚彬，付献斌 . 基于曲率约束的点云分割去噪方法［J］. 计量学报， 2020 ， 41 （ 10 ）： 1218 - 1225 .

ZHANG Y C ， LI Y B ， FU X B . Point cloud segmentation de-noising method based on curvature constraint ［J］. Acta Metrologica Sinica ， 2020 ， 41 （ 10 ）： 1218 - 1225 . （in Chinese）

赵夫群，周明全 . 层次化点云去噪算法［J］. 光学精密工程， 2020 ， 28 （ 7 ）： 1618 - 1625 . doi: 10.37188/OPE.20202807.1618 http://dx.doi.org/10.37188/OPE.20202807.1618

ZHAO F Q ， ZHOU M Q . Hierarchical point cloud denoising algorithm ［J］. Optics and Precision Engineering ， 2020 ， 28 （ 7 ）： 1618 - 1625 . （in Chinese） . doi: 10.37188/OPE.20202807.1618 http://dx.doi.org/10.37188/OPE.20202807.1618

吴俊威，焦吾振，郑河荣 . 邻域自适应的三维点云滤波算法［J］. 小型微型计算机系统， 2021 ， 42 （ 1 ）： 191 - 195 . doi: 10.3969/j.issn.1000-1220.2021.01.032 http://dx.doi.org/10.3969/j.issn.1000-1220.2021.01.032

WU J W ， JIAO W Z ， ZHENG H R . 3D point cloud filtering by adaptive neighborhood ［J］. Journal of Chinese Computer Systems ， 2021 ， 42 （ 1 ）： 191 - 195 . （in Chinese） . doi: 10.3969/j.issn.1000-1220.2021.01.032 http://dx.doi.org/10.3969/j.issn.1000-1220.2021.01.032

GALEA C ， GUILLEMOT C . Denoising of 3D point clouds constructed from light fields ［C］// 2019 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP） . Brighton ： IEEE ， 2019 ： 1882 - 1886 . doi: 10.1109/icassp.2019.8683548 http://dx.doi.org/10.1109/icassp.2019.8683548

LEAL E ， SANCHEZ-TORRES G ， BRANCH J W . Sparse regularization-based approach for point cloud denoising and sharp features enhancement ［J］. Sensors ， 2020 ， 20 （ 11 ）： 3206 . doi: 10.3390/s20113206 http://dx.doi.org/10.3390/s20113206

任彬，崔健源，李刚，等 . 基于自适应阈值的三维点云分段式去噪方法［J］. 光子学报， 2022 ， 51 （ 2 ）： 0212003 . doi: 10.3788/gzxb20225102.0212003 http://dx.doi.org/10.3788/gzxb20225102.0212003

REN B ， CUI J Y ， LI G ， et al . A three-dimensional point cloud denoising method based on adaptive threshold ［J］. Acta Photonica Sinica ， 2022 ， 51 （ 2 ）： 0212003 . （in Chinese） . doi: 10.3788/gzxb20225102.0212003 http://dx.doi.org/10.3788/gzxb20225102.0212003

龙佳乐 . 多波长条纹投影三维测量中相位展开技术的研究［D］. 武汉：华中科技大学， 2016 .

LONG J L . Absolute phase map recovery with digital multiple wavelength fringe projections in three-dimensional measurement ［D］. Wuhan ： Huazhong University of Science and Technology ， 2016 . （in Chinese）

赵京东，杨凤华，刘爱晶 . 散乱点云近离群点识别算法［J］. 计算机应用， 2015 ， 35 （ 4 ）： 1089 - 1092，1128 . doi: 10.11772/j.issn.1001-9081.2015.04.1089 http://dx.doi.org/10.11772/j.issn.1001-9081.2015.04.1089

ZHAO J D ， YANG F H ， LIU A J . Near outlier detection of scattered point cloud ［J］. Journal of Computer Applications ， 2015 ， 35 （ 4 ）： 1089 - 1092， 1128 . （in Chinese） . doi: 10.11772/j.issn.1001-9081.2015.04.1089 http://dx.doi.org/10.11772/j.issn.1001-9081.2015.04.1089

赵凯，徐友春，李永乐，等 . 基于VG-DBSCAN算法的大场景散乱点云去噪［J］. 光学学报， 2018 ， 38 （ 10 ）： 1028001 . doi: 10.3788/aos201838.1028001 http://dx.doi.org/10.3788/aos201838.1028001

ZHAO K ， XU Y C ， LI Y L ， et al . Large-scale scattered point-cloud denoising based on VG-DBSCAN algorithm ［J］. Acta Optica Sinica ， 2018 ， 38 （ 10 ）： 1028001 . （in Chinese） . doi: 10.3788/aos201838.1028001 http://dx.doi.org/10.3788/aos201838.1028001

张建民，陈富健，龙佳乐 . 基于图像处理的点云滤波算法［J］. 激光与光电子学进展， 2021 ， 58 （ 6 ）： 0610015 . doi: 10.3788/lop202158.0610015 http://dx.doi.org/10.3788/lop202158.0610015

ZHANG J M ， CHEN F J ， LONG J L . Point cloud filtering algorithm based on image processing ［J］. Laser & Optoelectronics Progress ， 2021 ， 58 （ 6 ）： 0610015 . （in Chinese） . doi: 10.3788/lop202158.0610015 http://dx.doi.org/10.3788/lop202158.0610015

杜钦生，李丹丹，陈浩，等 . 结构光3D点云的PIN针针尖提取［J］. 液晶与显示， 2021 ， 36 （ 9 ）： 1331 - 1340 . doi: 10.37188/CJLCD.2020-0321 http://dx.doi.org/10.37188/CJLCD.2020-0321

DU Q S ， LI D D ， CHEN H ， et al . PIN tip extraction from 3D point cloud of structured light ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 9 ）： 1331 - 1340 . （in Chinese） . doi: 10.37188/CJLCD.2020-0321 http://dx.doi.org/10.37188/CJLCD.2020-0321

曾艳阳，谢高森，张建春 . 基于截距直方图和Otsu融合的弱光图像分割［J］. 激光与光电子学进展， 2021 ， 58 （ 20 ）： 2010016 . doi: 10.3788/lop202158.2010016 http://dx.doi.org/10.3788/lop202158.2010016

ZENG Y Y ， XIE G S ， ZHANG J C . Weak-light image segmentation based on intercept histogram and Otsu fusion ［J］. Laser & Optoelectronics Progress ， 2021 ， 58 （ 20 ）： 2010016 . （in Chinese） . doi: 10.3788/lop202158.2010016 http://dx.doi.org/10.3788/lop202158.2010016

李了了，邓善熙，丁兴号 . 基于大津法的图像分块二值化算法［J］. 微计算机信息， 2005 ， 21 （ 8-3 ）： 76 - 77 . doi: 10.3969/j.issn.1008-0570.2005.24.027 http://dx.doi.org/10.3969/j.issn.1008-0570.2005.24.027

LI L L ， DENG S X ， DING X H . Binarization algorithm based on image partition derived from Da-Jing method ［J］. Control & Automation ， 2005 ， 21 （ 8-3 ）： 76 - 77 . （in Chinese） . doi: 10.3969/j.issn.1008-0570.2005.24.027 http://dx.doi.org/10.3969/j.issn.1008-0570.2005.24.027

范群贞，吴浩，林真 . 基于形态学和区域生长法的医学图像分割［J］. 机电技术， 2019 （ 3 ）： 26 - 29 .

FAN Q Z ， WU H ， LIN Z . Medical image segmenta-tion based on morphology and region growth method ［J］. Mechanical & Electrical Technology ， 2019 （ 3 ）： 26 - 29 . （in Chinese）

巨志勇，翟春宇，张文馨 . 基于SVM与区域生长的彩色商品标签图像分割方法［J］. 电子科技， 2021 ， 34 （ 10 ）： 69 - 74 . doi: 10.16180/j.cnki.issn1007-7820.2021.10.011 http://dx.doi.org/10.16180/j.cnki.issn1007-7820.2021.10.011

JU Z Y ， ZHAI C Y ， ZHANG W X . Color commodity label image segmentation method based on SVM and region growth ［J］. Electronic Science and Technology ， 2021 ， 34 （ 10 ）： 69 - 74 . （in Chinese） . doi: 10.16180/j.cnki.issn1007-7820.2021.10.011 http://dx.doi.org/10.16180/j.cnki.issn1007-7820.2021.10.011

Views

472

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

High-resolution three-dimensional measurement system based on structured light illumination

Camouflaged object segmentation based on edge enhancement and feature fusion

Recent progress on 3D shape and deformation measurement based on fringe projection

Red blood cell image segmentation based on NODE-UNet++ and marker watershed

Related Author

CHEN Fu-jian

QI Hao

DONG Jian

ZHAO Nan

YU Yi

LI Mingyan

WU Chuan

ZHU Ming

Related Institution

Beijing Xiaomi Mobile Software Co.， Ltd

University of Chinese Academy of Sciences

Fine Instrument and Equipment Research & Development Center， Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences

Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences

College of Electronics and Information Engineering， Sichuan University

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰