体素化点云场景下的三维目标检测

李瑞龙; 吴川; 朱明

doi:10.37188/CJLCD.2022-0082

您当前的位置：

首页 >

文章列表页 >

体素化点云场景下的三维目标检测

图像处理 | 更新时间：2022-09-26

- 体素化点云场景下的三维目标检测
- 3D object detection in voxelized point cloud scene
- 液晶与显示 2022年37卷第10期页码：1355-1363
- 作者机构：
  
  1.中国科学院长春光学精密机械与物理研究所，吉林长春 130033
  2.中国科学院大学，北京 100049
- 作者简介：
  
  [ "李瑞龙（1996—），男，山东枣庄人，硕士研究生，2019年于兰州交通大学获得学士学位，主要从事计算机视觉方面的研究。E-mail：liruilong19@mails.ucas.edu.cn" ]
  [ "吴川（1976—），男，吉林长春人，博士，研究员，2005年于中国科学院长春光学精密机械与物理研究所获得博士学位，主要从事图像融合、目标跟踪、嵌入式系统开发等方面的研究。E-mail：wuchuan0458@sina.com" ]
- 基金信息：
- DOI：10.37188/CJLCD.2022-0082
  中图分类号： TP391.4
- 收稿日期：2022-03-10，
  
  修回日期：2022-03-25，
  
  纸质出版日期：2022-10-05
- 稿件说明：
移动端阅览
李瑞龙, 吴川, 朱明. 体素化点云场景下的三维目标检测[J]. 液晶与显示, 2022,37(10):1355-1363.

Rui-long LI, Chuan WU, Ming ZHU. 3D object detection in voxelized point cloud scene[J]. Chinese journal of liquid crystals and displays, 2022, 37(10): 1355-1363.
李瑞龙, 吴川, 朱明. 体素化点云场景下的三维目标检测[J]. 液晶与显示, 2022,37(10):1355-1363. DOI： 10.37188/CJLCD.2022-0082.

Rui-long LI, Chuan WU, Ming ZHU. 3D object detection in voxelized point cloud scene[J]. Chinese journal of liquid crystals and displays, 2022, 37(10): 1355-1363. DOI： 10.37188/CJLCD.2022-0082.

摘要

基于激光雷达点云数据的三维目标检测算法受制于数据量大，无法实现速度与准确率的平衡。本文提出一种改进的三维目标检测算法Pillar RCNN。首先将目标点云空间划分为体素格，使用一种基于稀疏卷积的三维主干网络将体素格逐步转化为立柱体素，三维信息量化为致密的二维信息。然后使用二维主干网络提取特征，同时将三维骨干网络中不同尺度的体素特征与二维主干网络通过多尺度体素特征聚合模块进行特征级联，通过损失函数进一步细化检测框。算法在KITTI公开数据集上进行测试，在RTX 2080Ti硬件平台上识别速度为2.48 ms。汽车、行人、自行车3种类别的检测效果同PointPillars基准算法相比较，其中自行车中等难度检测效果提升13.34%，困难难度的车检测效果提升8.85%，其他类别的检测准确率指标也有所提升，实现了速度与准确率的平衡。

Abstract

The 3D object detection algorithm is constrained by the large amount of point cloud data， and can not achieve the balance of real-time speed and accuracy. This paper presents an improved 3D object detection algorithm—Pillar RCNN. The algorithm firstly divides the target point cloud space into voxels， presents a 3D object detection backbone network based on sparse convolution which gradually converts voxels into column voxels， quantifies 3D information into dense 2D information， and then processes the dense 2D information through the 2D backbone network. At the same time， the voxel features of different scales in the 3D backbone network and the 2D backbone network detection results are cascaded through the multiscale voxel feature aggregation module， and the result is further refined by the loss function. The algorithm is tested on KITTI public datasets and has a recognition speed of 2.48 ms on RTX 2080Ti hardware platform. Compared with the PointPillars benchmark algorithm， the performance indicators of the three categories of car， pedestrian and bicycle are improved. The detection results of the mode of bicycle and the hard of car are improved by 13.34% and 8.85%

and the detectation accuracies of other categories are improved also

achieving a balance between speed and accuracy.

关键词

Keywords

references

赵毅强，艾西丁·艾克白尔，陈瑞，等 . 基于体素化图卷积网络的三维点云目标检测方法［J］. 红外与激光工程， 2021 ， 50 （ 10 ）： 20200500 ．

ZHAO Y Q ， AKBAR A ， CHEN R ， et al . 3D point cloud object detection method in view of voxel based on graph convolution network ［J］. Infrared and Laser Engineering ， 2021 ， 50 （ 10 ）： 20200500 . （in Chinese）

严娟，方志军，高永彬 . 结合混合域注意力与空洞卷积的3维目标检测［J］. 中国图象图形学报， 2020 ， 25 （ 6 ）： 1221 - 1234 ． doi: 10.11834/jig.190378 http://dx.doi.org/10.11834/jig.190378

YAN J ， FANG Z J ， GAO Y B . 3D object detection based on domain attention and dilated convolution ［J］. Journal of Image and Graphics ， 2020 ， 25 （ 6 ）： 1221 - 1234 . （in Chinese） . doi: 10.11834/jig.190378 http://dx.doi.org/10.11834/jig.190378

CHARLES R Q ， SU H ， KAICHUN M ， et al . PointNet： deep learning on point sets for 3D classification and segmentation ［C］// Proceedings of the 30th IEEE Conference on Computer Vision and Pattern Recognition . Honolulu ： IEEE ， 2017 ： 77 - 85 . doi: 10.1109/cvpr.2017.16 http://dx.doi.org/10.1109/cvpr.2017.16

QI C R ， YI L ， SU H ， et al . PointNet++： deep hierarchical feature learning on point sets in a metric space ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach ： Curran Associates Inc ， 2017 .

SHI S S ， WANG X G ， LI H S . PointRCNN： 3D object proposal generation and detection from point cloud ［C］// Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Long Beach ： IEEE ， 2019 . doi: 10.1109/cvpr.2019.00086 http://dx.doi.org/10.1109/cvpr.2019.00086

YANG Z T ， SUN Y N ， LIU S ， et al . STD： sparse-to-dense 3D object detector for point cloud ［C］// Proceedings of 2019 IEEE/CVF International Conference on Computer Vision （ICCV） . Seoul ： IEEE ， 2019 . doi: 10.1109/iccv.2019.00204 http://dx.doi.org/10.1109/iccv.2019.00204

ZHOU Y ， TUZEL O . VoxelNet： end-to-end learning for point cloud based 3D object detection ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 4490 - 4499 . doi: 10.1109/cvpr.2018.00472 http://dx.doi.org/10.1109/cvpr.2018.00472

LANG A H ， VORA S ， CAESAR H ， et al . PointPillars： fast encoders for object detection from point clouds ［C］// Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 12689 - 12697 . doi: 10.1109/cvpr.2019.01298 http://dx.doi.org/10.1109/cvpr.2019.01298

DENG J J ， SHI S S ， LI P W ， et al . Voxel R-CNN： towards high performance voxel-based 3D object detection ［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence . Online ： AAAI ， 2021 . doi: 10.1609/aaai.v35i2.16207 http://dx.doi.org/10.1609/aaai.v35i2.16207

WANG B ， ZHU M ， LU Y ， et al . Real-time 3D object detection from point cloud through foreground segmentation ［J］. IEEE Access ， 2021 ， 9 ： 84886 - 84898 . doi: 10.1109/access.2021.3087179 http://dx.doi.org/10.1109/access.2021.3087179

GRAHAM B . Sparse 3D convolutional neural networks ［C］// Proceedings of the British Machine Vision Conference 2015 . Swansea ： BMVA Press ， 2015 . doi: 10.5244/c.29.150 http://dx.doi.org/10.5244/c.29.150

GRAHAM B ， ENGELCKE M ， VAN DER MAATEN L . 3D semantic segmentation with submanifold sparse convolutional networks ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 9224 - 9232 . doi: 10.1109/cvpr.2018.00961 http://dx.doi.org/10.1109/cvpr.2018.00961

LIN T Y ， GOYAL P ， GIRSHICK R ， et al . Focal loss for dense object detection ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2020 ， 42 （ 2 ）： 318 - 327 . doi: 10.1109/tpami.2018.2858826 http://dx.doi.org/10.1109/tpami.2018.2858826

刘长吉，郝志成，杨锦程，等 . 基于实例分割的目标三维位置估计方法［J］。液晶与显示， 2021 ， 36 （ 11 ）： 1535 - 1544 ． doi: 10.37188/CJLCD.2021-0069 http://dx.doi.org/10.37188/CJLCD.2021-0069

LIU C J ， HAO Z C ， YANG J C ， et al . Object 3D position estimation based on instance segmentation ［J］. Chinese Journal of Liquid CRystals and Displays ， 2021 ， 36 （ 11 ）： 1535 - 1544 . （in Chinese） . doi: 10.37188/CJLCD.2021-0069 http://dx.doi.org/10.37188/CJLCD.2021-0069

YAN Y ， MAO Y X ， LI B . SECOND： sparsely embedded convolutional detection ［J］. Sensors ， 2018 ， 18 （ 10 ）： 3337 . doi: 10.3390/s18103337 http://dx.doi.org/10.3390/s18103337

YANG B ， LUO W J ， URTASUN R . PIXOR： real-time 3D object detection from point clouds ［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City ： IEEE ， 2018 ： 7652 - 7660 . doi: 10.1109/cvpr.2018.00798 http://dx.doi.org/10.1109/cvpr.2018.00798

CHEN X Z ， MA H M ， WAN J ， et al . Multi-view 3D object detection network for autonomous driving ［C］// Proceedings of the 30th IEEE Conference on Computer Vision and Pattern Recognition . Honolulu ： IEEE ， 2017 ： 6526 - 6534 . doi: 10.1109/cvpr.2017.691 http://dx.doi.org/10.1109/cvpr.2017.691

浏览量

745

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

RGB深度图像显著性目标检测方法设计

扩散模型与傅里叶滤波器结合的图像去雾方法

基于颜色和光流的多注意力机制微表情识别

视觉跟踪技术中孪生网络的研究进展