A spatiotemporal consistency-based robust fusion method for collaborative perception

LI Xusheng; MA Xiahong; JIANG Zhiang; LI Jinqing; DI Xiaoqiang

doi:10.3724/CJLCD.2026-0144

您当前的位置：

首页 >

文章列表页 >

A spatiotemporal consistency-based robust fusion method for collaborative perception

Image Processing | 更新时间：2026-10-16

- A spatiotemporal consistency-based robust fusion method for collaborative perception
- Chinese Journal of Liquid Crystals and Displays Vol. 41, Issue 9, Pages: 1325-1338(2026)
- 作者机构：
  
  1.长春理工大学计算机科学技术学院，吉林长春 130022
  2.长春理工大学吉林省网络与信息安全重点实验室，吉林长春 130022
  3.长春理工大学信息化中心，吉林长春 130022
- 作者简介：
- 基金信息：
  
  Jilin Province Science and Technology Development Plan(20230301020ZD)
- DOI：10.3724/CJLCD.2026-0144
  CLC： TP391.4
- CSTR：32172.14.CJLCD.2026-0144
- Received：29 July 2026，
  
  Revised：2026-08-16，
  
  Published：05 September 2026
- 稿件说明：
移动端阅览
LI Xusheng, MA Xiahong, JIANG Zhiang, et al. A spatiotemporal consistency-based robust fusion method for collaborative perception[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(9): 1325-1338.
DOI：

LI Xusheng, MA Xiahong, JIANG Zhiang, et al. A spatiotemporal consistency-based robust fusion method for collaborative perception[J]. Chinese Journal of Liquid Crystals and Displays, 2026, 41(9): 1325-1338. DOI： 10.3724/CJLCD.2026-0144. CSTR： 32172.14.CJLCD.2026-0144.

摘要

针对车联网协同感知中局部证据质量下降，影响协同融合结果稳定性与可用性的问题，本文将融合过程建模为局部感知证据可靠性估计，提出一种基于时空一致性的协同感知鲁棒融合方法（STC-RF）。首先，利用目标存在热图构建低维语义证据；随后，综合跨车空间一致性、历史占用连续性和负向证据冲突，评估鸟瞰视图（BEV）栅格级局部证据可靠性，并将其作为偏置注入注意力中间融合过程，以连续调节不同协作者在各空间位置的融合贡献；进一步采用保守式历史占用更新，使历史时间参照持续参与融合过程，降低局部证据波动对协同结果时间连续性的影响。实验结果表明，在背景化证据退化条件下，所提方法将AP@0.7由82.09%提高至 86.20%，SSR由8.21%降至5.53%，CFNR 由0.90%降至0.72%，说明该方法能够提升非理想协同感知条件下的融合稳定性。

Abstract

To address the issue of declining local evidence quality in Internet of Vehicles collaborative perception， which affects the stability and usability of collaborative fusion results， the fusion process is modeled as local perception evidence reliability estimation， and a spatiotemporal consistency-based robust fusion method（STC-RF） is proposed for collaborative perception. First， low-dimensional semantic evidence is constructed using a target existence heatmap. Subsequently， by comprehensively considering cross-vehicle spatial consistency， historical occupancy continuity， and negative evidence conflict， Bird’s-Eye View（BEV） grid-level local evidence reliability is generated and injected as a bias into the intermediate fusion of attention to continuously adjust the fusion contributions of different collaborators at various spatial positions. Furthermore， a conservative historical occupancy update is adopted to ensure that the historical time reference continuously participates in the fusion process， reducing the impact of local evidence fluctuations on the temporal continuity of the collaborative results. Experimental results demonstrate that under the condition of background evidence degradation， the proposed method improves AP@0.7 from 82.09% to 86.20%， reduces SSR from 8.21% to 5.53%， and decreases CFNR from 0.90% to 0.72%， indicating that the method enhances the fusion stability under non-ideal collaborative perception conditions.

关键词

Keywords

references

ZHANG L Y ， ZHANG C ， ZHANG L ， et al . A dual-mode LiDAR system enabled by mechanically tunable hybrid cascaded metasurfaces ［J］. Light： Science & Applications ， 2025 ， 14 （ 1 ）： 287 . doi: 10.1038/s41377-025-01999-4 http://dx.doi.org/10.1038/s41377-025-01999-4

XU S F ， LIU B S ， YI S C ， et al . Analog spatiotemporal feature extraction for cognitive radio-frequency sensing with integrated photonics ［J］. Light： Science & Applications ， 2024 ， 13 （ 1 ）： 50 . doi: 10.1038/s41377-024-01390-9 http://dx.doi.org/10.1038/s41377-024-01390-9

DUN X ， ZHANG J ， CHEN F S ， et al . Neural array meta-imaging ［J］. eLight ， 2025 ， 5 （ 1 ）： 33 . doi: 10.1186/s43593-025-00107-8 http://dx.doi.org/10.1186/s43593-025-00107-8

ZHANG Z L ， KONG L Y ， ZHANG L H Y ， et al . Structured light meets machine intelligence ［J］. eLight ， 2025 ， 5 （ 1 ）： 26 . doi: 10.1186/s43593-025-00102-z http://dx.doi.org/10.1186/s43593-025-00102-z

凡浩，李永 . 基于特征对齐的异质协同感知架构与算法［J］. 计算机应用研究， 2025 ， 42 （ 5 ）： 1433 - 1438 ．

FAN H ， LI Y . Feature alignment based heterogeneous cooperative perception architecture and algorithm ［J］. Application Research of Computers ， 2025 ， 42 （ 5 ）： 1433 - 1438 . （in Chinese）

XU R S ， TU Z Z ， XIANG H ， et al . CoBEVT： cooperative bird's eye view semantic segmentation with sparse transformers ［C］// Proceedings of the 6th Conference on Robot Learning . Auckland ： PMLR ， 2023 ： 989 - 1000 .

WANG T H ， MANIVASAGAM S ， LIANG M ， et al . V2VNet： vehicle-to-vehicle communication for joint perception and prediction ［C］// Proceedings of the 16th European Conference on Computer Vision （ECCV） . Glasgow ： Springer ， 2020 ： 605 - 621 . doi: 10.1007/978-3-030-58536-5_36 http://dx.doi.org/10.1007/978-3-030-58536-5_36

XU R S ， XIANG H ， TU Z Z ， et al . V2X-ViT： vehicle-to-everything cooperative perception with vision transformer ［C］. 17th European Conference on Computer Vision . Tel Aviv ： Springer ， 2022 ： 107 - 124 . doi: 10.1007/978-3-031-19842-7_7 http://dx.doi.org/10.1007/978-3-031-19842-7_7

YAZGAN M ， GRAF T ， LIU M . A survey on intermediate fusion methods for collaborative perception categorized by real world challenges ［C］// Proceedings of the IEEE Intelligent Vehicles Symposium （Ⅳ） . Jeju Island ： IEEE ， 2024 ： 2226 - 2233 . doi: 10.1109/iv55156.2024.10588382 http://dx.doi.org/10.1109/iv55156.2024.10588382

YUAN Y S ， CHENG H ， SESTER M . Keypoints-based deep feature fusion for cooperative vehicle detection of autonomous driving ［J］. IEEE Robotics and Automation Letters ， 2022 ， 7 （ 2 ）： 3054 - 3061 . doi: 10.1109/lra.2022.3143299 http://dx.doi.org/10.1109/lra.2022.3143299

ZHANG Q Z ， JIN S W ， ZHU R Y ， et al . On data fabrication in collaborative vehicular perception： attacks and countermeasures ［C］// Proceedings of the 33rd USENIX Conference on Security Symposium . Philadelphia ： USENIX Association ， 2024 ： 353 . doi: 10.1145/3690134.3694822 http://dx.doi.org/10.1145/3690134.3694822

LI Y M ， FANG Q ， BAI J M ， et al . Among us： adversarially robust collaborative perception by consensus ［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision （ICCV） . Paris ： IEEE ， 2023 ： 186 - 195 .

张名芳，刘颖，马健，等 . 基于点云时空特征补偿网络的智能网联车辆协同感知［J］. 汽车工程， 2024 ， 46 （ 12 ）： 2279 - 2289 ．

ZHANG M F ， LIU Y ， MA J ， et al . Collaborative perception based on point cloud spatio-temporal feature compensation network for intelligent connected vehicles ［J］. Automotive Engineering ， 2024 ， 46 （ 12 ）： 2279 - 2289 . （in Chinese）

XU R S ， XIANG H ， XIA X ， et al . OPV2V： an open benchmark dataset and fusion pipeline for perception with vehicle-to-vehicle communication ［C］// Proceedings of the IEEE International Conference on Robotics and Automation （ICRA） . Philadelphia ： IEEE ， 2022 ： 2583 - 2589 . doi: 10.1109/icra46639.2022.9812038 http://dx.doi.org/10.1109/icra46639.2022.9812038

XU R S ， GUO Y ， HAN X ， et al . OpenCDA： an open cooperative driving automation framework integrated with co-simulation ［C］// Proceedings of the IEEE International Intelligent Transportation Systems Conference （ITSC） . Indianapolis ： IEEE ， 2021 ： 1155 - 1162 .

LI Y M ， MA D K ， AN Z Y ， et al . V2X-Sim： multi-agent collaborative perception dataset and benchmark for autonomous driving ［J］. IEEE Robotics and Automation Letters ， 2022 ， 7 （ 4 ）： 10914 - 10921 . doi: 10.1109/lra.2022.3192802 http://dx.doi.org/10.1109/lra.2022.3192802

YU H B ， LUO Y Z ， SHU M ， et al . DAIR-V2X： a large-scale dataset for vehicle-infrastructure cooperative 3D object detection ［C］// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New Orleans ： IEEE ， 2022 ： 21329 - 21338 . doi: 10.1109/cvpr52688.2022.02067 http://dx.doi.org/10.1109/cvpr52688.2022.02067

XU R S ， XIA X ， LI J L ， et al . V2V4Real： a real-world large-scale dataset for vehicle-to-vehicle cooperative perception ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Vancouver ： IEEE ， 2023 ： 13712 - 13722 . doi: 10.1109/cvpr52729.2023.01318 http://dx.doi.org/10.1109/cvpr52729.2023.01318

王秉路，靳杨，张磊，等．基于多传感器融合的协同感知方法［J］．雷达学报（中英文）， 2024 ， 13 （ 1 ）： 87 - 96 ． doi: 10.12000/JR23184 http://dx.doi.org/10.12000/JR23184

WANG B L ， JIN Y ， ZHANG L ， et al . Collaborative perception method based on multisensor fusion ［J］. Journal of Radars ， 2024 ， 13 （ 1 ）： 87 - 96 . （in Chinese） . doi: 10.12000/JR23184 http://dx.doi.org/10.12000/JR23184

LI Y M ， REN S L ， WU P X ， et al . Learning distilled collaboration graph for multi-agent perception ［C］// Proceedings of the 35th International Conference on Neural Information Processing Systems . Online ： Curran Associates Inc. ， 2021 ： 2261 .

邬开俊，张治瑞，汪滢，等 . 全局感知与多尺度特征融合的城市道路语义分割［J］. 光学精密工程， 2025 ， 33 （ 14 ）： 2262 - 2277 ． doi: 10.37188/ope.20253314.2262 http://dx.doi.org/10.37188/ope.20253314.2262

WU K J ， ZHANG Z R ， WANG Y ， et al . Urban road semantic segmentation with global awareness and multi-scale feature fusion ［J］. Optics and Precision Engineering ， 2025 ， 33 （ 14 ）： 2262 - 2277 . （in Chinese） . doi: 10.37188/ope.20253314.2262 http://dx.doi.org/10.37188/ope.20253314.2262

HU Y ， FANG S H ， LEI Z X ， et al . Where2comm： communication-efficient collaborative perception via spatial confidence maps ［C］// Proceedings of the 36th International Conference on Neural Information Processing Systems . New Orleans ： Curran Associates Inc. ， 2022 ： 352 . doi: 10.52202/068431-0352 http://dx.doi.org/10.52202/068431-0352

LIU G J ， HU Y ， XU C X ， et al . Toward collaborative autonomous driving： simulation platform and end-to-end system ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2025 ， 47 （ 8 ）： 6566 - 6584 . doi: 10.1109/tpami.2025.3560327 http://dx.doi.org/10.1109/tpami.2025.3560327

LEI Z X ， REN S L ， HU Y ， et al . Latency-aware collaborative perception ［C］// Proceedings of the 17th European Conference on Computer Vision （ECCV） . Tel Aviv ： Springer ， 2022 ： 316 - 332 . doi: 10.1007/978-3-031-19824-3_19 http://dx.doi.org/10.1007/978-3-031-19824-3_19

杨潞霞，刘泽凯，张红瑞，等 . 基于上下文协同感知的航拍小目标检测算法［J］. 液晶与显示， 2025 ， 40 （ 9 ）： 1308 - 1320 ． doi: 10.37188/CJLCD.2025-0095 http://dx.doi.org/10.37188/CJLCD.2025-0095

YANG L X ， LIU Z K ， ZHANG H R ， et al . Aerial small target detection algorithm based on context collaborative perception ［J］. Chinese Journal of Liquid Crystals and Displays ， 2025 ， 40 （ 9 ）： 1308 - 1320 . （in Chinese） . doi: 10.37188/CJLCD.2025-0095 http://dx.doi.org/10.37188/CJLCD.2025-0095

李士刚，王维佳，朱圣杰，等 . 基于时空三维卷积网络的复杂背景下红外弱小目标检测方法［J］. 液晶与显示， 2025 ， 40 （ 11 ）： 1688 - 1699 ． doi: 10.37188/cjlcd.2025-0161 http://dx.doi.org/10.37188/cjlcd.2025-0161

LI S G ， WANG W J ， ZHU S J ， et al . Detection method for infrared dim and small targets under complex backgrounds via a spatio-temporal three-dimensional convolutional network ［J］. Chinese Journal of Liquid Crystals and Displays ， 2025 ， 40 （ 11 ）： 1688 - 1699 . （in Chinese） . doi: 10.37188/cjlcd.2025-0161 http://dx.doi.org/10.37188/cjlcd.2025-0161

ZHAO Y H ， XIANG Z ， YIN S ， et al . MADE： malicious agent detection for robust multi-agent collaborative perception ［C］. 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Abu Dhabi ： IEEE ， 2024 ： 13817 - 13823 . doi: 10.1109/iros58592.2024.10801337 http://dx.doi.org/10.1109/iros58592.2024.10801337

TAO Y H ， HU S K ， HU Y ， et al . GCP： guarded collaborative perception with spatial-temporal aware malicious agent detection ［J］. IEEE Transactions on Dependable and Secure Computing ， 2026 ， 23 （ 4 ）： 9535 - 9548 . doi: 10.1109/tdsc.2026.3693684 http://dx.doi.org/10.1109/tdsc.2026.3693684

余四豪，盖绍彦，达飞鹏 . 面向点云配准的RANSAC假设评估度量方法研究［J］. 中国光学（中英文）， 2025 ， 18 （ 3 ）： 487 - 498 ． doi: 10.37188/co.2024-0208 http://dx.doi.org/10.37188/co.2024-0208

YU S H ， GAI S Y ， DA F P . Improved RANSAC hypothesis evaluation metrics for point cloud registration ［J］. Chinese Optics ， 2025 ， 18 （ 3 ）： 487 - 498 . （in Chinese） . doi: 10.37188/co.2024-0208 http://dx.doi.org/10.37188/co.2024-0208

LANG A H ， VORA S ， CAESAR H ， et al . PointPillars： fast encoders for object detection from point clouds ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach ： IEEE ， 2019 ： 12689 - 12697 . doi: 10.1109/cvpr.2019.01298 http://dx.doi.org/10.1109/cvpr.2019.01298

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

A spatiotemporal consistency-based robust fusion method for collaborative perception

Lightweight detection of foreign objects on road surfaces in challenging driving environments

中国科学院长春光学精密机械与物理研究所液晶光学团队

Frequency-aware no-reference image quality assessment method guided by human visual system characteristics

Driving response and two-stage waveform control of quantum-dot electrowetting display devices

Related Author

LI Xusheng

MA Xiahong

JIANG Zhiang

Related Institution

No data

AI问答

Address：No.3888 Dong Nanhu Road, Changchun, Jilin, China 130033 Postal code：130033
Tel：0431-86176059 Email：yjxs@ciomp.ac.cn
Technical support is provided by Beijing Founder electronics co., LTD 吉ICP备11002662号-17 京公网安备11010802024621
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰