Méthode de reconstruction de capture compressée de vidéo basée sur Mamba-2

SHI Dunpan ,  

XU Wei ,  

PIAO Yongjie ,  

FANG Yinghong ,  

JI Haolin ,  

LI Pengfei ,  

摘要

La capture compressée de vidéo instantanée (SCI) est une nouvelle technologie d’imagerie qui utilise un détecteur bidimensionnel pour capturer des données vidéo tridimensionnelles en un seul temps d’exposition, puis reconstruit les données vidéo d’origine à l’aide d’un algorithme approprié. Bien que de nombreux algorithmes actuels obtiennent d’excellents résultats dans la tâche de reconstruction vidéo SCI, l’amélioration de la qualité de reconstruction se fait souvent au prix de la vitesse de reconstruction, ce qui réduit considérablement la réactivité en temps réel des algorithmes. Afin de concilier qualité et vitesse de reconstruction, cet article propose une méthode de reconstruction vidéo SCI profonde de bout en bout basée sur Mamba-2, appelée M2BA-SCI. Le réseau M2BA-SCI comprend un module de prétraitement, un bloc de génération de jetons, un bloc d’attention Mamba et un bloc de reconstruction vidéo, dans lequel le bloc d’attention Mamba est principalement constitué d’un bloc d’attention linéaire Mamba-2 et d’un réseau de neurones à propagation avant. De nombreuses expériences sur des ensembles de données vidéo simulées et réelles montrent que M2BA-SCI obtient un effet plus équilibré par rapport aux algorithmes précédents, améliorant la qualité de reconstruction tout en maintenant une vitesse de reconstruction élevée. Sur l’ensemble de données vidéo en niveaux de gris standard, le PSNR moyen est de 34,85, le SSIM moyen est de 0,966 et le temps d’exécution est de 0,23 s. Sur l’ensemble de données vidéo couleur standard, le PSNR moyen est de 36,21, le SSIM moyen est de 0,963 et le temps d’exécution est de 1,03 s. M2BA-SCI apporte une nouvelle perspective à la reconstruction vidéo SCI et fournit une référence pour la conception d’algorithmes de reconstruction de meilleure qualité basés sur le modèle Mamba.

关键词

capture compressée de vidéo; acquisition compressée; Mamba-2; apprentissage profond

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website