Mamba-2-basierte Video-Snapshot-Komprimierte Bildgebung Rekonstruktionsmethode

SHI Dunpan ,  

XU Wei ,  

PIAO Yongjie ,  

FANG Yinghong ,  

JI Haolin ,  

LI Pengfei ,  

摘要

Video-Snapshot-Komprimierte Bildgebung (SCI) ist eine neue Bildgebungstechnologie, die mit einem zweidimensionalen Detektor dreidimensionale Videodaten innerhalb einer einzigen Belichtungszeit erfasst und dann die ursprünglichen Videodaten mit einem geeigneten Algorithmus rekonstruiert. Obwohl viele aktuelle Algorithmen sehr gute Leistungen bei der Rekonstruktion von Video-SCI zeigen, erfordert die Verbesserung der Rekonstruktionsqualität oft eine Verringerung der Rekonstruktionsgeschwindigkeit, was die Echtzeitfähigkeit der Algorithmen stark einschränkt. Um eine Balance zwischen Rekonstruktionsqualität und -geschwindigkeit zu erreichen, wird in diesem Artikel eine auf Mamba-2 basierende End-to-End-Deep-Video-SCI-Rekonstruktionsmethode namens M2BA-SCI vorgeschlagen. Das M2BA-SCI-Netzwerk besteht aus einem Vorverarbeitungsmodul, einem Token-Erzeugungsblock, einem Mamba-Attentionsblock und einem Videorekonstruktionsblock, wobei der Mamba-Attentionsblock hauptsächlich aus einem Mamba-2 linearen Aufmerksamkeitsblock und einem Feedforward-Neuronalen Netz besteht. Umfangreiche Experimente an simulierten und realen Videodatensätzen zeigen, dass M2BA-SCI im Vergleich zu früheren Algorithmen ausgewogenere Ergebnisse erzielt, die Rekonstruktionsqualität verbessert und gleichzeitig eine schnelle Rekonstruktionsgeschwindigkeit beibehält. Im Standard-Graustufen-Videodatensatz beträgt der durchschnittliche PSNR 34,85, der durchschnittliche SSIM 0,966 und die Laufzeit 0,23 s. Im Standard-Farbvideodatensatz beträgt der durchschnittliche PSNR 36,21, der durchschnittliche SSIM 0,963 und die Laufzeit 1,03 s. M2BA-SCI bringt neue Ideen zur Video-SCI-Rekonstruktion und bietet eine Referenz für die Entwicklung von Algorithmen mit höherer Rekonstruktionsqualität basierend auf dem Mamba-Modell.

关键词

Video-Snapshot-Komprimierte Bildgebung; Komprimierte Abtastung; Mamba-2; Tiefes Lernen

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website