Método de reconstrução de imagem comprimida instantânea de vídeo baseado em Mamba-2

SHI Dunpan ,  

XU Wei ,  

PIAO Yongjie ,  

FANG Yinghong ,  

JI Haolin ,  

LI Pengfei ,  

摘要

A compressão instantânea de vídeo por imagem comprimida (SCI) é uma nova tecnologia de imagem que captura dados de vídeo tridimensionais usando um detector bidimensional dentro de um único tempo de exposição, e então reconstrói os dados de vídeo originais utilizando um algoritmo adequado. Embora muitos algoritmos atuais apresentem excelente desempenho na tarefa de reconstrução de vídeo SCI, a melhoria da qualidade da reconstrução geralmente requer sacrificar a velocidade de reconstrução, o que reduz significativamente a capacidade em tempo real do algoritmo. Para equilibrar a qualidade e a velocidade da reconstrução, este artigo propõe um método de reconstrução profunda de vídeo SCI de ponta a ponta baseado no Mamba-2, chamado M2BA-SCI. A rede M2BA-SCI é composta por um módulo de pré-processamento, bloco gerador de tokens, bloco de atenção Mamba e bloco de reconstrução de vídeo, em que o bloco de atenção Mamba é composto principalmente por um bloco de atenção linear Mamba-2 e uma rede neural feedforward. Experimentações extensas em conjuntos de dados de vídeo simulados e reais mostram que o M2BA-SCI alcança um efeito mais equilibrado em comparação com algoritmos anteriores, melhorando a qualidade da reconstrução enquanto mantém uma velocidade rápida. No conjunto de dados padrão de vídeo em escala de cinza, o PSNR médio foi de 34,85, o SSIM médio foi de 0,966 e o tempo de execução foi de 0,23 s. No conjunto de dados padrão de vídeo colorido, o PSNR médio foi de 36,21, o SSIM médio foi de 0,963 e o tempo de execução foi de 1,03 s. O M2BA-SCI traz uma nova ideia para a reconstrução de vídeo SCI e fornece uma referência para projetar algoritmos com maior qualidade de reconstrução baseados no modelo Mamba.

关键词

imagem comprimida instantânea de vídeo; sensoriamento comprimido; Mamba-2; aprendizado profundo

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website