Видео сжатие с помощью сжатого сканирования изображений (SCI) — это новая технология визуализации, которая с помощью двумерного детектора захватывает трехмерные видео данные за одно время экспозиции, а затем восстанавливает исходные видеоданные с помощью соответствующего алгоритма. Несмотря на то, что многие текущие алгоритмы демонстрируют отличную производительность в задачах восстановления видео SCI, повышение качества восстановления зачастую достигается за счет снижения скорости, что существенно снижает режим реального времени алгоритмов. Для баланса между качеством и скоростью восстановления, в данной работе предложен метод сквозного глубокого восстановления видео SCI на основе Mamba-2 — M2BA-SCI. Сеть M2BA-SCI состоит из модуля предварительной обработки, блока генерации токенов, блока внимания Mamba и блока восстановления видео, где блок внимания Mamba состоит главным образом из линейного блока внимания Mamba-2 и полностью связанной нейронной сети. Обширные эксперименты на симулированных и реальных видеодатасетах показали, что M2BA-SCI достиг более сбалансированных результатов по сравнению с предыдущими методами, улучшая качество восстановления при сохранении высокой скорости. На стандартном наборе серых видео данных средний PSNR составил 34.85, средний SSIM — 0.966, время работы — 0.23 с. На стандартном цветном видео датасете средний PSNR был 36.21, средний SSIM — 0.963, время работы — 1.03 с. M2BA-SCI предлагает новый подход к восстановлению видео SCI и служит ориентиром для разработки алгоритмов с более высоким качеством восстановления на базе модели Mamba.

Видео сжатое сжатие; Сжатое зондирование; Mamba-2; Глубокое обучение