Reconstrução leve de super-resolução de vídeo baseada no OFCA-Transformer

REN Pengyang ,  

PANG Kai ,  

摘要

Para abordar os problemas existentes nos métodos de super-resolução de vídeo em cenas com movimentos complexos, como o desalinhamento impreciso entre quadros, a utilização insuficiente da informação temporal e a alta complexidade computacional dos mecanismos tradicionais de atenção, este artigo propõe uma rede de super-resolução de vídeo com atenção cruzada guiada por fluxo óptico (OFCA-Transformer). Primeiro, é projetado um módulo leve de estimativa de fluxo óptico multiescala que gera informações de movimento de múltiplas granularidades; em segundo lugar, é introduzido inovadoramente um mecanismo de atenção cruzada guiada por fluxo óptico, que cria uma janela de atenção local centrada na posição prevista do fluxo óptico, realizando a fusão profunda entre o conhecimento geométrico explícito e a percepção implícita do conteúdo, melhorando a precisão do alinhamento e reduzindo significativamente a complexidade computacional; por fim, é construído um módulo de agregação de características em camadas para alcançar uma fusão mais eficaz das características espaço-temporais dentro da arquitetura Transformer. Com fatores de ampliação de ×2, ×3 e ×4, o método proposto é comparado com outros em três conjuntos de dados públicos. Os resultados mostram que o valor PSNR do OFCA-Transformer em vários conjuntos de dados difere em apenas 0,16 dB em comparação com outros métodos avançados, enquanto a quantidade de parâmetros do modelo é reduzida em 82,8 %, melhorando efetivamente a eficiência computacional. Além disso, o método proposto apresenta uma recuperação de detalhes mais precisa e melhor consistência temporal em cenas com movimentos complexos, obtendo objetivamente melhores métricas quantitativas em todos os fatores de ampliação.

关键词

super-resolução de vídeo;Transformer;estimativa de fluxo óptico;atenção cruzada;alinhamento de movimento

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website