Reconstrucción liviana de superresolución de video basada en OFCA-Transformer

REN Pengyang ,  

PANG Kai ,  

摘要

Para abordar los problemas existentes en los métodos de superresolución de video en escenas con movimientos complejos, como la alineación inexacta entre cuadros, el uso insuficiente de la información temporal y la alta complejidad computacional de los mecanismos tradicionales de atención, este artículo propone una red de superresolución de video con atención cruzada guiada por flujo óptico (OFCA-Transformer). Primero, se diseña un módulo ligero de estimación de flujo óptico multiescala que genera información de movimiento de múltiples granularidades; segundo, se introduce de manera innovadora un mecanismo de atención cruzada guiado por flujo óptico, que crea una ventana de atención local centrada en la posición predicha del flujo óptico, logrando una fusión profunda entre el priore geométrico explícito y la percepción implícita del contenido, mejorando la precisión de la alineación y reduciendo significativamente la complejidad computacional; por último, se construye un módulo de agregación de características por capas para lograr una fusión más eficaz de las características espaciotemporales dentro de la arquitectura Transformer. Con factores de ampliación de ×2, ×3 y ×4, el método propuesto se compara con otros en tres conjuntos de datos públicos. Los resultados muestran que el valor PSNR de OFCA-Transformer en varios conjuntos de datos apenas difiere en 0,16 dB en comparación con otros métodos avanzados, mientras que la cantidad de parámetros del modelo se reduce en un 82,8 %, aumentando efectivamente la eficiencia computacional. Además, el método propuesto muestra una recuperación de detalles más precisa y una mejor consistencia temporal en escenas de movimiento complejo, logrando objetivamente mejores métricas cuantitativas en todos los factores de ampliación.

关键词

superresolución de video;Transformer;estimación de flujo óptico;atención cruzada;alineación de movimiento

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website