Pour traiter le problème de la modélisation temporelle multi-échelle et de la modélisation locale des caractéristiques insuffisantes dans la tâche de résumé vidéo, cet article propose un modèle de résumé vidéo combinant un décalage temporel multi-échelle et un mécanisme d'attention locale déformable. Tout d'abord, un module de décalage temporel bidirectionnel adaptatif multi-échelle (MAB-TSM) est conçu, qui intervient par une prédiction dynamique du pas de déplacement apprentissable et une convolution dilatée multi-échelle, réalisant une modélisation adaptative des dépendances temporelles à court et long terme des vidéos ; deuxièmement, un module d'attention locale déformable (DALAM) est conçu, combinant une stratégie dynamique de segmentation vidéo et un mécanisme d'ajustement adaptatif de la position d'échantillonnage, ce qui améliore l'expression fine des caractéristiques des régions clés locales tout en réduisant la complexité computationnelle ; en outre, le réseau BiFPN de fusion multi-échelle est amélioré en introduisant un module d'attention renforcée inter-échelles, améliorant l'expression complémentaire des caractéristiques multi-échelles. Le modèle proposé a été testé plusieurs fois sur les ensembles de données SumMe et TVSum, obtenant des scores F1 normalisés respectifs de 56,8% et 62,6%, surpassant les méthodes existantes, et les coefficients de corrélation des rangs Kendall et Spearman atteignent respectivement 0,153 et 0,200, montrant une bonne cohérence. Les résultats expérimentaux prouvent la précision et l'efficacité du modèle dans la tâche de résumé vidéo.

résumé vidéo;modélisation temporelle multi-échelle;module de décalage temporel;attention déformable;mécanisme d'attention locale