Dans la tâche de reconnaissance d’actions, en raison de la vitesse différente de changement des états des agents et des actions ainsi que du manque d’étude sur la corrélation entre les actions, ce qui entraîne une faible capacité de discrimination et des erreurs, un modèle de mécanisme d’attention à corrélation temporelle basé sur l’architecture SlowFast est proposé. Premièrement, le flux optique est abandonné et les données vidéo sont directement utilisées comme entrée du réseau, permettant un entraînement de bout en bout du modèle ; deuxièmement, un mécanisme d’attention à corrélation temporelle composé d’une attention à la corrélation et d’une attention temporelle est défini, où l’attention à la corrélation sert à extraire les informations de corrélation entre actions ; ensuite, l’information est introduite dans le mécanisme d’attention temporelle pour supprimer les caractéristiques inutiles ; enfin, pour le problème de perte de corrélation entre les caractéristiques due à un grand pas de noyau de convolution lors de la fusion des chemins dans SlowFast, une opération de convolution continue plus efficace est proposée en remplacement. Des expériences ont été menées sur les jeux de données UCF101 et HMDB51, et les résultats montrent que la méthode proposée présente des avantages en termes de précision et de robustesse par rapport aux méthodes existantes.

reconnaissance d’actions;SlowFast;mécanisme d’attention à corrélation temporelle;entraînement de bout en bout;fusion de chemins