En la tarea de reconocimiento de acciones, debido a la diferente velocidad de cambio en el estado de los agentes y las acciones, así como a la falta de estudio sobre la correlación entre acciones que conduce a una baja capacidad de discriminación y errores, se propone un modelo de mecanismo de atención de correlación temporal basado en la arquitectura SlowFast. Primero, se renuncia al flujo óptico y se utiliza directamente el video como entrada de la red, lo que permite el entrenamiento de extremo a extremo del modelo; segundo, se define un mecanismo de atención de correlación temporal compuesto por atención a la correlación y atención temporal, donde la atención a la correlación se utiliza para extraer información de correlación entre acciones; luego, la información se introduce en el mecanismo de atención temporal para suprimir características inútiles; finalmente, para el problema de pérdida de correlación entre características debido al gran paso de los núcleos convolucionales durante la fusión de rutas en SlowFast, se propone una operación convolucional continua más efectiva como sustituto. Se realizaron experimentos en los conjuntos de datos UCF101 y HMDB51 y los resultados demuestran que el método propuesto tiene ventajas en precisión y robustez en comparación con los métodos existentes.

reconocimiento de acciones;SlowFast;mecanismo de atención de correlación temporal;entrenamiento de extremo a extremo;fusión de rutas