В задаче распознавания действий, учитывая различную скорость изменения состояний субъектов и действий, а также отсутствие исследований взаимосвязи между действиями, что приводит к низкой точности и ошибочным срабатываниям, предложена модель механизма внимания временной корреляции на основе архитектуры SlowFast. Во-первых, отказались от оптического потока и непосредственно использовали видеоданные в качестве входных данных сети, что позволяет модели обучаться от начала до конца; во-вторых, определён механизм внимания временной корреляции, состоящий из внимания к корреляции и внимания во времени, где механизм внимания к корреляции используется для извлечения информации о взаимосвязи между действиями; затем информация передаётся в механизм временного внимания для подавления бесполезных признаков; наконец, в связи с потерей корреляции признаков из-за большого шага ядра свёртки при слиянии путей в SlowFast предложена более эффективная операция последовательной свёртки для замены. Эксперименты проведены на наборах данных UCF101 и HMDB51, результаты показывают, что предложенный метод превосходит существующие по точности и устойчивости.

распознавание действий;SlowFast;механизм временного внимания;сквозное обучение;слияние путей