Для решения проблемы недостаточного и неполного извлечения признаков и низкой точности распознавания действий на основе последовательностей скелета человека в данной статье предложена модель распознавания действий на основе многоветвевых признаков и многомасштабных пространственно-временных признаков. Во-первых, было проведено усиление признаков исходных данных с использованием комбинации нескольких алгоритмов; во-вторых, форма ввода многоветвевых признаков была улучшена до многоветвевой интеграции признаков и по отдельности введена в сеть, после прохождения через модули сети определенной глубины они объединяются; затем построен многомасштабный пространственно-временной сверточный модуль в качестве базового модуля сети для извлечения многомасштабных пространственно-временных признаков; наконец, построена полная сетевая модель для вывода категории действия. Результаты экспериментов показали, что точность распознавания по двум стандартам разбиения Cross-subject и Cross-view на наборе данных NTU RGB-D 60 составила 89,6% и 95,1% соответственно, а на наборе данных NTU RGB-D 120 по стандартам Cross-subject и Cross-setup — 84,1% и 86,0% соответственно. По сравнению с другими алгоритмами алгоритм данной статьи извлекает более разнообразные и многомасштабные признаки действий, что обеспечивает некоторое повышение точности распознавания категорий действий.

распознавание действий; многомасштабные признаки; многоветвевые признаки; интеграция признаков