В связи с тем, что метод оптического потока не может полноценно использовать информацию о цвете лица при микровыражениях, что приводит к низкой точности распознавания, в данной работе предлагается метод мультивнимательной двухпоточной сети на основе цвета и оптического потока. Во-первых, предлагается предварительно извлекать физиологические эмоциональные характеристики лица в форме цветового различия CIE Luv, чтобы компенсировать однобокость и ограниченность оптических признаков микровыражений; затем параллельно объединяются модуль PAM и блок ECA для получения облегченного модуля с двойным вниманием, который извлекает пространственные и канальные ключевые признаки; наконец, разрабатывается механизм перекрестного внимания для получения смешанных признаков цвета и оптического потока, которые объединяются со пространственными и канальными ключевыми признаками для классификации. Модель оценивалась с помощью метода перекрестной проверки с оставлением одного образца. Достигнуты точность и F1-оценка 69,18% и 67,04% на наборе данных SAMM, а также 72,38% и 70,85% на наборе данных CASME II. Результаты экспериментов превосходят современные алгоритмы, что дополнительно подтверждает эффективность модели и её модулей в распознавании микровыражений.

Компьютерное зрение;Распознавание микровыражений;CIE Luv;Цветовые признаки;Оптические признаки;Двухпоточная сеть