광류법이 미세표정 얼굴 색상 정보를 충분히 활용하지 못해 인식 정확도가 낮아지는 문제를 해결하기 위해, 본 논문에서는 색상과 광류를 기반으로 한 다중 주의 이중 스트림 네트워크 방법을 제안한다. 우선, CIE Luv 색차도 형태로 얼굴 감정 생리 특성을 초기 추출하여 미세표정 광류 특성의 단일성과 한계를 보완하며; 이후 PAM 모듈과 ECA 블록을 병렬 조합하여 경량화된 이중 주의 모듈을 얻어 공간 및 채널 핵심 특성을 추출한다; 마지막으로, 색상과 광류 혼합 특성을 획득하기 위한 교차 주의 메커니즘을 설계하고 이를 공간 및 채널 핵심 특성과 융합하여 분류에 활용한다. 본 모델은 실험에서 leave-one-out 교차 검증법으로 평가되었으며, SAMM 데이터셋에서 정확도와 F1 점수가 각각 69.18%와 67.04%, CASME Ⅱ 데이터셋에서 각각 72.38%와 70.85%를 달성하였다. 실험 결과는 현재 주류 알고리즘보다 우수하여 본 논문 모델 및 모듈이 미세표정 인식에 효과적임을 추가로 증명하였다.

컴퓨터 비전; 미세표정 인식; CIE Luv; 색상 특징; 광류 특징; 이중 스트림 네트워크