光の流れ法が微表情の顔色情報を十分に活用できず、認識精度が低い問題に対して、本論文では色と光の流れに基づく多注意力二重流ネットワーク手法を提案する。まず、CIE Luv 色差図の形式で顔の感情生理特徴を初期抽出し、微表情の光の流れ特徴の単一性と限界を補う；次に、PAM モジュールと ECA ブロックを並列に組み合わせて軽量な二重注意力モジュールを得て、空間およびチャネルの重要特徴を抽出する；最後に、色と光の流れの混合特徴を取得する交差注意力機構を設計し、それを空間およびチャネルの重要特徴と融合して分類に用いる。本モデルは実験で leave-one-out クロスバリデーション法を用いて評価され、SAMM データセットでの正確度と F1 スコアはそれぞれ 69.18％ と 67.04％、CASME Ⅱ データセットでの正確度と F1 スコアはそれぞれ 72.38％ と 70.85％ に達した。実験結果は現在の主流アルゴリズムより優れており、本研究のモデルおよびモジュールが微表情認識に有効であることをさらに証明した。

コンピュータビジョン; 微表情認識; CIE Luv; 色特徴; 光の流れ特徴; 二重流ネットワーク