Da die optische Flussmethode die Farbinformationen im Gesicht bei Mikroexpressionen nicht ausreichend nutzen kann, was zu einer geringen Erkennungsgenauigkeit führt, schlägt dieser Artikel eine auf Farbe und optischem Fluss basierende Multi-Attention-Dual-Stream-Netzwerk-Methode vor. Zunächst wird vorgeschlagen, emotionale physiologische Gesichtseigenschaften vorläufig in Form einer CIE Luv-Farbunterschiedskarte zu extrahieren, um die Einseitigkeit und Begrenztheit der optischen Flussmerkmale bei Mikroexpressionen auszugleichen; anschließend werden das PAM-Modul und der ECA-Block parallel kombiniert, um ein leichtgewichtiges Dual-Attention-Modul zu erhalten, das räumliche und Kanalschlüsselfeatures extrahiert; schließlich wird ein Cross-Attention-Mechanismus zum Erfassen gemischter Farb- und optischer Flussmerkmale entworfen, die mit den räumlichen und kanalbasierten Schlüsselmerkmalen zur Klassifikation fusioniert werden. Das Modell wurde mit Leave-One-Out-Cross-Validation bewertet. Die Genauigkeit und F1-Werte erreichten 69,18 % bzw. 67,04 % auf dem SAMM-Datensatz und 72,38 % bzw. 70,85 % auf dem CASME II-Datensatz. Die experimentellen Ergebnisse übertreffen die aktuellen dominanten Algorithmen und bestätigen die Effektivität des Modells und seiner Module bei der Erkennung von Mikroexpressionen.

Computer Vision; Mikroexpressionserkennung; CIE Luv; Farbmerkmale; Optical-Flow-Merkmale; Dual-Stream-Netzwerk