Da der Textencoder bei der Aufgabe der Bildgenerierung aus Text den Text nicht tiefgehend erfassen kann, was zu semantischen Inkonsistenzen in den später generierten Bildern führt, wird in diesem Artikel eine verbesserte Methode zur Bildgenerierung aus Text auf Basis des DMGAN-Modells vorgeschlagen. Zunächst wird der Text mit dem vortrainierten XLnet-Modell codiert, das durch das Pretraining auf großen Korpora viel Vorwissen über Texte erfassen kann und eine tiefe Kontextinformationsextraktion ermöglicht; dann wird in der Anfangsphase der Bildgenerierung und in der Verfeinerungsphase des DMGAN-Modells ein Kanäle-Aufmerksamkeitsmodul hinzugefügt, das wichtige Merkmalskanäle hervorhebt und dadurch die semantische Konsistenz und die räumliche Anordnung der generierten Bilder sowie die Konvergenzgeschwindigkeit und Stabilität des Modells weiter verbessert. Experimentelle Ergebnisse zeigen, dass das vorgeschlagene Modell im Vergleich zum ursprünglichen DMGAN-Modell auf dem CUB-Datensatz den IS-Wert um 0,47 verbessert und den FID-Wert um 2,78 senkt, was die bessere multimodale Generierungsfähigkeit des Modells bestätigt.

Bildgenerierung aus Text;XLnet-Modell;Generatives Adversarielles Netzwerk;Kanalaufmerksamkeit