Devido ao fato de que o codificador de texto na tarefa de geração de imagens a partir de texto não consegue explorar profundamente as informações textuais, o que leva a problemas de inconsistência semântica nas imagens geradas posteriormente, este artigo propõe um método de geração de imagens a partir de texto aprimorado baseado no modelo DMGAN. Primeiro, o texto é codificado usando o modelo pré-treinado XLnet, que, graças ao pré-treinamento em um grande corpus, pode capturar grande quantidade de conhecimento prévio do texto, possibilitando uma exploração profunda das informações contextuais; em seguida, nas fases inicial e de refinamento da geração de imagens do modelo DMGAN, é adicionado um módulo de atenção de canal, destacando os canais de características importantes, aumentando ainda mais a consistência semântica e a razoabilidade da disposição espacial das imagens geradas, bem como a velocidade de convergência e a estabilidade do modelo. Os resultados experimentais mostram que o modelo proposto, em comparação com o modelo DMGAN original no conjunto de dados CUB, melhorou o índice IS em 0,47 e reduziu o índice FID em 2,78, demonstrando plenamente a melhor capacidade de geração cross-modal do modelo.

geração de imagens a partir de texto;modelo XLnet;rede generativa adversarial;atenção de canal