Os métodos hierárquicos atuais de geração de imagens a partir de texto utilizam apenas o upsampling para extração de características na fase inicial de geração de imagens. O processo de upsampling é essencialmente uma operação convolucional, e as limitações dessa operação causam a negligência de informações globais e a impossibilidade de interação semântica remota. Embora existam métodos que inserem mecanismos de autoatenção no modelo, ainda persistem problemas como perda de detalhes da imagem e erros estruturais na imagem. Para enfrentar esses problemas, propõe-se um modelo de rede geradora adversarial baseado em atenção auto supervisionada e fusão de características de imagem chamado SAF-GAN. Um módulo de auto supervisão baseado em ContNet é incorporado na fase inicial de geração de características, utilizando o mecanismo de atenção para o aprendizado autônomo do mapeamento entre características da imagem, orientando a matriz dinâmica de atenção por meio das relações contextuais das características, alcançando uma alta integração entre a mineração contextual e o aprendizado de autoatenção, melhorando a geração de características de imagens de baixa resolução. Posteriormente, através do treinamento alternado da rede em diferentes fases, obtém-se a geração refinada de imagens de alta resolução. Também foi adicionado um módulo de reforço de fusão de características que funde as características de baixa resolução da etapa anterior do modelo com as características da etapa atual, permitindo que a rede geradora aproveite plenamente a alta informação semântica das características de baixo nível e as informações de alta resolução das características de alto nível, garantindo maior consistência semântica entre mapas de características de diferentes resoluções, alcançando assim a geração realista de imagens em alta resolução. Os resultados experimentais mostram que, em comparação com o modelo base (AttnGAN), o modelo SAF-GAN apresenta melhorias nos índices IS e FID, com aumento de 0,31 no IS e redução de 3,45 no FID no conjunto de dados CUB; aumento de 2,68 no IS e redução de 5,18 no FID no conjunto de dados COCO. O modelo SAF-GAN consegue gerar imagens mais realistas de forma eficaz, comprovando a eficácia do método.

visão computacional; redes generativas adversariais; geração de imagens a partir de texto; CotNet; fusão de características de imagem