Поскольку текстовый энкодер в задаче генерации изображений по тексту не может глубоко извлекать информацию из текста, что приводит к семантической несовместимости сгенерированных изображений, в данной статье предложен улучшенный метод генерации изображений по тексту на основе модели DMGAN. Сначала текст кодируется с помощью предварительно обученной модели XLnet, которая благодаря тренировке на крупном корпусе может захватывать большое количество априорных знаний текста, обеспечивая глубокое извлечение контекстной информации; затем на начальном и этапе уточнения изображений модели DMGAN добавляется модуль внимания к каналам, выделяющий важные каналы признаков, что дополнительно улучшает семантическую согласованность и пространственную структуру генерируемых изображений, а также скорость сходимости и стабильность модели. Результаты экспериментов показывают, что по сравнению с исходной моделью DMGAN на наборе данных CUB предложенная модель улучшила показатель IS на 0.47 и снизила показатель FID на 2.78, что подтверждает лучшую кросс-модальную генеративную способность модели.

генерация изображений по тексту;модель XLnet;генеративно-состязательная сеть;внимание к каналам