Существует различие в пространственном распределении информации между различными модальностями медицинской визуализации, что затрудняет эффективное выравнивание в пространстве глубоких признаков и приводит к потере поверхностной информации в определённых областях объединённого изображения или чрезмерной зависимости от информации одной модальности. Для решения этой проблемы предложена асимметричная модель слияния медицинских изображений на основе Restoration Transformer (Restormer) и механизма двойного внимания. Во-первых, используется модуль Restormer для извлечения глубоких признаков из изображений разных модальностей с введением механизма двойного внимания для извлечения глобальных и локальных признаков. Во-вторых, разработана асимметричная стратегия слияния признаков с отдельными кодировщиками для каждой модальности и объединением извлечённых признаков. Наконец, объединённые признаки декодируются для генерации объединённого изображения. Модель обучается в два этапа: на первом этапе извлекаются глобальные и локальные признаки из изображений разных модальностей с попыткой восстановления исходного изображения для вычисления потерь; на втором — продолжается извлечение глубоких признаков и генерация объединённого изображения. По сравнению с семью ведущими моделями слияния изображений, этот метод в среднем улучшил показатели на 12.63%, 28.30%, 31.37%, 27.40%, 19.01%, 37.36% и 32.44% по стандартному отклонению, пространственной частоте, достоверности визуальной информации, спектральной корреляции, взаимной информации, среднему градиенту и индексу Q для оценки смешанного слияния соответственно. Стратегия слияния модели не только эффективно объединяет кодированные признаки из разных модальностей, но и осуществляет интеграцию дополнительной информации и взаимодействие глобальной информации без необходимости ручного проектирования правил слияния, что позволяет добиться лучшего слияния изображений разных модальностей.

слияние медицинских изображений; механизм двойного внимания; асимметричное слияние; двухэтапное обучение