Между различными модальностями медицинского изображения существуют различия в распределении пространственной информации, что мешает достижению эффективного выравнивания глубоких пространственных признаков, что приводит к потере поверхностной информации в специальной области обработки, или чрезмерной зависимости от информации определенной модальности. Для решения вышеприведенной проблемы была предложена модель немодальной медицинской обработки изображений на основе Трансформатора Restoration (Restormer) и двойного механизма внимания. Во-первых, использование модуля Restormer для обнаружения глубоких признаков различных модальностей изображений и введение двойного механизма внимания для извлечения общих и локальных признаков различных модальностей изображений. Во-вторых, разработка немодальной стратегии слияния признаков, где для каждой модальности проектируется независимая кодировщица признаков, и извлеченные признаки объединяются; наконец, объединенные признаки проходят через декодер и генерируют объединенное изображение. Эта модель прошла двухэтапное обучение, где в первой фазе осуществляется извлечение общих и локальных признаков из различных модальностей изображений, и попытка восстановить исходное изображение для расчета потерь, а во второй фазе продолжается извлечение глубоких признаков и генерация объединенного изображения. В сравнении с семью популярными моделями слияния изображений, среднее улучшение составило 12,63%, 28,30%, 31,37%, 27,40%, 19,01%, 37,36%, 32,44% по семи метрикам оценки, стандартному отклонению, пространственной частоте, сохранению визуальной информации, спектральной корреляции, взаимной информации и среднему градиенту, а также показателю Q для оценки смешанного слияния. Эта стратегия слияния позволяет не только эффективно интегрировать кодирующие признаки от различных модальностей, но также не требует ручного проектирования правил слияния для завершения интеграции дополняющей информации и взаимодействия глобальной информации, обеспечивая лучшее слияние изображений различных модальностей.

Слияние медицинских изображений; Двойной механизм внимания; Немодальное слияние; Двухэтапное обучение