Универсальный алгоритм сегментации на основе динамического балансирования и усиления признаков

DENG Wanyu ,  

LIU Yangwu ,  

摘要

Хотя обнаружение заметных объектов и обнаружение замаскированных объектов имеют противоположные визуальные характеристики, оба требуют очень высокой точности сегментации границ. Однако существующие методы часто сталкиваются с ограничениями производительности из-за односторонних предпочтений признаков при обобщении между задачами. В связи с этим в данной работе предлагается универсальная модель сегментации SAM2-UFFM. Модель использует иерархическую сеть SAM2 в качестве кодировщика, обеспечивая эффективную точечную настройку параметров за счет заморозки предварительно обученных весов и введения легковесных адаптеров, полностью сохраняя мощную способность к представлению признаков; отказалась от традиционной архитектуры U-Net и разработала декодер AttUNet, который посредством многомасштабных пропускных соединений эффективно объединяет информацию на всех масштабах, эффективно решая проблему потери информации; предложен модуль внимания балансировки признаков в сочетании с модулем дополнительного уточнения признаков, который динамически балансирует глобальную семантику и локальные детали, целенаправленно усиливая глобальное восприятие заметных объектов и точную сегментацию границ замаскированных объектов, дополнительно использована стратегия глубинного надзора для предотвращения чрезмерной сегментации. Экспериментальные результаты показывают, что модель превосходит существующие передовые методы на трех публичных наборах данных. Структурные метрики на наборах COD и SOD улучшены на 1,02% и 1,83% соответственно, средняя абсолютная ошибка снижена до 0,035 и 0,018. Кроме того, в задаче сегментации дефектов поверхности стали индекс IoU увеличился на 2,77%, что эффективно подтверждает способность модели к обобщению в различных областях.

关键词

сегментация изображений;заметные объекты;замаскированные объекты;SAM2;механизм внимания

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website