Universeller Segmentierungsalgorithmus basierend auf dynamischer Merkmalsbalance und Verstärkung

DENG Wanyu ,  

LIU Yangwu ,  

摘要

Obwohl die visuellen Merkmale bei der Erkennung auffälliger und getarnter Objekte gegensätzlich sind, stellen beide hohe Anforderungen an die Genauigkeit der Grenzsegmentierung. Bestehende Methoden stoßen jedoch bei der Aufgabenübergreifenden Generalisierung oft aufgrund von einseitiger Merkmalpräferenz an Leistungsgrenzen. Daher wird in diesem Artikel ein universelles Segmentierungsmodell SAM2-UFFM vorgeschlagen. Das Modell verwendet das hierarchische Backbone-Netzwerk Hiera von SAM2 als Encoder, friert vortrainierte Parameter ein und führt einen leichtgewichtigen Adapter ein, der eine effiziente Feinabstimmung der Parameter ermöglicht und dabei die starke Merkmalsrepräsentationsfähigkeit vollständig bewahrt; es verzichtet auf die traditionelle U-Net-Architektur und entwirft einen AttUNet-Decoder, der durch vollskalige Skip-Verbindungen eine effiziente Fusion von Informationen auf allen Skalen ermöglicht und das Problem des Informationsverlusts wirkungsvoll löst; ein Merkmal-Balance-Aufmerksamkeitsmodul wird vorgeschlagen und mit einem ergänzenden Merkmal-Feinabstimmungsmodul kombiniert, das globales Semantik- und lokale Detailgleichgewicht dynamisch ausbalanciert, anschließend wird die globale Wahrnehmung auffälliger Objekte und die präzise Grenzsegmentierung getarnter Objekte gezielt verstärkt, unterstützt durch eine Tiefenaufsichtsstrategie zur Vermeidung von Übersegmentierung. Experimentelle Ergebnisse zeigen, dass das Modell eine überlegene Leistung gegenüber bestehenden fortschrittlichen Methoden auf drei öffentlichen Datensätzen erzielt. Die strukturellen Metriken auf den COD- und SOD-Datensätzen verbesserten sich gegenüber dem besten vorhandenen Modell um jeweils 1,02% bzw. 1,83%, der durchschnittliche absolute Fehler sank auf 0,035 bzw. 0,018. Darüber hinaus stieg der IoU-Wert bei der Aufgabe der Stahloberflächen-Fehlers segmentierung um 2,77%, was die domänenübergreifende Generalisierungsfähigkeit des Modells effektiv bestätigt.

关键词

Bildsegmentierung; auffälliges Ziel; getarntes Ziel; SAM2; Aufmerksamkeitsmechanismus

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website