تقسيم الصور المستمر على أساس محاذاة النماذج الأولية

GAO Yongzhan ,  

HUANG Lingxiao ,  

YAO Xinbo ,  

ZHOU Kaiyuan ,  

XU Haizhe ,  

摘要

لمعالجة مشاكل النسيان الكارثي لمعرفة الفئات القديمة، تمثيل الأهداف الجديدة غير الكافي، والانحراف الديناميكي في دلالات الخلفية مع تقدم المهمة في تقسيم الصور المستمر، تقترح هذه الورقة طريقة تقسيم صور مستمرة موجهة نحو المشهد المتزايد للفئات بالاعتماد على محاذاة النماذج الأولية (Prototype-Aligned Incremental Segmentation، PAIS). تنطلق هذه الطريقة من منظور استقرار تمثيل الكائنات على مستوى الكائن، وتقوم بالنموذج الموحد لتهيئة واستمرارية وتعويض الدلالات التاريخية لاستعلام الكائن في الطرف الخاص بفك الشفرة خلال عملية التعلم المستمر. تحتوي الطريقة على 3 وحدات رئيسية: التهيئة الواعية بالنموذج الأولي (Prototype-Aware Initialization، PAI) التي تولد استعلامات الكائن عن طريق اختيار المواقع ذات الاستجابة الدلالية البارزة من خريطة الميزات الحالية لتعزيز قدرة النموذج على نمذجة الفئات الجديدة؛ تعلم الاتساق الزمني (Temporal Consistency Learning، TCL) الذي يُقيّد اتساق المواقع الدلالية الرئيسية والتوزيع الاستجابي بين مراحل التعلم المتجاورة لتخفيف تدهور خصائص الكائن الناتج عن انحراف الميزات؛ الذاكرة الواعية للفئات (Category-Aware Memory، CAM) التي تحافظ على تمثيلات ذاكرة الفئة المدمجة لتعزيز قدرة الاحتفاظ بالفئات القديمة من دون الاعتماد على إعادة عرض عدد كبير من الصور. تظهر نتائج التجارب على تقسيم المشهد المستمر وتقسيم الدلالة المستمر على مجموعة بيانات ADE20K أن PAIS يتفوق على طرق تمثيلية مثل ECLIPSE وBalConpas وCoMFormer في إعدادات مهام متعددة وتقسيمات بيانات وتسلسلات إدخال مختلفة؛ حيث تحقق تحسناً بنسبة 6.75٪ في مؤشر PQ على مجموعة بيانات معنونة تضم 150 فئة، مع تقليل متطلبات التخزين بحوالي 10 أضعاف. توضح نتائج التجارب أن PAIS قادر على تحقيق توازن جيد بين قدرة تعلم الفئات الجديدة، الحفاظ على الفئات القديمة، وكفاءة التخزين.

关键词

تقسيم الصور المستمر;محاذاة النماذج الأولية;تعلم الاتساق الزمني;الذاكرة الواعية للفئات;تقسيم المشهد

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website