Комбинирование точности и применимости в 6D оценке позы всегда было актуальной и сложной задачей исследования. В данной статье предлагается сеть оценки 6D позы с использованием внимания к мульти-модальным данным для объединения признаков. Во-первых, введена более глубокая структура модуля squeeze-and-excitation, которая улучшает зависимость и расширяет зону восприятия путем регулировки весов каналов, что повышает качество обработки признаков RGB изображений. Далее, для мульти-модальных данных на этапе объединения признаков применяется итеративный модуль внимания для их слияния. Многошаговое итеративное слияние решает проблему несоответствия масштабов при глобальном объединении признаков, позволяя более точно захватывать и интегрировать мульти-модальные данные, что значительно улучшает эффективность регрессии позы. В заключение, для количественной оценки устойчивости модели и применимости в сложных условиях введен показатель процента невидимости, который оценивает производительность модели при работе с частичными перекрытиями или сложным фоном. Эксперименты по предсказанию позы на открытых наборах данных подтвердили, что усовершенствованная модель не только точно предсказывает позы на валидационных данных, но и превосходит Densefusion по применимости в сложных условиях.

6D оценка позы; мультимодальные данные; внимание к признакам; процент невидимости