Para realizar o reconhecimento de incêndios em laboratório e resolver o problema das chamas pouco visíveis nas imagens capturadas pela câmera devido ao pequeno tamanho da chama, bem como o impacto da obstrução causada pela fumaça acompanhando a chama na precisão da segmentação e reconhecimento, é proposta uma rede de segmentação de fusão em tempo real com percepção semântica aprimorada para imagens térmicas infravermelhas e imagens visíveis. Por meio da fusão de imagens térmicas infravermelhas e visíveis, são fornecidas informações de radiação térmica para melhorar as informações espectrais reduzidas pela obstrução de fumaça nas imagens visíveis, bem como a saliência do estágio inicial da combustão da chama, completando a segmentação da chama sob obstrução de fumaça no laboratório e da pequena chama na fase inicial da combustão. Foram adicionados blocos intermediários de transferência de características (IFTB) nos blocos densos residuais de gradiente (GRDB) da rede de fusão e introduzidos blocos de peso para reduzir a perda de informação da imagem da chama durante a fusão, restaurando a estrutura da imagem visível com mínima perda de conteúdo, ao mesmo tempo em que aumenta a saliência da imagem da chama. No rede de segmentação semântica Deeplabv3+, foi adicionado um módulo de extração de borda baseado em transformação de gradiente (EEM), reforçando a informação das bordas das imagens de chama e fumaça com mudanças significativas de luz no image fusion, reduzindo o impacto da obstrução de fumaça na segmentação da chama e melhorando a precisão do reconhecimento da chama. Os resultados experimentais mostram que a fusão das imagens visíveis e térmicas infravermelhas melhora a precisão da detecção e segmentação da chama na fase inicial da combustão. A rede de segmentação de chamas aprimorada mostrou uma média de interseção sobre união de 91,27% e eficiência de segmentação de 11,96 FPS no conjunto de dados auto-coletado, indicando uma melhora significativa no desempenho da rede de segmentação por fusão para segmentação e reconhecimento de chamas e fumaça em laboratório, com valor prático para a detecção de chamas e fumaça em laboratório.

detecção de chamas e fumaça; fusão de imagens; segmentação semântica; IFTB; extração de bordas