Para lograr el reconocimiento de incendios en laboratorios y resolver el problema de que las imágenes capturadas por la cámara muestren llamas poco visibles debido a su pequeño tamaño, así como la influencia de la cobertura de humo acompañante en la precisión de la segmentación y el reconocimiento, se propone una red mejorada de segmentación por fusión en tiempo real y con percepción semántica de imágenes térmicas infrarrojas y visibles. Mediante la fusión de imágenes térmicas infrarrojas y visibles, se proporciona información de radiación térmica para mejorar la información espectral reducida por la cobertura de humo en las imágenes visibles y la prominencia de la fase temprana de combustión de la llama, completando la segmentación de llamas bajo la cobertura de humo en el laboratorio y las pequeñas llamas en las primeras etapas de combustión. Se añadieron bloques intermedios de transferencia de características (IFTB) en los bloques densos residuales de gradiente (GRDB) de la red de fusión e introdujeron bloques de peso, reduciendo la pérdida de información de la imagen de la llama durante la fusión y restaurando la estructura de la imagen visible con mínima pérdida de contenido mientras se mejora la prominencia de la imagen de la llama. En la red de segmentación semántica Deeplabv3+, se añadió un módulo de extracción de bordes basado en transformaciones de gradiente (EEM), que mejora la información de bordes de imágenes de llamas y humo con cambios significativos de iluminación en la imagen fusionada, reduciendo el impacto de la cobertura de humo en la segmentación de llamas y mejorando la precisión del reconocimiento de llamas. Los resultados experimentales muestran que la fusión de imágenes visibles e infrarrojas térmicas mejora la precisión de la detección, segmentación y reconocimiento de llamas en la fase temprana de combustión. La red mejorada de segmentación de llamas muestra un índice de intersección sobre unión promedio del 91,27% y una eficiencia de segmentación de 11,96 FPS en un conjunto de datos auto-recolectado, lo que indica una mejora significativa en el rendimiento de la red de fusión para la segmentación y el reconocimiento de llamas y humo en laboratorio, con valor práctico para la detección de llamas y humo en laboratorio.

detección de llamas y humo; fusión de imágenes; segmentación semántica; IFTB; extracción de bordes