Variational methods and deep learning for semantic image segmentation

Actualmente, las aplicaciones de visión por computadora, que incluyen la conducción autónoma, la detección de fallas, la imagenología médica y la teledetección, son cada vez más frecuentes y necesitan mecanismos de segmentación o clasificación de píxeles más precisos. Recientemente, las técnicas de aprendizaje profundo que utilizan redes neuronales se han convertido en la estrategia dominante para resolver diversos problemas en visión por computadora; sin embargo, existen limitaciones y problemas aún por resolver. Es por ello que una integración adecuada con técnicas tradicionales, como los métodos variacionales, con sus propias ventajas y limitaciones, resulta de interés para mejorar la precisión y robustez de la segmentación semántica. Esta tesis se centra en la implementación y validación de algoritmos de segmentación de imágenes que combinan métodos variacionales y aprendizaje profundo en cuatro escenarios diferentes. En el primer escenario, que implica la segmentación de peces en entornos subacuáticos, se compararon métodos variacionales integrados utilizando enfoques de post-procesamiento, extremo a extremo (end-to-end) y una función de pérdida combinada. En el segundo escenario, que aborda la segmentación de baches y grietas en pavimentos de carreteras, se entrenaron tres arquitecturas de redes neuronales SOTA (del estado del arte) utilizando una función de pérdida de entropía cruzada combinada y contornos activos. En el tercer escenario, enfocado en la segmentación de techos de edificios en imágenes satelitales, se entrenó una red neuronal U-Net con diferentes redes SOTA en la ruta del codificador (encoder path) mediante aprendizaje por transferencia (transfer learning), y el mejor modelo fue seleccionado para ser entrenado utilizando una función combinada con pérdida de entropía cruzada y pérdida de contornos activos. Finalmente, en el cuarto escenario, que se refiere a la segmentación de cobertura terrestre en imágenes aéreas, se emplearon aprendizaje por transferencia y la función de contornos activos en el entrenamiento de redes neuronales convolucionales y transformadores (transformers). Los resultados cuantitativos consolidados demuestran mejoras significativas: la función de pérdida combinada logró aumentos promedio de4-6% en el mIoU (mean Intersection over Union) en comparación con los enfoques que solo utilizaban entropía cruzada o Dice. Específicamente, para la segmentación de peces, el modelo U-Net-scSE con un codificador ResNeSt-269e alcanzó 73.1% de mIoU; para la detección de baches, 87.45% de mIoU con una reducción de HD95 a 23.40 mm; para la segmentación de techos, se logró una mejora del 14% en IoU utilizando aprendizaje por transferencia; y para la cobertura terrestre, el modelo U-Net-scSE con un codificador MiT- B4 obtuvo 80.4% de mIoU. Estas validaciones a través de cuatro dominios heterogéneos demuestran que la integración sistemática de métodos variacionales en redes profundas proporciona mejoras cuantificables y transferibles en la exactitud de la segmentación.