Hybrid CNN-Transformer Architectures for Image Denoising : Evaluating the quality-efficiency trade-off of integrating self attention into a CNN-based denoising model

Bildbrusreducering är ett centralt problem inom datorseende där målet är att förbättra bilder som förämrats av brus som introduceras vid bildtagning, överföring eller lagring. Medan CNN-baserade brusreducerings modeller är effektiva har Transformer-baserade metoder visat ytterligare förbättringar, men ofta till en högre beräkningskostnad. Detta projekt undersöker avvägningen mellan kvalitet och effektivitet vid tillägg av self-attention, en mekanism som fångar beroenden på långa avstånd i en bild, i en CNN-baseradbrusreduceringsmodell. Mer specifikt utvärderas integrering av Swin Transformer lager, en Transformerdesign som använder lokala fönster, i en DnCNN-basmodell och om detta tillägg förbättrar brusreduceringskvaliteten, samt om eventuella kvalitetsvinster motiverar den extra beräkningskostnaden. Basmodellen DnCNN och de hybrida DnCNN-Swin varianterna tränades från grunden på bilder i gråskala från DIV2K-datasetet med syntetiskt additivt vitt Gaussiskt brus. Prestanda mättes med PSNR, SSIM och inferenstid. Resultaten visar att tillägget av self-attention gav mätbara men begränsade kvalitetsförbättringar, där den bästa hybridvarianten vinner 0.14 dB PSNR (28.68 vs. 28.54) och 0.0046 SSIM (0.8612 vs. 0.8566) gentemot basmodellen DnCNN. Däremot ökade beräkningskostnaden väsentligt när fler attention-lager lades till, där den bästa hybridvarianten krävde ungefär 23 gånger längre inferenstid än basmodellen