近日，信息科學與技術學院孔俊教授團隊通過對圖像進行多尺度、多頻率特征學習的策略，提出了一種去除圖像模糊的方法。該方法利用深度學習神經網絡框架，將圖像不同尺度和高低頻特征作為學習的目標，并設計了不同的損失函數對學習到的圖像特征進行指導和監督，實現了高效的模糊圖像復原任務。
圖像去模糊（Image Deblurring）的目的是從模糊圖像中恢復圖像的詳細紋理信息或結構，是許多計算機視覺任務中不可缺少的步驟。目前大多數方法將重心放在處理不同尺度的圖像特征上，并將模糊圖像作為一個整體進行處理，忽略了區分圖像頻率，導致網絡性能受到了一定限制。為了解決此問題，研究組提出了一種基于對比學習的多尺度分頻去模糊網絡（MSFS-Net），旨在學習圖像的多尺度空間和頻率信息，實現更加精細的圖像去模糊任務。首先，MSFS-Net提出了特征頻率分離模塊（FSM），將圖像特征分為低頻和高頻分量。通過將FSM模塊嵌入編-解碼網絡結構中，MSFS-Net可以同時捕獲不同頻率和尺度的多種圖像特征。其次，MSFS-Net提出了循環一致性策略和多尺度對比學習模塊（CLM）來分別約束低頻和高頻特征。對于低頻特征，MSFS-Net使用循環一致性損失進行監督。對于高頻特征，使用基于對比學習的監督方式，逐步恢復不同尺度的特征。最后，MSFS-Net提出了一種跨尺度特征融合模塊（CSFFM）以融合不同階段的不同尺度特征，從而更好地利用多尺度信息進行去模糊。本項工作為高效的圖像去模糊和其它圖像復原任務提供了新穎的解決方案，相關成果以“Multi-Scale Frequency Separation Network for Image Deblurring”為題發表在工程技術領域著名期刊《IEEE Transactions on Circuits and Systems for Video Technology》(DOI: 10.1109/TCSVT.2023.3259393)上。第一作者博士生張燕妮還以該工作為主體參加吉林省研究生智慧城市技術與創意設計大賽，榮獲一等獎。本文通訊作者王建中副教授獲該項賽事“優秀指導教師”。
圖：MSFS-Net網絡結構圖
多年來，孔俊教授研究團隊一直致力于面向圖像/視頻數據的特征學習研究。結合我校計算機科學與技術、數學、統計學等多專業融合的指導方向，圍繞計算機視覺領域的核心問題，取得了系列重要科研成果：（1）構建了面向圖像/視頻等高維數據的低冗余特征選擇準則并基于該準則設計了特征選擇方法。解決了特征選擇過程中的信息冗余問題，增強了高維數據特征選擇的實用性和靈活性（Pattern Recognition, DOI: 10.1016/j.patcog.2012.11.025）。(2) 解決了圖像/視頻等高維數據特征提取過程中的圖構建和圖優化問題，豐富和完善了高維數據特征學習的理論模型 （IEEE T CSTV, DOI: 10.1109/TCSVT.2019.2892971; Neurocomputing, DOI: /10.1016/j.neucom.2017.03.046）。(3) 給出了半監督條件下圖像/視頻數據的特征學習方法，并將其應用于識別分析任務，有效提高了識別分析模型的準確性 (Neurocomputing，DOI：10.1016/j.neucom.2014.07.031)。
研究團隊先后在IEEE T CSTV, Pattern Recognition, Information Sciences, Neurocomputing, Multimedia Tools and Applications,ICASSP,ICIP,ICIC 等具有國際影響力和中國計算機學會推薦的國際期刊和會議上發表系列科研成果，培養博士研究生5名，授權發明專利4項（ZL202010716230.3，ZL201911333260.X，ZL201510777140.4等），博士生張燕妮，碩士生司雨獲得校長獎學金，碩士生唐瑞獲得國家獎學金和小米特等獎學金，部分科研成果獲2023年度吉林省科學技術獎自然科學獎二等獎。
