近期，中國科學(xué)院上海光學(xué)精密機械研究所信息光學(xué)與光電技術(shù)實驗室司徒國海研究員團隊在基于深度學(xué)習(xí)的頻譜欠采樣及復(fù)原方面取得新進展。研究團隊通過聯(lián)合優(yōu)化頻譜采樣和頻譜重建，在7.5%的極限采樣率下成功實現(xiàn)復(fù)雜場景的高質(zhì)量彩色重建。相關(guān)研究成果以“Learning-based adaptive under-sampling for Fourier single-pixel imaging”為題發(fā)表于Optics Letters上。 

　　自然場景圖像往往在頻域較空域更具稀疏性。傳統(tǒng)成像在空域采樣，而傅里葉單像素成像（FSI）通過投影不同頻率的正弦條紋對場景編碼，可直接使用單像素探測器對場景頻譜采樣。利用頻譜稀疏性，F(xiàn)SI可在不顯著犧牲圖像質(zhì)量的條件下減少采樣次數(shù)，提升信息獲取效率。但這種有損壓縮方法，難以在極低采樣率下應(yīng)用。通過引入深度學(xué)習(xí)可對降質(zhì)的欠采樣圖像進行增強，但其性能受到手動設(shè)計頻譜采樣方案的限制。 

　　研究人員基于自編碼架構(gòu)（圖1a），在編碼層引入一個可學(xué)習(xí)的頻域欠采樣二值掩膜，并在解碼層實現(xiàn)對欠采樣重建結(jié)果的增強，通過計算網(wǎng)絡(luò)輸出結(jié)果和標(biāo)簽值之間的差異，指導(dǎo)欠采樣掩膜和解碼網(wǎng)絡(luò)參數(shù)協(xié)同優(yōu)化。研究人員還引入一個色彩濾波陣列（圖1b），獲取Bayer格式圖像，經(jīng)Demosaic算法處理得到彩色圖像。仿真和實驗結(jié)果表明，所提基于人工智能的端到端聯(lián)合優(yōu)化方法有望為FSI提供最優(yōu)編解碼策略（圖2），從而有望促進其在遙感、顯微、特殊波段成像、三維成像等領(lǐng)域的應(yīng)用。此外，這種引入二值采樣掩膜的智能欠采樣策略可應(yīng)用于眾多需要按重要性降采樣的任務(wù)中，如傅里葉疊層成像，計算層析等。

   原文鏈接

　　圖1. 所提方案示意圖。（a）利用自編碼器協(xié)同設(shè)計欠采樣掩膜和重建網(wǎng)絡(luò)。（b）使用習(xí)得的掩膜來生成照明模式。（c）使用照明模式調(diào)制目標(biāo)，得到的桶信號可以通過預(yù)訓(xùn)練的解碼網(wǎng)絡(luò)來重建目標(biāo)。

　　圖2. 實驗結(jié)果。FSI-learned：使用所提方法的頻譜采樣策略的傅里葉單像素成像（FSI）結(jié)果；FSI-circle：使用均勻圓形欠采樣；FSI-DL：均勻圓形欠采樣+深度學(xué)習(xí)；Ours：所提頻譜采樣與圖像重建聯(lián)合優(yōu)化。