李錚
數(shù)碼相機(jī)通常需要鏡頭將入射光聚焦在圖像傳感器上,雖然技術(shù)不斷改進(jìn),允許更緊湊的相機(jī)系統(tǒng),但它們?nèi)匀皇艿轿锢淼南拗?。鏡頭只能這么小,鏡頭和傳感器之間的距離這么短。鑒于此,“無鏡頭”相機(jī)的概念被設(shè)計出來,沒有光學(xué)設(shè)計的物理限制,無鏡頭相機(jī)可以做到小很多。東京工業(yè)大學(xué)的山口正弘教授說:“沒有鏡頭的限制,無鏡頭相機(jī)可以做到超微型,超出我們想象的應(yīng)用范疇?!?/p>
無鏡頭相機(jī)本身的想法并不新鮮,2013年的單像素?zé)o鏡頭相機(jī)曾經(jīng)曇花一現(xiàn)。無鏡頭相機(jī),包括一個圖像傳感器和傳感器前面用于編碼信息的薄掩模(mask簡稱掩模,是光刻工藝不可缺少的部件。掩模上承載有設(shè)計圖形,光線透過它,把設(shè)計圖形透射在光刻膠上),在應(yīng)用場景中,需要數(shù)字計算來產(chǎn)生詳細(xì)的圖像。
通過了解光如何與圖像傳感器前面的薄掩模相互作用,算法可以解碼光信息并重建聚焦場景。然而,解碼過程極其復(fù)雜。除了需要大量時間之外,生成良好的圖像質(zhì)量還需要完美的機(jī)身物理設(shè)計。
研究人員還開發(fā)了一種依賴于深度學(xué)習(xí)的重建方法,使用卷積神經(jīng)網(wǎng)絡(luò) (CNN) 的現(xiàn)有深度學(xué)習(xí)方法。CNN 根據(jù)相鄰的“局部”像素處理圖像,將光學(xué)的信息轉(zhuǎn)換為像素上的重疊“全局”信息傳感器,稱為“多路復(fù)用”。
這項(xiàng)新研究依賴于新穎的機(jī)器學(xué)習(xí)算法,稱為Vision Transformer(ViT) ,該算法的新穎之處在于具有重疊“patchify”模塊的多級轉(zhuǎn)換器塊結(jié)構(gòu),能夠有效地學(xué)習(xí)圖像特征。
顧名思義,無鏡頭相機(jī)完全省略了傳統(tǒng)的光學(xué)鏡頭。相反,它只包括一個傳感器和一個掩模。相機(jī)無法將光聚焦在圖像傳感器上,因此必須使用編碼模式,在掩模和圖像傳感器相互作用下重建圖像
無鏡頭相機(jī),包括一個圖像傳感器和一個2.5毫米的距離傳感器,在二氧化硅板上使用鉻沉積制成的,孔徑為40μm×40μm
如右圖,第一行是用于測試所提出的無鏡頭相機(jī)的真實(shí)場景。在這一行中,最左邊的兩列是液晶顯示器上顯示的目標(biāo),而最右邊的兩列是三維空間中的真實(shí)對象。第二行顯示了無鏡頭相機(jī)捕捉到的圖案。第三行是這里信息最多的,因?yàn)樗枋隽耸褂媒ㄗh的重建技術(shù)的結(jié)果。第四行顯示了使用基于模型的方法的結(jié)果,該方法傳統(tǒng)上用于無鏡頭相機(jī)。第五行也是最后一行依賴于卷積神經(jīng)網(wǎng)絡(luò),看起來在全局圖像重建方面還存在局限性。