計算光學成像 西安電子科技大學 邵曉鵬教授 前言 計算光學成像是下一代光電成像技術,是光電成像技術步入信息時代的必然產物,其本質是光場信息的獲取和解譯,是在幾何光學成像的基礎上有機引入物理光學信息,以信息傳遞為準則,通過信息獲取更高維度的信息。計算光學可以理解為信息編碼的光學成像方法。 PART 1 什么是計算光學成像 光電成像的本質是光場信息的獲取與解譯,這里的光場是指光的強度、偏振、光譜、相位等物理量在空間中的分布,與光場相機描述的那個光場不同,那是一個純幾何光學描述的強度分布信息。 傳統(tǒng)光電成像是建立在幾何光學的基礎上,光場信息的獲取是記錄了二維的空間面上光強度分布,與人眼視覺相似,所見即所得,一般沒有光場解譯的過程。但是,我們應該能意識到,進入到成像系統(tǒng)的信息實際上多于我們所見的圖像,這也就意味著有部分信息其實是可以進行解譯的。 計算光學成像本質上是下一代光電成像技術,是光電成像技術在信息時代發(fā)展的必然。我們可以做如下定義:計算光學成像在傳統(tǒng)幾何光學的基礎上,有機融入了物理光學的信息,如偏振、相位、軌道角動量等物理量,以信息傳遞為準則,多維度獲取光場信息,并結合數學和信號處理知識,深度挖掘光場信息,通過物理過程解譯獲取更高維度的信息。 為什么叫計算成像?計算光學成像最早的叫法是“Computational Photography”,是由Computer Science的學者命名的,中文多翻譯為“計算攝影”,包括“光場相機”,都不是光學專家提的。在這里,我們要感謝計算機信息領域的學者,他們走在光學的學者前面。隨著壓縮感知和計算成像技術的快速發(fā)展,更多的光學專家也開始關注在傳統(tǒng)的光電成像中加入光學編碼,然后進行解碼,從而獲得景深等信息,他們認為成像就是“Imaging”,所以,更多人開始接受以“Computational Imaging”替代“Computational Photography”。實際上,這是一回事。逐漸地,越來越多不同領域的科學家開始從不同的視角去看計算成像,于是,從事計算成像的人越來越多,成為了研究熱點。 特別要注意,“計算成像”這個詞是由Computer Science的研究人員最先提出來的,這里的“計算”不僅僅是信號處理的計算,其實我們應該理解為“編解碼”(Coding/Decoding),光學的編碼有很多種方式:孔徑編碼、波前編碼、探測器編碼等等,所以,計算光學成像可以理解為信息編碼的光學成像方法。 我們通常指的計算成像,其實就是計算光學成像。 PART 2 為何要發(fā)展計算成像 幾何光學給我們帶來了很大的便利,系統(tǒng)簡單易用,工業(yè)化體系完備;但是,我們也看到了幾何光學存在的物理限制,在測距、視覺測量等方面受限因素頗多,一般能達到的精度為10^-2至10^-3數量級,難以實現10^-5到10^-6這樣數量級精度的跨越。我們知道,激光測距可以達到10^-6這樣數量級的精度,原因就是在模型中進入了相位測量,屬于典型的物理光學應用。 那么,如果能將物理光學引入到成像模型中,通過信息編碼/解譯獲得超越幾何光學成像的極限,這便是計算成像。我們期望計算成像技術能夠突破傳統(tǒng)光電成像的極限,通過信息賦能方式,步入信息時代。 我在很多次報告和文章中提到,光學成像朝著“更高、更遠、更廣、更小、更強”發(fā)展,即更高的分辨率、更遠的作用距離、更廣的視場、更小的光學成像體系、更強的環(huán)境適應性。具體的,可以查閱“計算成像技術與應用最新進展”和“計算成像內涵與體系”等論文,在此不贅述。 光學成像普遍存在“看不遠”、“看不清”,受環(huán)境影響嚴重等問題;看清楚了視場又不夠,要“看得遠、看得清”,光學系統(tǒng)的體積就會變得很龐大。如何解決這些矛盾,傳統(tǒng)成像已陷入了困境,于是,計算成像就成了21世紀光學成像領域的“那一片烏云”。 PART 3 計算成像發(fā)展過程中面臨哪些問題 計算成像的初衷很好,就是將物理光學能夠有機地融入到幾何光學成像中,但是,隨著研究的深入,我們發(fā)現:現代成像光學的理論大多是建立在線性模型的基礎上,傅里葉光學、光學系統(tǒng)設計、傍軸光學等等無一例外都是線性模型,成像探測器是平面的,量化和采樣遵循奈奎斯特定律。當我們習慣了線性模型的時候,大多數時候會認為線性模型是天經地義的,似乎不存在非線性模型這一說法。 熟悉圖像處理的人都有過這樣的經歷,設計一種算法的時候都會用Lena、CameraMan等標準圖像去實驗,對比其他算法。但是,我們會發(fā)現,當把這些方法運用到實拍圖像時卻效果一般,甚至很差。于是,很多人都回避這樣的問題,只展現出“最好”的那一組結果,證明算法的有效性。其實,導致這一結果的原因是這些標準圖像都是在很大幅面的圖像中選取了線性度最好的一部分,于是,這些算法應用到線性度很好的圖像確實會有很好的結果,但是,應用到實拍的整幅圖像中效果不佳,恰恰告訴我們:線性是一種美好的愿望,假設而已。 其實,這樣的例子很多,比如在透過散射介質成像中非常有名的“光學記憶效應”,其實也是一種線性近似。 于是我們發(fā)現,我們賴以“干活”的工具原來都是線性的,也就是說現代光電成像的理論模型都是線性的,只適用于線性條件。當我們對成像提出更高要求時,線性模型無能為力了,我們干不了活了。 那么,計算光學成像在發(fā)展過程中到底面臨哪些問題? 首先是計算成像的理論模型問題,其次是信息在成像過程中的傳遞以及對信息的度量問題,然后是光場在成像全鏈路中的變化過程,直至全光場信息經由探測器投影后信息如何重建。 PART 4 計算成像有哪些種 維基百科對計算成像的描述是:凡是在成像過程中引入計算的都屬于計算成像,從這個描述可以看出,幾乎所有的光電成像都可以納入到計算成像的范疇,甚至圖像處理在廣義上也可以認為是計算成像。 我們可以從很多維度上對計算成像技術進行分類,之前我在“計算成像內涵與體系”一文中對計算成像的體系做了詳細的分析,從應用和成像鏈路兩個維度做了分類。 首先,在應用維度上,我們可以從“更高、更遠、更廣、更小、更強”進行分類,這種分法有助于對計算成像的應用進行推廣。 然后,在學術維度上,可行的方法是在光電成像的鏈路上進行分類:計算照明、計算介質、計算光學系統(tǒng)、計算探測器和計算信號處理。在這個維度上,我們很容易地從成像全鏈路上分析全光場發(fā)生變化的情況,從而做全局的最優(yōu)化設計;也比較容易地從局部引入物理光學相關信息,突破幾何光學的限制。 舉一個“計算光學系統(tǒng)”的例子,傳統(tǒng)光學系統(tǒng)是建立在幾何光學的基礎上的,像差和調制傳遞函數是約束光學系統(tǒng)設計的主要因素,我們所見到的高級鏡頭多是又重又大又貴,想縮小體積是很難的。手機攝影的發(fā)展促使著光學系統(tǒng)必須要做小,但傳統(tǒng)的方法很難實現。近幾年,出現了很多基于超表面、微納光學技術的新型光學系統(tǒng),超薄、超小、超輕是它們的標簽,但光譜窄、透過率低、成像質量差也是它們的特點。其實,我們可以從光場信息的傳遞上來分析這些問題,也可以在傳統(tǒng)光學的基礎上加上新的技術進行平衡設計,達到更優(yōu)化的結果。 PART 5 計算成像發(fā)展的現狀怎么樣 計算成像的發(fā)展很快,熱度很高,新技術也層出不窮。我在“計算成像技術與應用最新進展”一文中對計算成像的發(fā)展有一些描述,具體可以參閱。 掃碼閱讀“計算成像技術及應用最新進展” 從“計算成像技術與應用研討會”和“國際計算成像技術”兩個會議參會人員來看,參會的人數很多,涉及的領域也很多:散射成像、超分辨率成像、生物醫(yī)學成像、光譜成像、光學系統(tǒng)設計、微納光學等等。 那么,我們思考一下:為什么參與計算成像研究的人那么多?正如前面所述,光電成像的應用在很多領域已難以滿足我們的需要了,比如:透過車窗戶如何看清坐在里面的人?手機屏幕能不能因為前置攝像頭的存在去掉“劉?!??手機的鏡頭能不能不凸出?霧霾天能不能還能看清楚?寬譜的光學合成孔徑如何實現?光學成像能否像科幻電影里一樣可以無限放大圖像?被動成像能否高精度獲得深度信息?……這些問題一直困擾著研究人員,也是促進計算成像發(fā)展的動力。于是,不同領域的研究人員就使出了“八仙過?!钡纳裢?,在各自的領域中開拓發(fā)展計算成像技術,緊接著,百花齊放的景象就出現了。這對計算成像的發(fā)展無疑是很好的促進,但是,我們也應該看到,重復研究、局限于局部視角看問題、甚至想單一技術解決所有問題的想法都已出現,因此,在這個時候需要提出計算成像的體系建設問題?!坝嬎愠上駜群c體系”一文重點講的就是這個內容,希望能夠從全局的觀點看問題、以計算成像基礎理論作為牽引,發(fā)展計算成像技術。 PART 6 計算成像的未來 那么,計算成像的未來是什么?給我們會帶來哪些新的變化? 正如文首所言,計算成像是下一代的光電成像技術,是光學成像步入信息時代的必然產物,其結果是顛覆傳統(tǒng)光電成像,突破現有成像技術的局限,實現“更高、更遠、更廣、更小、更強”,解決上一節(jié)提出的諸類問題。 計算光學成像本質上是下一代光電成像技術,是光電成像技術在信息時代發(fā)展的必然。我們可以做如下定義:計算光學成像在傳統(tǒng)幾何光學的基礎上,有機融入了物理光學的信息,如偏振、相位、軌道角動量等物理量,以信息傳遞為準則,多維度獲取光場信息,并結合數學和信號處理知識,深度挖掘光場信息,通過物理過程解譯獲取更高維度的信息。 未來,我們的光電成像將以全新的方式出現,在以傳統(tǒng)幾何光學為基礎的成像中,引入了物理光學的元素,被動的光電成像系統(tǒng)中也將會有距離信息、方位信息,離焦、運動模糊等現象將不復存在,寬譜非相干的合成孔徑成為現實,多個相機的排列可以合成大口徑實現高分辨率成像,單個相機的凝視成像也能超分辨率,光電成像可以由計算實現自適應環(huán)境,抵御惡劣環(huán)境對成像的影響。同時,計算成像也是革命性的,傳統(tǒng)成像是建立在穩(wěn)定約束條件下的,而計算成像則引入了非穩(wěn)態(tài)元素,這將引起傳統(tǒng)光學制造、檢測工業(yè)的革命,評價方法、測量方法、計量手段都發(fā)生了新的變化。 舉個例子,超大口徑的天文望遠鏡是非常復雜的系統(tǒng)工程,不僅表面面型要穩(wěn)定控制,而且鏡面的精度要求也非常高;加工和檢測的要求極高,加工周期和成本與口徑大小呈指數關系??梢韵胂?,加工超過10m口徑的望遠鏡,難度極高。但計算光學技術的引入,將改變這一現狀,不僅對面型放松了要求,而且加工精度也放松了很多,甚至引入編碼技術,可以降低對焦難度,獲取更大的景深,甚至能夠獲得光譜的信息。 另外一個例子是手機,多種光學合成孔徑技術的應用可以使得相機“越看越清楚”,克服霧霾也指日可待。偏振成像技術應用到手機中,可以直接獲得“立體”視覺,可以作為“全息成像”的視頻源;手機攝像也可以用于日常的光學測量,例如買房測實用面積、物體尺寸的測量等等。 我想,這應該算是在光電成像中的一次信息革命吧。 作者簡介 西安電子科技大學光電工程學院院長、陜西省創(chuàng)新人才推進計劃中青年科技創(chuàng)新領軍人才、陜西省新體制光電成像與感知科技創(chuàng)新團隊負責人、西安市計算成像重點實驗室主任、西安電子科技大學光學工程學科帶頭人?!叭珖嬎愠上窦夹g與應用”研討會發(fā)起人,在行業(yè)里具有廣泛的影響力。 作為國內最早開展計算成像研究的人員之一,在新體制光電成像與感知領域攻堅前沿基礎研究并促進技術工程應用,率先在國內開展散射成像研究。2018年攻克了白光等寬譜光的散射成像難題,使光學散射成像由主動模式轉為被動成像成為了可能。發(fā)表論文200余篇、發(fā)明專利80余項,獲省部級獎勵15項,年均科研經費1000萬元以上。帶領團隊成員研制了廣域偵察監(jiān)視相機、高性能低成本小型化紅外導引頭、偏振相機、激光陀螺儀光損耗測試儀、輻射計量輻射光源穩(wěn)定功率系統(tǒng)等,成果和樣機用于國內多家科研院所,促進了新體制成像技術的裝備應用。 |
|
來自: 新用戶0118F7lQ > 《文件夾1》