官宣800萬像素相機(jī)裝車量產(chǎn)計(jì)劃的主機(jī)廠越來越多，而我司量產(chǎn)的“二八大杠”至今還在用100萬像素相機(jī)。自動駕駛的軍備競賽在感知同事那里未引起一絲恐慌，反倒是我們產(chǎn)品部的女領(lǐng)導(dǎo)坐不住了。“再用一百萬像素相機(jī)，產(chǎn)品的亮點(diǎn)還怎么寫”，并喊出了"義務(wù)給感知同事翻倍像素"的口號。

而我，因?yàn)轱柺茉嵅〉氖謾C(jī)拍照技術(shù)以及多次下午咖啡廳與女領(lǐng)導(dǎo)的不期相遇，被女領(lǐng)導(dǎo)點(diǎn)名負(fù)責(zé)此次相機(jī)的選型。美其名曰：通過這次選型，加深對相機(jī)原理的理解，以便提高團(tuán)建時(shí)的攝影技術(shù)。我屈于房貸、車貸，小微貸，x貸，欣然接下了這個(gè)對我來說從0到1的挑戰(zhàn)。

本文自動駕駛?cè)谠挼谄咂诰蛯⑦x型過程中學(xué)到的知識總結(jié)、匯總，以期給下個(gè)因貸款壓力而不得不了解車載單目相機(jī)的寒士一間廣廈。

作用

單目相機(jī)一直被稱為自動駕駛的“眼睛”，其可提供的豐富感知細(xì)節(jié)信息、適中的價(jià)格，穩(wěn)定的性能，在自動駕駛感知領(lǐng)域被寄予開疆拓土的重托。

一、感知功能

提供中遠(yuǎn)距、全天候內(nèi)目標(biāo)檢測，包括動態(tài)目標(biāo)（行人、車輛等）、靜態(tài)目標(biāo)（車道線、交通標(biāo)識、交通信號燈等）。通過結(jié)合毫米波雷達(dá)的感知信息，當(dāng)前已經(jīng)可以比較成熟的實(shí)現(xiàn)L2下的預(yù)警（LDW/FCW）和控制(ACC/AEB/LKA/TJA)方面的眾多輔助駕駛功能。未來與激光雷達(dá)、4D毫米波雷達(dá)的多傳感器融合方案，也被認(rèn)為是實(shí)現(xiàn)L3以上單車智能的標(biāo)準(zhǔn)硬件配置。

二、環(huán)視功能

通過將大角度范圍內(nèi)的光線，進(jìn)行壓縮、扭曲之后提供大角度范圍內(nèi)車輛周邊環(huán)境數(shù)據(jù)，并通過多個(gè)個(gè)環(huán)視相機(jī)圖像的拼接，去扭和變形之后可以實(shí)現(xiàn)低速場景下非常實(shí)用的360°全景影像功能。泊車場景下，同時(shí)通過對停車線的識別，輔助實(shí)現(xiàn)自主泊車功能。

三、監(jiān)測功能

艙內(nèi)駕駛員或車內(nèi)人員狀態(tài)監(jiān)測。通過采集駕駛員面部圖像數(shù)據(jù)，一來可以進(jìn)行身份識別、認(rèn)證，繼而完成專屬ID的自定義功能調(diào)整。二來可以用來檢測駕駛員是否有走神、疲勞、打瞌睡等影響駕駛安全的行為，以便可以及時(shí)預(yù)警提醒。

原理

天天舉著相機(jī)亂拍，從來沒想過里面的曝光、對焦、HDR都是什么原理，每次都是挨個(gè)點(diǎn)一遍，比較開與不開的效果，完全沒有一點(diǎn)理論依據(jù)。這次機(jī)會來了，祖宗十八代都要給它調(diào)查清楚了。單目相機(jī)的成像原理包括透鏡成像原理和感光顯像原理兩部分。

一、透鏡成像原理

光成像現(xiàn)象最早可追溯到戰(zhàn)國時(shí)期的小孔成像，以興天下大利為己任的墨子發(fā)現(xiàn)用一個(gè)帶有小孔的板遮擋在墻體與物體之間，墻體上就會形成物體的倒影。墨子及弟子們隨手就記錄在自己的日記本《墨經(jīng)》里，這一順手，也成為中華民族對光直線傳播現(xiàn)象的第一次形象描述。

文藝復(fù)興時(shí)期，思想進(jìn)步賊快的歐洲人也發(fā)現(xiàn)了這一現(xiàn)象，但他們沒有僅限于寫在日記里，而是思考如何利于這個(gè)現(xiàn)象來豐富自己的精神生活，這是兵荒馬亂的春秋戰(zhàn)國年代所沒有的物體基礎(chǔ)。思來想去，歐洲人覺得可以用來畫畫，于是在懸梁刺股之后發(fā)明了暗箱寫生。

在暗箱一面開一個(gè)孔，另外一面掛一塊畫布，通過臨摹畫布上的影像，一幅春樹秋霜圖很快就可以完成，畫畫效率及質(zhì)量大幅提升。但時(shí)間一久，歐洲人發(fā)現(xiàn)暗箱太暗，視力下降太快，當(dāng)時(shí)沒有眼鏡，導(dǎo)致人馬相撞的事故率急劇上升。如果把孔開大一點(diǎn)，讓更多的光線照進(jìn)來，成像效果又非常模糊，不適合畫畫。這可讓歐洲人左右為難。

在享受道路上未服輸?shù)臍W洲人通過不斷試驗(yàn)，發(fā)現(xiàn)將凸透鏡裝在暗箱的孔上，能將傳播過來的光線聚焦，這樣孔開的大一點(diǎn)，也能得到清晰明亮的影像了。利用的就是凸透鏡的屈光性原理，光線由一種介質(zhì)進(jìn)入另一種不同折射率的介質(zhì)時(shí)，會發(fā)生前進(jìn)方向的改變，這也是相機(jī)透鏡成像原理的基礎(chǔ)。

二、感光顯像原理

暗箱寫生經(jīng)過一段時(shí)間的風(fēng)靡之后，部分歐洲人過了那股新鮮勁，且忙于殖民侵略擴(kuò)張，很難有時(shí)間再悠閑地寫生了。他們開始琢磨，如果不用人畫，能直接將影像記錄下來，是不是一個(gè)巨大的商機(jī)?；谶@個(gè)思路，歐洲的科學(xué)家們不斷嘗試，最紅發(fā)現(xiàn)碘化銀這種材料對光線非常敏感，在不同強(qiáng)度的光線照射下可以形成不同大小的晶體。

將這個(gè)感光材料涂到一個(gè)光滑的平板上并曝光幾十分鐘，就可以把影像記錄下來，這也就是著名的銀版照相技術(shù)，同時(shí)也標(biāo)志著現(xiàn)代攝影術(shù)的開端。感光材料自此成為歐美科研院所，企事業(yè)單位研究的重點(diǎn)，且在經(jīng)歷無數(shù)種材料的排列組合試驗(yàn)之后，誕生了上風(fēng)靡全球的感光材料“膠片”。而其發(fā)明者公司柯達(dá)，順勢推出膠卷家用相機(jī)，也讓相機(jī)開始走入尋常百姓家。而我們也有幸得以在今天還能欣賞到清朝后宮佳麗三千留下的千嬌百媚。

膠片的狂歡伴隨著電子化感光材料的出現(xiàn)而終止，基于電子感光材料的數(shù)碼相機(jī)在前期拍攝成本、后期處理便利性上具有碾壓性優(yōu)勢，在成片質(zhì)量已經(jīng)不輸膠卷相機(jī)的現(xiàn)狀下，膠卷相機(jī)走下歷史舞臺合乎情理。取而代之，走上舞臺的是大街小巷、男女老幼隨處可見的“剪刀手”。

組成

目前車載單目相機(jī)的組成相差不大，拋棄螺絲、外殼、密封圈等一些機(jī)械部分，從外往里最重要的組成部分為鏡頭、圖像傳感器、ISP和串行器。下面逐一重點(diǎn)介紹。

一、鏡頭

收集被照物體反射光并將反射光聚集到圖像傳感器上面，類似于小孔成像中的小孔。而我們選型的重要參數(shù)焦距和FOV就與鏡頭息息相關(guān)。

焦距是衡量鏡頭光線聚集或發(fā)散的度量參數(shù)。平行光線入射到凸透鏡時(shí)，理想的透鏡會將所有的入射光線都聚集到一個(gè)點(diǎn)，這個(gè)點(diǎn)就是焦點(diǎn)。焦距長度是指從透鏡的光心到焦點(diǎn)的距離。

FOV（Field of View ，視場角），是指以鏡頭為頂點(diǎn)，以被測目標(biāo)的物像可通過鏡頭的最大范圍的兩條邊緣構(gòu)成的夾角。超過這個(gè)視場角范圍的物體不會被鏡頭獲取到，包含水平HFOV，垂直VFOV和對角DFOV。

一個(gè)確定的焦距就意味著一個(gè)確定的視場角。焦距數(shù)值越小，視場角越大，相機(jī)可拍攝的范圍也就越大，但距離遠(yuǎn)的物體會分辨的不是很清楚；焦距數(shù)值越大，視場角越小，相機(jī)可拍攝的范圍也就越小，只要焦距選擇合適，即便距離很遠(yuǎn)的物體也可以看得清清楚楚。下圖可充分展示焦距和視場角的對應(yīng)關(guān)系。

二、圖像傳感器

一種將鏡頭聚集的光信號轉(zhuǎn)換為電信號的電子成像介質(zhì)。設(shè)計(jì)難度大、玩家少導(dǎo)致今年車規(guī)級2MP的車載相機(jī)奇缺，供應(yīng)商反饋有的貨期達(dá)到半年以上。圖像傳感器主要有兩種類型，CMOS類型和CCD類型。目前CMOS圖像傳感器在車載相機(jī)領(lǐng)域中占絕對主導(dǎo)地位，主要供應(yīng)商安森美、索尼、豪威等也是今年被汽車大佬們拜訪頻率最高的一年，據(jù)說是為了搶芯片，蹲守產(chǎn)線，下線即拉走。

CMOS(Complementary Metal-Oxide-Semiconductor，互補(bǔ)金屬氧化物半導(dǎo)體)，一種由硅和鍺兩種元素所做成的半導(dǎo)體。在一塊芯片大小的尺寸上面，雕琢百萬、千萬的像素，每個(gè)像素都集成有感光二極管、傳輸電極門、放大電極門等電路，主要起著光電轉(zhuǎn)換、電荷電壓轉(zhuǎn)換、模擬數(shù)字轉(zhuǎn)換三大作用?？芍^是彈丸之地顯神通。

CCD（Charge-coupled Device，電荷耦合器件），一種單晶材料半導(dǎo)體。同樣切一塊芯片大小尺寸的，只能在上面雕琢出基于光電效應(yīng)產(chǎn)生模擬電荷信號的作用。想要實(shí)現(xiàn)數(shù)字圖像數(shù)據(jù)輸出，需要在后端增加地址譯碼器、模數(shù)轉(zhuǎn)換器、圖像信號處理器、電源和同步時(shí)鐘控制電路等?？芍^是一個(gè)好漢三個(gè)幫，拖家?guī)Э凇?/span>

CMOS和CCD的最主要的差別在于集成度和“放大器”。集成度上文已介紹，CMOS圖像傳感器的集成度遠(yuǎn)高于CCD圖像傳感器。而對于放大器，CMOS中每個(gè)像素直連一個(gè)放大器，進(jìn)行電荷到電壓的裝換，百萬像素級信號分別處理，信號一致性控制是一個(gè)挑戰(zhàn)。CCD中每個(gè)像素產(chǎn)生的電荷信號先送入電荷存儲器中，再通過專屬通道輸出至一個(gè)總的放大器進(jìn)行電荷電壓的轉(zhuǎn)換，信號的一致性會比較好。這兩方面的差別，也導(dǎo)致CMOS和CCD在某些性能上具有不小的差別，部分差異如下表。

相機(jī)選型中的很多重要參數(shù)都與圖像傳感器有關(guān)，下面介紹幾個(gè)主要的參數(shù)。

1、光學(xué)尺寸，是指圖像傳感器感光區(qū)域?qū)蔷€的長度，一般用英尺表示。光學(xué)尺寸越大，通常意味著成像尺寸越大，感光性能越好，信噪比越低。目前常用的尺寸有2/3、1/2、1/3、1/4英寸等。

2、像素，圖像傳感器的最小感光單位，圖像傳感器的感光區(qū)是由多個(gè)像素排列組成的二維矩陣。相機(jī)的分辨率可以用用橫縱方向的像素?cái)?shù)表示，比如1920x1080。而它倆的乘積，就是我們常說的相機(jī)像素總數(shù)，比如2MP（2 Maga Pixel，200萬像素）。像素總的數(shù)量直接決定了圖像傳感器的綜合能力。

3、像素尺寸，圖像傳感器上每個(gè)像素的物理尺寸，用相鄰像素的中心間距來表示。像素尺寸越大，能收集到的光子數(shù)越多，芯片靈敏度越高，意味著在同樣的光照條件下和曝光時(shí)間內(nèi)，芯片能收集到的有效信號越多。然而在相同分辨率下，像元尺寸越大，芯片面積越大，芯片的成本和價(jià)格也會隨著像元尺寸成平方關(guān)系增長。

4、動態(tài)范圍，表征了傳感器對強(qiáng)光和弱光同時(shí)分辨的能力。圖像傳感器的動態(tài)范圍越高，就可以探測更寬光強(qiáng)范圍內(nèi)的場景信息。這個(gè)參數(shù)對于明暗交替的道路及進(jìn)出隧道的那一刻，具有重要意義。

5、靈敏度，靈敏度是衡量圖像傳感器光電性能的最重要指標(biāo)，高靈敏度意味著可以在光照較暗或曝光時(shí)間較短的情況下得到清晰的圖像，所以在微光成像、高速成像等應(yīng)用中，應(yīng)選取具有高靈敏度的圖像傳感器芯片。

6、快門類型：CMOS傳感器上集成了電子快門，分為全局快門和卷簾快門。全局快門芯片的每個(gè)像素中集成一個(gè)信號存儲單元，所有像素同時(shí)開始曝光，并同時(shí)結(jié)束，因此適合捕捉高速運(yùn)動物體的瞬時(shí)狀態(tài)。由于在像素內(nèi)集成存儲單元需要相對復(fù)雜的電路結(jié)構(gòu)，降低了像素內(nèi)有效感光面積，因此全局快門CMOS圖像傳感器一般噪聲較高、靈敏度和動態(tài)范圍較低。

和全局快門不同，卷簾快門的每行像素開始曝光和截止曝光是在不同時(shí)間點(diǎn)發(fā)生的，但是所有像素的實(shí)際曝光時(shí)間是相等的。因卷簾快門像素內(nèi)沒有存儲單元，曝光結(jié)束后，信號必須被馬上讀出。因?yàn)閭鞲衅鳠o法在同一時(shí)刻讀出所有行的信號，因此曝光須逐行停止、逐行讀出。為了保證每行像素的曝光時(shí)間相同，因此每行的開始曝光時(shí)間也需要順移。因無需存儲單元，卷簾快門像素設(shè)計(jì)相對簡單，可以最大程度優(yōu)化有效感光面積，提升傳感器的靈敏度，降低噪聲。

三、ISP

ISP（Image Signal Processor，圖像信號處理器），用來對前端圖像傳感器輸出信號進(jìn)行處理的單元。把還給初中物理老師的知識我們再撿回來，我們?nèi)搜鬯芸吹降母鞣N顏色的光其實(shí)是由光的三原色RGB（Red、Green、Black）按一定的比例混合而成的。而圖像傳感器的感光版上放置了一個(gè)色彩濾波陣列，陣列上RGB三種顏色間隔排列，這樣一次曝光就會產(chǎn)生RGB三幅圖層，每一個(gè)圖層中彩色的是有感光數(shù)值的，白色空白是沒有感光數(shù)值的點(diǎn)，這些感光數(shù)值也成為圖像傳感器輸出的Raw Data。但是ISP輸出的時(shí)候，卻要輸出每個(gè)像素的RGB三個(gè)值。

這個(gè)時(shí)候ISP只能根據(jù)旁邊像素的R/G/B的值通過顏色插值方法去計(jì)算本像素其余兩種顏色的值，這也是是ISP的最重要工作了。而就是這插值的配方也把各家分成了不同的樣子，有的富貴典雅，有的蓬頭垢面?？赡苡腥艘蓡?，為什么不放置3套感光版呢，這樣每個(gè)像素都可以直接感知RGB的3個(gè)分量。但3套數(shù)據(jù)的時(shí)間同步和對齊的技術(shù)難度已經(jīng)讓常人無法接受，更別提成本了。

ISP除了負(fù)責(zé)顏色插值，還負(fù)責(zé)一些我們再相機(jī)使用過程中耳熟能詳?shù)墓δ?，特舉幾例。

（1）自動白平衡，人因?yàn)橛邢闰?yàn)經(jīng)驗(yàn)，對不同光源下的白色物體總可以識別為白色的。但是圖像傳感器不具有這樣的特點(diǎn)，ISP需要通過算法將不同色溫光線下的白色物體，輸出都更接近白色。

（2）顏色校正，圖像傳感器獲取的圖像，除了白色有差距以為，其他顏色也有差距。因此ISP還需要通過算法對除白色以外的顏色進(jìn)行校正。

（3）色彩空間轉(zhuǎn)換，目前車載攝像頭的數(shù)據(jù)輸出格式通常為YUV,YUV使用一個(gè)亮度分量Y和兩個(gè)色度分量UV來表示基本色彩空間，其傳輸和存儲時(shí)更省帶寬。因此ISP還需負(fù)責(zé)色彩空間的轉(zhuǎn)換

（4）自動曝光，人眼對不同強(qiáng)度的的光有很強(qiáng)的適應(yīng)能力，而圖像傳感器卻不具備。因此ISP就需要根據(jù)光強(qiáng)度來自動調(diào)節(jié)曝光時(shí)間。

（5）自動對焦，拍過照的人都知道，焦距沒對好，美女變大媽，因此ISP通過判斷圖像的模糊程度，自動調(diào)整焦距。

四、串行器

CSI（Camera Serial Interface），MIPI聯(lián)盟制定的相機(jī)標(biāo)準(zhǔn)接口，這也是多數(shù)ISP使用的數(shù)據(jù)輸出標(biāo)準(zhǔn)，CSI的高速、低傳輸延時(shí)、低功耗特點(diǎn)使其特別適合移動設(shè)備的攝像頭數(shù)據(jù)傳輸，但是傳輸距離較短，長距離傳輸無法保證信號的完整性。

而對于乘用車或商用車動輒5m甚至10m的長距離數(shù)據(jù)傳輸?shù)囊?，就需要通過串行器轉(zhuǎn)換為適合長距離傳輸?shù)母咚倏偩€標(biāo)準(zhǔn)。目前車載領(lǐng)域主流的兩種長距高速傳輸總線為基于LVDS協(xié)議的FPD-Link和GMSL，目前采用同軸電纜/屏蔽雙絞線均可支持15m長的遠(yuǎn)距離傳輸。

FPD-Link（Flat Panel Display Link）最早是National Semi提出來的一種處理器和LCD Panels之間的高速數(shù)字接口，目前已經(jīng)發(fā)展到FPD Link III。GMSL（Gigabit Multimedia Serial Links ）是Maxim公司推出的一種高速串行接口，適用于視頻、音頻和控制信號的傳輸。目前主流車載相機(jī)廠商均支持這兩種接口。

小結(jié)

女領(lǐng)導(dǎo)的任務(wù)算是圓滿完成了。同時(shí)也產(chǎn)生了一點(diǎn)思考，如何評價(jià)眾多自動駕駛公司的技術(shù)能力？是傳感器的配置豪華度？還是官方公布的優(yōu)雅路試視頻？我想車載單目相機(jī)的使用水平可能是一個(gè)重要參考。高線束激光雷達(dá)+高精度組合導(dǎo)航的配置可以讓自動駕駛公司快速的在開放道路進(jìn)行測試、封閉場景啟動落地。但真正要想讓自動駕駛車輛具有人類一般的機(jī)動性、靈活性、高效率，還是要去充分利用“眼睛”的信息。沒有建立一套基于“眼睛”不斷進(jìn)化的感知算法，都是篤信大潮永遠(yuǎn)不會落去的浪人。

花大錢（激光）辦大事，這是理所當(dāng)然之事；花小錢（相機(jī)）辦大事，這才是立身保命的本事。