1、雙目視覺(jué)的視差與深度

人類具有一雙眼睛，對(duì)同一目標(biāo)可以形成視差，因而能清晰地感知到三維世界。因此，計(jì)算機(jī)的一雙眼睛通常用雙目視覺(jué)來(lái)實(shí)現(xiàn)，雙目視覺(jué)就是通過(guò)兩個(gè)攝像頭獲得圖像信息，計(jì)算出視差，從而使計(jì)算機(jī)能夠感知到三維世界。一個(gè)簡(jiǎn)單的雙目立體視覺(jué)系統(tǒng)原理圖如圖 1 所示。

兩個(gè)相機(jī)的投影中心的連線的距離為 b，也叫做基線，三維空間任意一點(diǎn) P 在左相機(jī)的成像點(diǎn)為 PL，在右相機(jī)的成像點(diǎn)為PR。根據(jù)光的直線傳播的原理可知，三維空間點(diǎn) P 就是兩個(gè)相機(jī)的投影中心點(diǎn)與成像點(diǎn)連線的交點(diǎn)。線段L和R分別是左右相機(jī)成像點(diǎn)到左成像面的距離，則點(diǎn) P 在左右相機(jī)的視差可以定義如下:

兩個(gè)成像點(diǎn)PL和PR之間的距離為：

根據(jù)相似三角形理論可以得出：

則可以得到點(diǎn) P 到投影中心平面的距離Z

當(dāng)點(diǎn) P 在三維空間上移動(dòng)時(shí)，點(diǎn) P 在左右相機(jī)上的成像位置也會(huì)改變，從而視差也會(huì)發(fā)生相應(yīng)變化，由上式可知，視差與三維空間上的點(diǎn)到投影中心平面的距離成反比。因而，只要知道某點(diǎn)的視差，就可以知道該點(diǎn)的深度信息。

三維空間點(diǎn) P 在相機(jī)的成像圖如下圖所示。由圖可以看出，根據(jù)相似三角形原理， 有以下關(guān)系：

因此，當(dāng)已知三維空間上任意一點(diǎn)的在不同圖像上的視差，再根據(jù)相機(jī)的參數(shù)，就可以知道該點(diǎn)的三維坐標(biāo)。

2

2、雙目相機(jī)的相關(guān)坐標(biāo)系

物體的三維信息都是通過(guò)二維圖像推導(dǎo)而來(lái)的。要想明確物體在三維空間的具體位置，除了圖像的信息，還需知道相機(jī)的具體參數(shù)。相機(jī)參數(shù)的確定過(guò)程就叫做相機(jī)的標(biāo)定。在雙目視覺(jué)系統(tǒng)中，除了對(duì)每個(gè)相機(jī)進(jìn)行標(biāo)定外，還需要知道相機(jī)間的相互關(guān)系以及相機(jī)與待測(cè)物體的坐標(biāo)關(guān)系，這一過(guò)程叫做系統(tǒng)的標(biāo)定。

從圖像上的物體到三維空間上的物體的映射過(guò)程實(shí)際上是坐標(biāo)系的變換。圖像上的某一點(diǎn)，經(jīng)過(guò)物理關(guān)系的轉(zhuǎn)換可以得到現(xiàn)實(shí)的物理坐標(biāo)，然后將圖像平面映射成相機(jī)坐標(biāo)系的某一平面，得到該點(diǎn)在相機(jī)坐標(biāo)系的坐標(biāo)，最后通過(guò)相機(jī)坐標(biāo)系與世界坐標(biāo)系的旋轉(zhuǎn)平移變換就可以確定該點(diǎn)的實(shí)際三維坐標(biāo)了。所以要想確定點(diǎn)的三維坐標(biāo)，首先要了解這四個(gè)坐標(biāo)系。

(1) 像素坐標(biāo)系。在數(shù)字圖像中，一幅圖像就是一個(gè) M 行 N 列的數(shù)組，數(shù)組中的每個(gè)數(shù)值就是該點(diǎn)的亮度。在圖像的左上角建立直角坐標(biāo)系 u、v， 每一像素的坐標(biāo)(u, v)就是該像素在數(shù) 組中的行和列。以像素作為單位的坐標(biāo)系就叫做像素坐標(biāo)系。

(2) 圖像坐標(biāo)系。要想知道物體在三維空間的具體位置，就需要建立與實(shí)際物理單位相關(guān)的坐標(biāo)系，這樣的坐標(biāo)系叫做圖像坐標(biāo)系，該坐標(biāo)系以圖像內(nèi)某一點(diǎn)作為坐標(biāo)原點(diǎn)，其 x 軸和 y 軸分別與像素坐標(biāo)系的 u 軸，v 軸平行。圖像上任意一個(gè)像素在兩個(gè)坐標(biāo)系的映射關(guān)系為：

其中，單個(gè)像素在 x 軸和 y 軸的實(shí)際物理距離為 dx 和 dy，將上式轉(zhuǎn)換成齊次方程式為：

(3) 相機(jī)坐標(biāo)系。圖像坐標(biāo)系雖建立起圖像與現(xiàn)實(shí)世界的物理關(guān)系，但這只是二維關(guān)系，因此，需要建立與三維世界相關(guān)的相機(jī)坐標(biāo)系。圖像坐標(biāo)系是相機(jī)坐標(biāo)系的某一平面，相機(jī)坐標(biāo)系 的 x 軸和 y 軸與圖像坐標(biāo)系對(duì)應(yīng)軸平行，兩個(gè)坐標(biāo)系間的距離就是相機(jī)的焦距 f。其以相機(jī)光心為坐標(biāo)原點(diǎn)，光軸為 z 軸，可以用(c, c, c )來(lái)表示。

(4) 世界坐標(biāo)系。相機(jī)坐標(biāo)系是以相機(jī)為中心的描述現(xiàn)實(shí)世界的三維坐標(biāo)系。在現(xiàn)實(shí)空間中，存在無(wú)數(shù)坐標(biāo)系可以描述三維空間，為了確定三維空間點(diǎn)的具體位置，需要確定唯一一個(gè)基準(zhǔn)坐標(biāo)系來(lái)表述空間，這就是世界坐標(biāo)系，用(w, w, w)來(lái)表示。

其中，R 為 3×3 單位正交矩陣，表示了坐標(biāo)系的旋轉(zhuǎn)操作；t 為三維平移向量，代表了坐標(biāo)系的平移操作；0 表示三維零向量。

四個(gè)坐標(biāo)系之間總的關(guān)系

3

3、雙目相機(jī)的畸變系數(shù)

上述的線性模型并不能準(zhǔn)確描述物體與圖像的對(duì)應(yīng)關(guān)系，這是因?yàn)?strong>光學(xué)鏡頭具有透視失真，會(huì)導(dǎo)致圖像發(fā)生偏差，這是鏡頭的固有屬性無(wú)法消除。為了減少圖像偏差，需要明確鏡頭的畸變系數(shù)，對(duì)圖像進(jìn)行校正。常見(jiàn)的畸變主要有徑向畸變和切向畸變。

徑向畸變是指圖像像素以畸變中心為原點(diǎn)，沿著徑向產(chǎn)生位置偏差，從而導(dǎo)致圖像形變。其常用畸變?cè)c(diǎn)周圍的泰勒展開(kāi)式的前兩項(xiàng) k1 和 k2 來(lái)表示，如果畸變較大，還可以增加使用第三項(xiàng) k3 來(lái)描述，常用的描述公式為：

其中，(x, y)是校正后像素點(diǎn)的位置；(0, 0)是原圖上的像素點(diǎn)位置；r 徑向距離。

切向畸變是由于在安裝時(shí)，產(chǎn)生安裝偏差，使鏡頭不完全平行于鏡頭平面而造成的畸變，其可以使用 p1和 p2 兩個(gè)參數(shù)來(lái)描述：

要消除鏡頭畸變，就是要同時(shí)消除徑向畸變和切向畸變，所以要知道以下 5 個(gè)畸變參數(shù)的值

這 5 個(gè)參數(shù)可以在相機(jī)標(biāo)定的過(guò)程中得到。明確這 5 個(gè)畸變系數(shù)以及相機(jī)的內(nèi)外參數(shù)， 就可以完成相機(jī)的標(biāo)定了。

4

4、雙目相機(jī)的標(biāo)定

相機(jī)的標(biāo)定是根據(jù)像素坐標(biāo)系與世界坐標(biāo)系的關(guān)系，利用一定的約束條件，來(lái)求解相機(jī)的內(nèi)外參數(shù)以及畸變系數(shù)的過(guò)程。相機(jī)標(biāo)定方法可分為兩種，第一種是需要參照物的傳統(tǒng)標(biāo)定方法；另一種則是不需參照物的相機(jī)自標(biāo)定法。

傳統(tǒng)的標(biāo)定方法一般以棋盤(pán)格作為參照物，其中每個(gè)棋盤(pán)格的大小，尺寸以及棋盤(pán)格的數(shù)量都是已知的。標(biāo)定過(guò)程就是，將棋盤(pán)格的頂點(diǎn)與圖像上的對(duì)應(yīng)點(diǎn)建立對(duì)應(yīng)關(guān)系，利用棋盤(pán)格的已知信息來(lái)求得相機(jī)模型的內(nèi)外參數(shù)和畸變系數(shù)。這種標(biāo)定方法通常有張正友標(biāo)定法和 Tasi 兩步標(biāo)定法等。這種方法容易受到標(biāo)定物的制作精度的影響，但精度仍比另一種方法高。

相機(jī)自標(biāo)定法是不需要參照物的，通常有基于 Kruppa 方程的標(biāo)定法等。其根據(jù)多視圖約束幾何方程，在不同位置采集多幅同場(chǎng)景的圖像，通過(guò)相機(jī)的約束信息以及對(duì) 應(yīng)點(diǎn)的幾何信息來(lái)完成相機(jī)參數(shù)的計(jì)算。其最大優(yōu)點(diǎn)就是不需要制作標(biāo)定參考物，比較靈活；但由于缺少標(biāo)定物，魯棒性和精度都有所欠缺。

張正友標(biāo)定法

張正友標(biāo)定法的基本步驟是：在不同角度下，對(duì)標(biāo)定參考物(棋盤(pán)格)進(jìn)行拍攝，然后提取出棋盤(pán)格的頂點(diǎn)，接著解析出相機(jī)的畸變系數(shù)和內(nèi)外參數(shù)，最后再根據(jù)極大似然估計(jì)，對(duì)參數(shù)進(jìn)行 優(yōu)化。

其中，M1為相機(jī)內(nèi)參矩陣。

設(shè)單應(yīng)性矩陣 H 滿足

，其中 λ 是尺度因子，由 于1和2正交，所以可得以下約束條件：

由以上兩式可以看出，?1和?2是可以通過(guò)單應(yīng)性求解出來(lái)的，所以要求解的參數(shù)就變成 1矩陣中的未知的 5 個(gè)參數(shù)，可以通過(guò)三個(gè)單應(yīng)性矩陣來(lái)求解這 5 個(gè)參數(shù)，三個(gè)單應(yīng)性矩陣可以通過(guò)三張對(duì)同一標(biāo)定板不同角度和高度的照片獲得。

相機(jī)內(nèi)參為：

相機(jī)外參為：

上述推導(dǎo)的結(jié)果都是在理想情況下得到的，沒(méi)有任何噪聲和干擾，但噪聲是無(wú)法避免的。因此，在實(shí)際標(biāo)定中，還需要使用極大似然法來(lái)對(duì)參數(shù)進(jìn)行優(yōu)化。至此，單目相機(jī)就標(biāo)定完成，但對(duì)于雙目視覺(jué)系統(tǒng)，不僅要對(duì)每個(gè)相機(jī)進(jìn)行標(biāo)定，同時(shí)還要明確相機(jī)間的相互關(guān)系，因此還要對(duì)雙目相機(jī)進(jìn)行進(jìn)一步的標(biāo)定，即求取相機(jī)間的旋轉(zhuǎn)矩陣和平移向量。

由第一式可知左右相機(jī)的對(duì)應(yīng)關(guān)系，由式第二式和第三式可知，只需要知道每個(gè)相機(jī)的 外參數(shù)，就可以求得雙目相機(jī)的旋轉(zhuǎn)矩陣和平移向量。

5、雙目立體匹配

當(dāng)三維空間與圖像的對(duì)應(yīng)關(guān)系確定后，要想對(duì)視差進(jìn)行計(jì)算，就必須知道三維空間的點(diǎn)在左右圖像上的對(duì)應(yīng)關(guān)系，這就是立體匹配的目的。通過(guò)立體匹配技術(shù)，就可以明確左右圖像中的點(diǎn)的對(duì)應(yīng)關(guān)系，從而得到視差，恢復(fù)點(diǎn)的三維信息。

1、立體匹配的基本約束條件

立體匹配技術(shù)是雙目立體視覺(jué)中的重要技術(shù)，研究人員提出了許多實(shí)用的算法，其中也提出許多基本的約束條件。將這些約束條件運(yùn)用到匹配算法中，就可以有效降低匹配的難度，提高立體匹配的速度和精度。常用的約束條件如下：

(1) 極線約束。極線約束是最常用的約束條件。極線約束是指在左圖像中的一點(diǎn)，它在右圖像上的 對(duì)應(yīng)匹配點(diǎn)必定在某一條直線上，這條直線就是極線。使用極線約束就可以讓圖像的搜索范圍由二維下降至一維，只需要在一條直線上進(jìn)行搜索，這就可以大大減少搜索的復(fù)雜度，并提高了匹配的精度。

(2) 相似性約束。在進(jìn)行立體匹配時(shí)，點(diǎn)、線、塊等元素一定具有相同或相似的屬性。

(3) 唯一性約束。對(duì)于待匹配圖像，在原圖像中至多對(duì)應(yīng)一個(gè)點(diǎn)。一幅圖像上的每個(gè)點(diǎn)只能與另一幅 圖像上的唯一一個(gè)點(diǎn)一一對(duì)應(yīng)，這樣圖像上的點(diǎn)至多有一個(gè)視差值。

(4) 左右一致性約束。若左圖像上的一點(diǎn) P，其在右圖像上的對(duì)應(yīng)點(diǎn)為 Q，則右圖像上的點(diǎn) Q 在左圖像上的對(duì)應(yīng)點(diǎn)應(yīng)該是點(diǎn) P，如果這兩點(diǎn)不是一一對(duì)應(yīng)的，則匹配會(huì)不滿足唯一性條件，說(shuō)明匹配失敗。在進(jìn)行立體匹配時(shí)，運(yùn)用基本約束條件對(duì)匹配結(jié)果進(jìn)行檢驗(yàn)，可以有效排除很多誤匹配的點(diǎn)，減小搜索范圍，降低立體匹配計(jì)算的復(fù)雜度，提高立體匹配的速度和精度， 獲得最好的匹配效果。

2、半全局立體匹配算法

半全局匹配算法是一種實(shí)用的計(jì)算視差圖的匹配算法，其較好的中和了局部匹配和全局匹配的優(yōu)缺點(diǎn)，在保持視差圖效果相差不大的前提下，極大地提高了算法的效率，實(shí)現(xiàn)了更好的精度和效率的權(quán)衡，已廣泛應(yīng)用在現(xiàn)實(shí)中。半全局匹配算法可以得到視差圖，并且可分為匹配代價(jià)計(jì)算、代價(jià)聚合、視差計(jì)算和視差優(yōu)化四個(gè)步驟。

(1) 代價(jià)匹配。代價(jià)匹配是待匹配點(diǎn)與候選匹配點(diǎn)之間的相似度的衡量。按照匹配度量方式可以分為互相關(guān)性度量方法和差值度量方法。互相關(guān)性度量越大，兩個(gè)點(diǎn)間的相似度就越高， 兩個(gè)像素點(diǎn)為對(duì)應(yīng)匹配點(diǎn)的概率就越大，不然兩個(gè)像素點(diǎn)就越不可能是對(duì)應(yīng)匹配點(diǎn)；同樣，差值度量越小，像素點(diǎn)的相似度越高，差值度量越大，像素點(diǎn)的相似度越小。

在搜索匹配點(diǎn)之前，對(duì)每個(gè)像素都會(huì)指定一個(gè)視差范圍 D，將搜索范圍局限在 D 內(nèi)， 并會(huì)使用一個(gè)大小為 W×H×D(W, H 為圖像的尺寸)的矩陣來(lái)記錄每個(gè)像素與視差范圍內(nèi)的像素的匹配代價(jià)值。該矩陣存儲(chǔ)了所有的匹配代價(jià)值，可以有效減少重復(fù)的計(jì)算， 提高計(jì)算效率。匹配代價(jià)計(jì)算的方法有很多，如灰度絕對(duì)值差，灰度絕對(duì)值差之和，歸一化系數(shù)， 互信息和 Census 變換等。不同的匹配代價(jià)計(jì)算算法都有其獨(dú)特的優(yōu)點(diǎn)，對(duì)數(shù)據(jù)的表現(xiàn)也各不相同，其中，最常用的方法是互信息和 Census 變換。

(2) 代價(jià)聚合。在初始代價(jià)匹配中，其計(jì)算范圍只限于局部窗口中，只考慮了局部的相關(guān)性，對(duì)噪聲非常敏感。為了得到更優(yōu)的匹配，必須進(jìn)行代價(jià)聚合操作。在代價(jià)聚合中，半全局匹配算法采用了全局能量最優(yōu)策略。該方法設(shè)定一個(gè)全局能量函數(shù)，通過(guò)對(duì)其進(jìn)行不斷的優(yōu)化，使該函數(shù)逐漸取到最小值，從而保證每個(gè)像素是最優(yōu)匹配。該函數(shù)的定義如下：

該函數(shù)分為三部分，第一部分是主要部分，主要是對(duì)上一步的代價(jià) 進(jìn)行求和；第二，三部分是為了保證匹配滿足連續(xù)性約束，若像素在一定范圍內(nèi)視差變 化過(guò)大，說(shuō)明匹配出錯(cuò)概率較大，需要進(jìn)行懲罰，避免這種情況出現(xiàn)。其中，第二部分 是針對(duì)視差變化較小的情況，因而其懲罰的參數(shù) P1 的值較??；第三部分是針對(duì)相鄰像素 視差變化較大的情況，因此，需要加大懲罰，P2 的值一般會(huì)比較大。

對(duì)鄰域內(nèi)不同的視差變化給予不一樣的懲罰，有助于更好地應(yīng)對(duì)各種不同的邊緣情況。但由于視差大于 1 的范圍很大，如果僅僅使用一個(gè)常數(shù)項(xiàng)對(duì)大視差變化進(jìn)行懲罰往 往不夠，因此，P2 的值需要?jiǎng)討B(tài)調(diào)整，其調(diào)整公式如下：

通常，能量函數(shù)的最優(yōu)化很難求得最優(yōu)解，為了高效解決這個(gè)問(wèn)題，半全局匹配算法提出了路徑代價(jià)聚合的方法，只在固定的路徑上計(jì)算匹配代價(jià)。對(duì)于某一像素，在其鄰域內(nèi)存在多條到達(dá)該像素的路徑。該方法首先就某一條路徑對(duì)匹配代價(jià)進(jìn)行計(jì)算，然后對(duì)所有路徑的匹配代價(jià)求和得到代價(jià)聚合值。

(3) 視差計(jì)算。在半全局匹配算法中，視差計(jì)算的操作較為簡(jiǎn)單，其采用贏家通吃的算法，即對(duì)每個(gè)像素來(lái)說(shuō)，其代表的最優(yōu)視差為最小代價(jià)聚合值。在此步驟中，對(duì)每個(gè)像素都進(jìn)行了 視差計(jì)算，因而可以得到以原圖一樣大小的視差圖，代表了圖像的匹配關(guān)系。

(4) 視差優(yōu)化。在視差計(jì)算步驟中，僅僅只是對(duì)代價(jià)聚合值進(jìn)行選擇，如果代價(jià)聚合不準(zhǔn)確，會(huì)直接影響匹配結(jié)果，因此需要進(jìn)行視差優(yōu)化步驟，按照匹配的基本約束條件，對(duì)錯(cuò)誤匹配 進(jìn)行剔除并提高視差精度。視差優(yōu)化常用的操作有剔除錯(cuò)誤匹配，提高視差精度以及抑制噪聲等。

錯(cuò)誤匹配是指像素在代價(jià)聚合后得到的視差值并不是真實(shí)的最小的視差值。這種錯(cuò)誤匹配的現(xiàn)象在實(shí)際中并不少見(jiàn)，圖像的噪聲、遮擋、弱紋理和重復(fù)紋理都會(huì)導(dǎo)致這一 現(xiàn)象產(chǎn)生。因此，為了提高匹配的精度，必須要對(duì)錯(cuò)誤的匹配進(jìn)行剔除。目前最常用的錯(cuò)誤匹配的剔除方法是左右一致性法，它是根據(jù)匹配的唯一性約束條件指定的。匹配的 唯一性指出對(duì)于左圖像的某一像素點(diǎn)，在右圖像上至多只有一個(gè)像素點(diǎn)與之一一對(duì)應(yīng)。左右一致法就是將左右圖像的對(duì)應(yīng)點(diǎn)的視差值進(jìn)行比較，若兩個(gè)視差值小于一定的閾值， 則認(rèn)為匹配成功，否則認(rèn)為該視差不滿足唯一性將被剔除。除了左右一致性法外，常用的匹配剔除方法還有剔除小連通區(qū)和唯一性檢測(cè)等方法。連通區(qū)是指連通區(qū)內(nèi)的視差與其鄰域的視差之差小于一定的閾值，剔除小連通區(qū)是指剔 除視差圖中很小的連通區(qū)，因?yàn)檫@種連通區(qū)通常是由于誤匹配造成的；唯一性檢測(cè)是指 對(duì)每個(gè)像素，計(jì)算其最小代價(jià)值和次小代價(jià)值，如果它們的差小于一定的閾值，說(shuō)明匹配不是很準(zhǔn)確，應(yīng)該剔除。每種剔除錯(cuò)誤匹配方法，都有其無(wú)法識(shí)別的情況，在實(shí)際應(yīng) 用中，可以將幾種方法結(jié)合使用。

在視差計(jì)算中，得到的視差圖都是整像素的，無(wú)法滿足精度要求，為了提高視差精度，可以采用子像素優(yōu)化技術(shù)，使用二次曲線內(nèi)插的方法獲得子像素。具體做法是首先將像素點(diǎn)的所有視差標(biāo)注出來(lái)，然后找到最優(yōu)視差點(diǎn)，接著確定該點(diǎn)周圍兩個(gè)視差點(diǎn)， 按照 3 點(diǎn)確定一條二次曲線的原理，得到過(guò)這 3 點(diǎn)的拋物線，該拋物線的頂點(diǎn)就是最優(yōu) 子像素。

在計(jì)算像素的視差值時(shí)，都是基于小窗口進(jìn)行的，容易產(chǎn)生噪聲，因此可以使用中值濾波和均值濾波等圖像濾波方式對(duì)視差圖進(jìn)行濾波，如果要保持較好的邊緣精度，也可以考慮使用雙邊濾波。

參考

[1] 視覺(jué)SLAM十四講

[2] 張正友算法標(biāo)定原理詳解（https://blog.csdn.net/u010128736/article/details/52860364）

來(lái)自：AI算法修煉營(yíng)

本文僅作學(xué)術(shù)分享，著作權(quán)歸作者所有，如有侵權(quán)，請(qǐng)聯(lián)系后臺(tái)作刪文處理。