|
重磅干貨，第一時(shí)間送達(dá) 單眼視覺(jué)系統(tǒng)以低成本高性能實(shí)現(xiàn)令人滿意的效果，但無(wú)法提供可靠的3D幾何信息。雙目攝像機(jī)可以提供3D幾何信息，但是它們的計(jì)算成本很高，并且無(wú)法在高遮擋和無(wú)紋理的環(huán)境中可靠地工作。另外，該系統(tǒng)在復(fù)雜的照明條件下魯棒性較低，這限制了其全天候能力。激光雷達(dá)不受光照條件的影響，可以提供高精度的3D幾何信息。但是它的分辨率和刷新率很低，而且成本很高。 Camera-Lidar融合提高了性能和可靠性并降低了成本，但這并不容易。首先，相機(jī)通過(guò)將現(xiàn)實(shí)世界投影到相機(jī)平面上來(lái)記錄信息，而點(diǎn)云以原始坐標(biāo)的形式存儲(chǔ)幾何信息。此外，就數(shù)據(jù)結(jié)構(gòu)和類型而言，點(diǎn)云是不規(guī)則，無(wú)序和連續(xù)的，而圖像是規(guī)則，有序和離散的。這導(dǎo)致圖像和點(diǎn)云處理算法的巨大差異。 參考文獻(xiàn)中 [1] 提出了一種新穎的3D目標(biāo)檢測(cè)器，它可以利用激光雷達(dá)和攝像機(jī)進(jìn)行非常精確的定位。為了實(shí)現(xiàn)這一目標(biāo)，他們?cè)O(shè)計(jì)了一種端到端的可學(xué)習(xí)架構(gòu)，該架構(gòu)利用連續(xù)卷積融合不同分辨率級(jí)別的圖像和LIDAR特征圖。這使我們能夠設(shè)計(jì)基于多個(gè)傳感器的新穎，可靠，高效的端到端可學(xué)習(xí)3D對(duì)象檢測(cè)器。  總體架構(gòu)包括兩個(gè)流，其中一個(gè)流從LIDAR鳥(niǎo)瞰圖（BEV）提取圖像特征，另一流從LIDAR鳥(niǎo)瞰圖（BEV）提取特征，它們?cè)O(shè)計(jì)了一個(gè)連續(xù)融合層以橋接兩側(cè)的多個(gè)中間層，從而執(zhí)行多傳感器融合在多個(gè)尺度上。 首先，使用ResNet18分別提取圖像流和點(diǎn)云流（BEV）中的特征，然后對(duì)圖像特征執(zhí)行多尺度融合，并使用連續(xù)融合層將多尺度圖像特征融合到圖像的四個(gè)殘差組中。 給定輸入的攝像機(jī)圖像特征圖和一組LIDAR點(diǎn)，連續(xù)融合層的目標(biāo)是創(chuàng)建一個(gè)密集的BEV特征圖，其中每個(gè)離散像素都包含從攝像機(jī)圖像生成的特征。對(duì)于密集地圖中的每個(gè)目標(biāo)像素，使用歐幾里得距離找到其在2D BEV平面上最接近的K個(gè)LIDAR點(diǎn)，然后反向投影到3D空間，然后將這k個(gè)點(diǎn)投影到相機(jī)視圖中，并找到與每個(gè)點(diǎn)，然后利用MLP融合來(lái)自這K個(gè)最近點(diǎn)的信息，以在目標(biāo)像素處插值未觀察到的特征。 對(duì)于每個(gè)目標(biāo)像素，MLP通過(guò)對(duì)其所有鄰居的MLP輸出求和來(lái)輸出D_o維輸出特征。也就是說(shuō)： 其中fj是點(diǎn)j的輸入圖像特征，xj-xi是從相鄰點(diǎn)j到目標(biāo)i的3D偏移，而concat（·）是多個(gè)向量的串聯(lián)。然后，通過(guò)元素逐級(jí)求和將MLP的輸出功能與前一層的BEV功能進(jìn)行組合，以融合多傳感器信息。 他們使用簡(jiǎn)單的檢測(cè)頭來(lái)提高實(shí)時(shí)效率。在最終的BEV層上計(jì)算一個(gè)1×1卷積層以生成檢測(cè)輸出。在每個(gè)輸出位置，他們使用兩個(gè)具有固定大小和兩個(gè)方向的錨，分別為0和π/ 2弧度。 每個(gè)錨點(diǎn)的輸出包括每個(gè)像素類的置信度及其關(guān)聯(lián)的框的中心位置，大小和方向。接下來(lái)是非最大抑制（NMS）層，基于輸出映射生成最終對(duì)象框。損失函數(shù)定義為分類損失和回歸損失之和。 參考文獻(xiàn) [1] 在KITTI和TOR4D數(shù)據(jù)集上評(píng)估了其多傳感器3D目標(biāo)檢測(cè)方法。在KITTI數(shù)據(jù)集上，與3D目標(biāo)檢測(cè)和BEV目標(biāo)檢測(cè)中的現(xiàn)有高級(jí)方法進(jìn)行了比較，并進(jìn)行了模型簡(jiǎn)化測(cè)試，并比較了不同的模型設(shè)計(jì)。在TOR4D數(shù)據(jù)集上，此方法在長(zhǎng)距離（> 60m）檢測(cè)中特別有效，這在自動(dòng)駕駛的定時(shí)和目標(biāo)檢測(cè)系統(tǒng)中起著重要作用。 對(duì)于BEV檢測(cè)，此模型比中度AP測(cè)得的所有其他方法要好。對(duì)于3D檢測(cè)，此模型排名第三，但在簡(jiǎn)單子集中具有最佳AP。在保持高檢測(cè)精度的同時(shí)，該模型可以實(shí)時(shí)高效運(yùn)行。檢測(cè)器以大于每秒15幀的速度運(yùn)行，這比其他基于LIDAR和基于融合的方法要快得多。 [1] Ming Liang, Bin Yang , Shenlong Wang , and Raquel Urtasun .Deep Continuous Fusion for Multi-Sensor 3D Object Detection |
|
|
來(lái)自： 小白學(xué)視覺(jué) > 《待分類》
