都說(shuō)自己能實(shí)現(xiàn)自動(dòng)駕駛數(shù)據(jù)閉環(huán)，是否是紙上談兵？來(lái)源:ADS智庫(kù) | 首圖圖源:網(wǎng)絡(luò) | 編輯:ADS智庫(kù)
全文 4000+ 字，預(yù)計(jì)閱讀 15-20 分鐘本文就“自動(dòng)駕駛數(shù)據(jù)閉環(huán)”話題整理了一些來(lái)自知乎、各家官網(wǎng)及網(wǎng)絡(luò)公開(kāi)信息，還摻雜了部分個(gè)人觀點(diǎn)/看法，僅供參考，歡迎討論~
導(dǎo)讀
1 數(shù)據(jù)閉環(huán)介紹
1.1 什么是數(shù)據(jù)閉環(huán)？ | 1.2 數(shù)據(jù)閉環(huán)核心模塊介紹
2 數(shù)據(jù)閉環(huán)案例
2.1 Tesla | 2.2 Waymo | 2.3 英偉達(dá) | 2.4 百度 | 2.5 禾多 | 2.6 華為
3 數(shù)據(jù)閉環(huán)難點(diǎn)
3.1 量產(chǎn) | 3.2 合規(guī) | 3.3 數(shù)據(jù)管理 | 3.4 數(shù)據(jù)標(biāo)注及后續(xù)處理 數(shù)據(jù)閉環(huán)本身不算一個(gè)新概念，互聯(lián)網(wǎng)早期便有廣泛應(yīng)用，一個(gè)典型的例子：各 App 的“用戶體驗(yàn)改進(jìn)計(jì)劃”。自動(dòng)駕駛系統(tǒng)除代碼外，還有 AI 模型，其數(shù)據(jù)閉環(huán)在傳統(tǒng)數(shù)據(jù)閉環(huán)方式上引入了模型問(wèn)題的相關(guān)模塊。其最核心的兩個(gè)意義：增效、降本。
自動(dòng)駕駛中的數(shù)據(jù)閉環(huán)，是指算法研發(fā)由 case-driven 轉(zhuǎn)向 data-driven 的核心步驟。大概整理了下數(shù)據(jù)閉環(huán)的鏈路，如下圖所示：- 鏈路中的環(huán)節(jié)包含工具鏈路通和算法開(kāi)發(fā)兩部分。
- 算法開(kāi)發(fā)主要有數(shù)據(jù)挖掘數(shù)據(jù)標(biāo)注、模型優(yōu)化這三部分。
- 這里面數(shù)據(jù)標(biāo)注中的自動(dòng)標(biāo)注，即 AutoLabeling 是目前數(shù)據(jù)閉環(huán)中最為核心的部分。
- 數(shù)據(jù)挖掘和模型優(yōu)化，也是需要攻克和解決的點(diǎn)，只不過(guò)從成本和效率上，目前優(yōu)先級(jí)沒(méi)有自動(dòng)標(biāo)注高。
數(shù)據(jù)閉環(huán)核心部分介紹——AutoLabeling 方案以下的討論以目標(biāo)檢測(cè)任務(wù)為例。
1.2.1 Pipeline
目標(biāo)檢測(cè)任務(wù)的主要 pipeline 流程包含目標(biāo)檢測(cè)、軌跡生成、軌跡優(yōu)化三部分。其中目標(biāo)檢測(cè)模型 MOT 算法，都有比較成熟的算法，所以 AutoLabeling 中創(chuàng)新點(diǎn)主要體現(xiàn)在軌跡優(yōu)化這個(gè)步驟。1.2.2 學(xué)術(shù)界的 SOTA
目前關(guān)于 AutoLabeling 的完整方案方面的論文不是很多，這里面比較有代表性的有：谷歌Waymo在2021年發(fā)表的：《Offboard 3D Object Detection from Point Cloud Sequences》
Uber的ATG（Advanced Technology Group）在2021年發(fā)表的：《Auto4D: Learning to Label 4D Objects from Sequential Point Clouds》
Open MMLab在2022年發(fā)表的：《MPPNet: Multi-Frame Feature Intertwining with Proxy Points for 3D Temporal Object Detection》
下面對(duì)這三篇文章做了個(gè)簡(jiǎn)單地總結(jié)和對(duì)比：
1.2.3 Auto4D的軌跡優(yōu)化
Size Branch: 累積全軌跡點(diǎn)（時(shí)域信息忽略），BEV編碼，得到全局的穩(wěn)定size。
Update：基于最近c(diǎn)orner align，更新全軌跡的box屬性。
Path Branch：累積全軌跡點(diǎn)（保留時(shí)域信息，但時(shí)域和高度channel合并），BEV編碼，得到相鄰幀位移
1.2.4 Offboard3D的軌跡優(yōu)化處理
動(dòng)靜態(tài)判斷：box中心點(diǎn)方差<1m/s^2，首尾幀中心點(diǎn)偏移<1m，則為靜態(tài)，否則為動(dòng)態(tài)。
靜態(tài)軌跡優(yōu)化：前背景分割網(wǎng)絡(luò)對(duì)box周?chē)脑键c(diǎn)進(jìn)行分割，box回歸網(wǎng)絡(luò)得到box屬性（基于PointNet）
動(dòng)態(tài)軌跡優(yōu)化：對(duì)于點(diǎn)進(jìn)行前背景分割+點(diǎn)序列編碼，對(duì)于框進(jìn)行序列編碼，最后加2層box回歸網(wǎng)絡(luò)。
1.2.5 MPPNet
選取代理點(diǎn)：每個(gè)框均勻選擇代理點(diǎn)(4x4x4)
單幀提取特征：提取幾何特征、運(yùn)動(dòng)特征
組內(nèi)特征編碼：x、y、z、c通道分割使用MLP進(jìn)行feature mixing
組間特征編碼：使用Former結(jié)構(gòu)，共享K、V，進(jìn)行feature mixing
3D檢測(cè)頭：使用Tranformer Decoder
億歐統(tǒng)計(jì)了 2023 年具備自動(dòng)駕駛數(shù)據(jù)閉環(huán)能力的“智駕做題家”團(tuán)隊(duì)，如下：主機(jī)廠：tesla、小鵬、阿維塔
自動(dòng)駕駛解決方案/零部件供應(yīng)商：Momenta、小馬智行、華為智能車(chē)BU、文遠(yuǎn)知行、易航智能、德賽西威、馭勢(shì)科技、禾多科技、宏景智駕、天瞳威視、領(lǐng)駿科技、蘑菇車(chē)聯(lián)、智行者科技、福瑞泰克、覺(jué)非科技、知行科技、毫末智行、MINIEYE、均勝智能、東軟睿馳、四維圖新、輕舟智航、中海庭、智協(xié)慧同
芯片供應(yīng)商：地平線、黑芝麻智能、芯馳科技、英偉達(dá)
數(shù)據(jù)服務(wù)商：云測(cè)數(shù)據(jù)、曼孚科技、奧鵬Appen、格物鈦、景聯(lián)文科技、海天瑞聲、世紀(jì)互聯(lián)、整數(shù)智能、杉巖數(shù)據(jù)
云服務(wù)供應(yīng)商：亞馬遜AWS、華為云、百度智能云、阿里云、火山引擎
本文介紹其中 6 家企業(yè)的自動(dòng)駕駛數(shù)據(jù)閉環(huán)方案。
Tesla 以 Autopilot 數(shù)據(jù)引擎框架為核心，基于車(chē)端傳感器獲取數(shù)據(jù)后，在數(shù)據(jù)管理平臺(tái)上，首先經(jīng)過(guò)單元測(cè)試確認(rèn)模型誤差，然后經(jīng)過(guò)數(shù)據(jù)清洗與標(biāo)注，最后完成模型訓(xùn)練與部署，整體架構(gòu)如下圖所示。
相較于 Tesla，Waymo 引入了數(shù)據(jù)挖掘、主動(dòng)學(xué)習(xí)、自動(dòng)標(biāo)注等模塊，但基本的框架相差無(wú)幾。獲得數(shù)據(jù)來(lái)源后，通過(guò)數(shù)據(jù)標(biāo)注獲得數(shù)據(jù)真值，其中涉及到數(shù)據(jù)篩選、挖掘和主動(dòng)學(xué)習(xí)，模型優(yōu)化完成測(cè)試后，進(jìn)行發(fā)布或部署。
英偉達(dá)在自動(dòng)駕駛開(kāi)發(fā)建立的機(jī)器學(xué)習(xí)平臺(tái) MAGLEV，也是基于閉環(huán)的模型迭代：其中有 smart 的數(shù)據(jù)選擇、數(shù)據(jù)標(biāo)準(zhǔn)、模型搜索、訓(xùn)練、評(píng)估、調(diào)試和部署。
研發(fā)閉環(huán)：兩個(gè)環(huán)
- 一個(gè)是中間層小環(huán)，數(shù)據(jù)產(chǎn)生之后，經(jīng)過(guò)數(shù)據(jù)管理平臺(tái)，包括一些仿真測(cè)試、仿真云、再到車(chē)端部署，實(shí)現(xiàn)仿真的場(chǎng)景。
- 另一個(gè)是外面的大環(huán)，主要做一些數(shù)據(jù)管理的工作，經(jīng)過(guò)標(biāo)準(zhǔn)、加工、模型訓(xùn)練以及最后的車(chē)端部署，來(lái)實(shí)現(xiàn)這樣一個(gè)大環(huán)。
將上面的數(shù)據(jù)閉環(huán)鏈路拆解到架構(gòu)層來(lái)看，可以把自動(dòng)駕駛的數(shù)據(jù)研發(fā)分為如下五層：從最底下的基礎(chǔ)設(shè)施，到中間的 PaaS 工具鏈，再到上面的一些 AI 運(yùn)營(yíng)服務(wù)。禾多基于完全自研工具鏈，形成了從數(shù)據(jù)采集、數(shù)據(jù)仿真到場(chǎng)景庫(kù)搭建、系統(tǒng)測(cè)試的完整閉環(huán)，打通了基于數(shù)據(jù)驅(qū)動(dòng)的自動(dòng)駕駛系統(tǒng)升級(jí)閉環(huán)鏈路。
華為云提供了三層加速方案，包括訓(xùn)練加速、數(shù)據(jù)加速、算力加速，自動(dòng)駕駛算法能夠高效被訓(xùn)練、被推理，也能形成整個(gè)數(shù)據(jù)端到端的閉環(huán)。
華為云依托 "1+3+M+N" 全球汽車(chē)產(chǎn)業(yè)云基礎(chǔ)設(shè)施布局，即全球 1 張車(chē)用存算網(wǎng)、3 個(gè)超大數(shù)據(jù)中心構(gòu)建汽車(chē)專區(qū)、M 個(gè)分布式車(chē)聯(lián)網(wǎng)節(jié)點(diǎn)、N 個(gè)汽車(chē)專用數(shù)據(jù)接入點(diǎn)，助力企業(yè)打造數(shù)據(jù)傳輸、存儲(chǔ)、計(jì)算、專業(yè)合規(guī)基礎(chǔ)設(shè)施，助推智能駕駛持續(xù)發(fā)展。華為開(kāi)發(fā)者大會(huì)上，張平安表示：華為盤(pán)古大模型 3.0 是一個(gè)完全面向行業(yè)的大模型系列，包括 5+N+X 三層架構(gòu)，其中第二層的 L1 層是 N 個(gè)行業(yè)的大模型，既可以提供使用行業(yè)公開(kāi)數(shù)據(jù)訓(xùn)練的行業(yè)通用大模型，包括政務(wù)，金融，制造，礦山，氣象等；也可以基于行業(yè)客戶的自有數(shù)據(jù)，在盤(pán)古的 L0 和 L1 上，為客戶訓(xùn)練自己的專有大模型。數(shù)據(jù)閉環(huán)難點(diǎn)自動(dòng)駕駛技術(shù)及平臺(tái)能力已逐漸成熟，但數(shù)據(jù)安全監(jiān)管、數(shù)據(jù)閉環(huán)“長(zhǎng)尾”問(wèn)題、工具鏈、訓(xùn)練算力、成本等影響高階自動(dòng)駕駛商業(yè)化落地的關(guān)鍵挑戰(zhàn)仍在。過(guò)去一兩年，國(guó)內(nèi)大部分車(chē)廠都是從 0-1 建立數(shù)據(jù)閉環(huán)的過(guò)程。未來(lái)數(shù)據(jù)閉環(huán)會(huì)從 1.0 向 2.0 方向演進(jìn)。1.0 是最基礎(chǔ)的功能，客戶的典型訴求是能把數(shù)據(jù)閉環(huán)跑通，2.0 就要關(guān)注數(shù)據(jù)閉環(huán)的效率和成本。難點(diǎn)主要介紹 4 個(gè)方面：量產(chǎn)、合規(guī)和數(shù)據(jù)管理平臺(tái)、數(shù)據(jù)標(biāo)注及后續(xù)處理針對(duì)數(shù)據(jù)傳輸以及數(shù)據(jù)特點(diǎn)，數(shù)據(jù)采集車(chē)和量產(chǎn)車(chē)有以下不同點(diǎn)。
| | |
| 合規(guī)員隨車(chē)以及物理搬運(yùn)的模式
| 車(chē)輛規(guī)模小但單車(chē)數(shù)據(jù)量大
|
| 車(chē)端軌跡偏轉(zhuǎn)插件和圖商密鑰加密無(wú)線上傳的模式
| 單條數(shù)據(jù)量小，但數(shù)據(jù)量巨大
|
目前行業(yè)來(lái)看，數(shù)據(jù)采集車(chē)上采集的數(shù)據(jù)用于自動(dòng)駕駛功能/算法開(kāi)發(fā)（深度學(xué)習(xí)模型迭代），而量產(chǎn)車(chē)上主要采集的是系統(tǒng)診斷通訊數(shù)據(jù)、自動(dòng)駕駛系統(tǒng)存在故障的數(shù)據(jù)以及由于車(chē)型變化影響自動(dòng)駕駛算法功能的車(chē)型差異視頻數(shù)據(jù)。量產(chǎn)車(chē)上回傳的大量數(shù)據(jù)，需要系統(tǒng)具備高效的文件傳輸能力以及充足的算力，就目前行業(yè)現(xiàn)狀來(lái)看，還沒(méi)有哪家企業(yè)具備處理或回傳大量數(shù)據(jù)的能力。合規(guī)分為測(cè)繪合規(guī)和隱私合規(guī)：測(cè)繪合規(guī)主要涉及到采集國(guó)家地理信息時(shí)的合規(guī)，隱私合規(guī)主要涉及到采集用戶隱私相關(guān)數(shù)據(jù)的合規(guī)。自從 2022 年 830 新規(guī)之后，無(wú)論是量產(chǎn)車(chē)、采集車(chē)還是測(cè)試車(chē)，自動(dòng)駕駛相關(guān)的道路數(shù)據(jù)采集都屬于測(cè)繪成果數(shù)據(jù)。關(guān)于隱私合規(guī)、測(cè)繪合規(guī)的國(guó)家要求可以參考下表： | | | | |
| | | | |
| | 軍事區(qū)域
專用的鐵軌或者道路大型民用設(shè)施
限高、限重、限寬標(biāo)牌 | | |
國(guó)家對(duì)于車(chē)載攝像頭、高精定位、激光雷達(dá)等傳感器采集的數(shù)據(jù)還有嚴(yán)格的合規(guī)要求：測(cè)繪的合規(guī)流程很復(fù)雜（例如：采集的數(shù)據(jù)還需要車(chē)端脫敏、加密等合規(guī)處理），資質(zhì)又難于獲??；隱私合規(guī)方面國(guó)家給出的限定條款相對(duì)寬泛，企業(yè)在量產(chǎn)車(chē)上采集數(shù)據(jù)，需要用戶授權(quán)。這對(duì)海量自動(dòng)駕駛數(shù)據(jù)的脫敏帶來(lái)了巨大挑戰(zhàn)。
數(shù)據(jù)管理平臺(tái)承擔(dān)著高階輔助駕駛/自動(dòng)駕駛域的數(shù)據(jù)注入、數(shù)據(jù)傳輸、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理和數(shù)據(jù)管理服務(wù)。可以為高階輔助駕駛/自動(dòng)駕駛研發(fā)過(guò)程中的 corner case 問(wèn)題分析、感知模型訓(xùn)練、數(shù)據(jù)標(biāo)注、仿真場(chǎng)景、評(píng)測(cè)驗(yàn)證等提供數(shù)據(jù)支撐，是衡量高階輔助駕駛/自動(dòng)駕駛研發(fā)能力和水平的關(guān)鍵。
自動(dòng)駕駛系統(tǒng)規(guī)?；慨a(chǎn)后，各企業(yè)將面臨海量數(shù)據(jù)風(fēng)暴，且自動(dòng)化程度越高，所需的數(shù)據(jù)存儲(chǔ)量越大。急劇增加的數(shù)據(jù)量給存儲(chǔ)空間以及數(shù)據(jù)處理的速度都帶來(lái)了挑戰(zhàn)。數(shù)據(jù)標(biāo)注及后續(xù)處理無(wú)論是量產(chǎn)車(chē)數(shù)采，還是數(shù)據(jù)采集車(chē)數(shù)采，自動(dòng)駕駛視頻采集量都很大，而且采集的視頻需要盡可能的還原真實(shí)場(chǎng)景數(shù)據(jù)，因此，每天采集的數(shù)據(jù)量大概是 TB 級(jí)別，數(shù)據(jù)海量。即使采用自動(dòng)化標(biāo)注工具進(jìn)行標(biāo)注后，由于目前的標(biāo)注工具準(zhǔn)確度不夠高，還需要人工進(jìn)行校驗(yàn)、修改。數(shù)據(jù)標(biāo)注面臨如下幾個(gè)問(wèn)題：
人工標(biāo)注的標(biāo)準(zhǔn)很難保證一致性，存在精度偏差。
在海量數(shù)據(jù)量的情況下，人工標(biāo)注需要很大工作量，很難保證標(biāo)注結(jié)果完全準(zhǔn)確。
除了海量數(shù)據(jù)，自動(dòng)駕駛需要標(biāo)注的特征種類繁多，這也給數(shù)據(jù)處理增加難度。
合規(guī)問(wèn)題（車(chē)輛安全）-->數(shù)據(jù)脫敏、加密困難等自動(dòng)駕駛數(shù)據(jù)量大-->數(shù)據(jù)接入困難，數(shù)據(jù)存儲(chǔ)困難，數(shù)據(jù)標(biāo)注及后續(xù)處理困難，模型訓(xùn)練及迭代困難等1. 自動(dòng)駕駛數(shù)據(jù)閉環(huán)過(guò)去幾年是“從無(wú)到有”，現(xiàn)在及未來(lái)是“從有到精”。 2. 自動(dòng)駕駛鏈路很長(zhǎng)，功能側(cè)仍有很多技術(shù)問(wèn)題需要解決，大部分都是功能探索為主，平臺(tái)與系統(tǒng)建設(shè)為輔?；隍?qū)動(dòng)研發(fā)及運(yùn)營(yíng)模式的角度來(lái)看，目前并沒(méi)有真正意義上的閉環(huán)，都是局部閉環(huán)，大部分都需要手動(dòng)工作，例如：數(shù)據(jù)標(biāo)注。3. 實(shí)現(xiàn)自動(dòng)化數(shù)據(jù)閉環(huán)之路還很長(zhǎng)，我們看到了它的進(jìn)步，更期盼它能更好的實(shí)現(xiàn)增效、降本。1. 自動(dòng)駕駛數(shù)據(jù)閉環(huán)及 AutoLabeling 方案介紹https://www.zhihu.com/question/552466858/answer/27921011202. 自動(dòng)駕駛數(shù)據(jù)閉環(huán)：實(shí)現(xiàn)高階自動(dòng)駕駛的必由之路https://zhuanlan.zhihu.com/p/5779508983. 自動(dòng)駕駛數(shù)據(jù)閉環(huán)系列之一：理想豐滿，現(xiàn)實(shí)骨感
https://mp.weixin.qq.com/s/A4bLFRdIfYwG81LBanJDYg4. 自動(dòng)駕駛數(shù)據(jù)閉環(huán)，2023智駕量產(chǎn)新戰(zhàn)場(chǎng)
https://mp.weixin.qq.com/s/v1i8ZSnSCfJag7MbnhzgTA
5. 數(shù)據(jù)閉環(huán)（一），落地道路上的三大難點(diǎn)https://mp.weixin.qq.com/s/5tEe5WkTR35P0b7wM9f6EQ<- 推 薦 閱 讀 ->
【聲明】除文內(nèi)特殊聲明外，本公眾號(hào)內(nèi)所有文章編寫(xiě)或轉(zhuǎn)載的目的僅用于學(xué)習(xí)和交流，不予以商用，不代表本號(hào)觀點(diǎn)及立場(chǎng)。本公眾號(hào)內(nèi)資訊及正文引用圖片均由個(gè)人公眾號(hào) ADS 智庫(kù)六耳基于官網(wǎng)或公開(kāi)信息梳理或引用。本公眾號(hào)所引用及轉(zhuǎn)載內(nèi)容版權(quán)均歸原作者所有，凡是注明來(lái)源 “ XXX ADS 智庫(kù) ” 或作者為 “ XXX 六耳、XXX ADS 智庫(kù) ” 的文章轉(zhuǎn)載或引用時(shí)請(qǐng)注明來(lái)源 ADS 智庫(kù)。若有版權(quán)或其他任何問(wèn)題請(qǐng)聯(lián)系六耳（ 微信號(hào)：adas_miao ），本號(hào)將及時(shí)處理。轉(zhuǎn)發(fā)、點(diǎn)贊、在看
