近期發(fā)生的一些事情，讓主機廠和中小ADAS公司感到不安，自動駕駛產(chǎn)業(yè)變革的速度，超出絕大多數(shù)人預期。

2022年各大汽車論壇，各ADAS公司主要宣傳的是行泊一體方案，不少ADAS公司還為行泊一體方案在2023的市場爆發(fā)備貨不少。到了2023年，在降本壓力之下，各主機廠并沒有大規(guī)模投入行泊一體。反而，在華為、毫末智行、百度、新勢力車企的帶動下，2023年競爭和宣傳主旋律直接轉(zhuǎn)向了高速NOA和城市NOA。

根據(jù)某自媒體的爆料，以及來自渠道的證實，西南某主機廠一開始委托多家中型Tier1聯(lián)合做的高速NOA項目并不理想，導致該主機廠開始把NOA項目重新委托給一線Tier1——大疆和華為。華為原本在高端車型上做NOA，今年開始推出中低端方案，與中小ADAS Tier1開展競爭。

同時，新勢力車企開始卷開通NOA的城市數(shù)量。8月底，特斯拉直播FSD V12的自動駕駛表現(xiàn)。FSD V12是有史以來第一個端到端AI自動駕駛系統(tǒng)。馬斯克表示：“V12系統(tǒng)從頭到尾都是通過AI實現(xiàn)。我們沒有編程，沒有程序員寫一行代碼來識別道路、行人等，全部交給了神經(jīng)網(wǎng)絡(luò)”。FSD V12的C++代碼控制減少了10倍，從2萬多行減少到2千行。特斯拉99%的決策都交給神經(jīng)網(wǎng)絡(luò)給出，視覺輸入，控制輸出，就像人類大腦一樣。另外，F(xiàn)SD V12所擁有的超強能力，是經(jīng)過巨量的「視頻數(shù)據(jù)」訓練，是在1萬個H100加持下完成的。

FSD V12的自動駕駛表現(xiàn)讓人驚艷，自動駕駛在AI大模型的支持下正面臨臨界點。據(jù)稱FSD V12在2024年會進入中國，經(jīng)過對中國道路的訓練后，2025年會大規(guī)模上車。9月12日，余承東稱問界城區(qū)NOA到2023年底全國主要城市都能開（據(jù)華為方面補充稱，全國的城市都能開的含義，并不是全國所有城市的所有道路都能開，車輛需要行駛在有清晰道路邊界的結(jié)構(gòu)化道路上）。特斯拉和華為兩大自動駕駛標桿，給其他車企和ADAS Tier1都帶來了巨大的壓力。

ADAS行業(yè)將何去何從？主機廠和ADAS企業(yè)正如何面對AI大模型和NOA帶來的挑戰(zhàn)？《2023年汽車AI算法和大模型應用研究報告》梳理ADAS算法和AI大模型的發(fā)展歷程，挖掘AI大模型在汽車領(lǐng)域的發(fā)展方向。

端到端自動駕駛帶來哪些改變？

自動駕駛算法系統(tǒng)分為端到端自動駕駛和模塊化自動駕駛兩類。模塊化自動駕駛系統(tǒng)分為三層：環(huán)境感知層、決策規(guī)劃層和控制執(zhí)行層。在模塊化自動駕駛系統(tǒng)中，不同團隊負責不同的模塊，可以實現(xiàn)更好的分工協(xié)作，從而提高開發(fā)效率。缺點就是整個系統(tǒng)非常復雜龐大、需要人工設(shè)計成百上千個模塊。

端到端自動駕駛是指車輛將傳感器采集到的信息（原始圖像數(shù)據(jù)、原始點云數(shù)據(jù)等），直接送入到一個統(tǒng)一的深度學習神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)經(jīng)過處理之后直接輸出自動駕駛汽車的駕駛命令（方向盤轉(zhuǎn)角、方向盤轉(zhuǎn)速、油門踏板開度、制動踏板開度等）。在端到端自動駕駛中，沒有人工設(shè)計的繁復規(guī)則，只需要極少的來自人類的訓練數(shù)據(jù)，深度學習神經(jīng)網(wǎng)絡(luò)就會學會駕駛，且不用關(guān)心有沒有高精地圖覆蓋。

當自動駕駛發(fā)展到城市NOA階段，模塊化自動駕駛算法已不能滿足需要，端到端自動駕駛算法開始成為主流。并且模塊化自動駕駛算法的積累，大多數(shù)不能遷移到端到端自動駕駛時代，基本上得重新開始。因此，當2023年比亞迪才開始大規(guī)模介入自動駕駛開發(fā)時，并不算晚。比亞迪宣稱：“結(jié)合BEV感知等大模型的技術(shù)，是比亞迪的高階智駕能夠形成彎道超車的一個機會。并且智能駕駛與易四方平臺結(jié)合，比亞迪正在研發(fā)出一些比較具有特色的高階駕駛輔助功能。”

比亞迪說的換道超車，就是跳過模塊化自動駕駛，直接進入（以AI大模型為基礎(chǔ)的）端到端自動駕駛。

早期的自動駕駛感知算法主要是基于傳統(tǒng)計算機視覺技術(shù)，直到 2010 年之后隨著深度學習技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)被引入到自動駕駛感知算法中，自動駕駛汽車的感知效果有了質(zhì)的提升。應用于感知層面的神經(jīng)網(wǎng)絡(luò)模型可以分為兩類，一類是以 CNN、RNN 為代表的小模型，另一類是 Transformer 大模型。

Transformer 是一種基于注意力機制（Attention Mechanism）的神經(jīng)網(wǎng)絡(luò)模型，由谷歌 2017 年論文《Attention is All You Need》提出，相比 RNN 的優(yōu)勢在于可并行計算、且能夠處理長序列的輸入，較CNN 的優(yōu)勢在于保留了位置信息、且解決遠距離特征依賴問題。因此，Transformer 模型成了自然語言處理領(lǐng)域中最流行的模型之一。特斯拉率先將Transformer 引入到自動駕駛算法中，其他新勢力車企和傳統(tǒng)車企的新品牌紛紛跟進。

特斯拉自動駕駛算法迭代歷程

為什么需要AI大模型？

城市NOA的需要：目前，主機廠正逐步從高速領(lǐng)航輔助駕駛向城市領(lǐng)航輔助駕駛（城市NOA）拓展。而從高速場景拓展到城市場景，意味著車輛所遇到的長尾問題（ Corner case）大幅增加。高速場景在特定路段下較為封閉，交通環(huán)境的標準化程度高；且高速駕駛規(guī)定對車輛的駕駛行為進行了明確的規(guī)范，交通參與者單純不涉及到行人，并且駕駛狀態(tài)的可預測性更強，因此高速 NOA 成為率先落地的場景。然而，城市場景下道路及路況復雜（紅綠燈路口）、交通參與者多（行人、低速兩輪車）、場景異質(zhì)性強（不同城市甚至不同路段路況差異性大），自動駕駛遇到的 Corner Case大幅提升。因此，城市領(lǐng)航輔助駕駛的落地需求對自動駕駛模型的泛化能力提出更高的要求，同時考慮到商業(yè)化落地的成本約束，應用 AI 大模型提高泛化能力+降低/控制車端硬件成本是自動駕駛算法演變的核心脈絡(luò)。

脫離高精度地圖和降本的需要：2022年之前，國內(nèi)主機廠實現(xiàn)城市領(lǐng)航輔助駕駛落地的主要基于高精度地圖+單車感知的方案，但在實施過程中發(fā)現(xiàn)高精度地圖最為突出的三個問題為：1）無法做到實時更新；2）法規(guī)風險；3）高成本。自動駕駛感知算法向 BEV+Transformer 架構(gòu)升級，助力城市領(lǐng)航輔助駕駛脫高精度地圖。

BEV 感知模型顯著提高了在極端天氣工況下的應對能力：在后融合模型下，如果遇到雨雪天極端天氣工況，攝像頭采集到的數(shù)據(jù)/視頻流清晰度大幅下降，很難達到攝像頭判斷合格的標準，因此傳遞給后端做規(guī)劃控制的結(jié)果大幅下降。與后融合模型不同，從不同視角的攝像頭采集到的圖片轉(zhuǎn)換到 BEV 視角的過程中是特征級的融合，比如在極端天氣工況下有一些光子信息依然反應了前方障礙物的情況可以用于后續(xù)的規(guī)劃控制，在特征級融合的框架下感知模型對數(shù)據(jù)的利用率明顯提升。

AI大模型除了在自動駕駛領(lǐng)域有成功的應用外，在智能座艙領(lǐng)域也有廣闊的應用前景。MIT2020（5G）推進組C-V2X工作組組長葛雨明表示，大模型對智能座艙的影響可體現(xiàn)在三個方面：

圖片來源：華為

如何面對AI大模型帶來的挑戰(zhàn)？

大數(shù)據(jù)和大算力是AI大模型應用的重要前置條件。Transformer 大模型量變引起質(zhì)變需要 1 億公里及以上的里程數(shù)據(jù)。并且，傳感器采集得到的原始數(shù)據(jù)需進行標注后才可用于算法模型訓練，自動標注工具可大幅提升數(shù)據(jù)處理速度。2018 年至今，特斯拉數(shù)據(jù)標注從 2D 人工標注逐步發(fā)展至 4D空間自動標注；國內(nèi)廠商中小鵬、毫末智行等亦相繼推出自動標注工具，大幅提升標注效率。除真實數(shù)據(jù)外，仿真場景是彌補訓練大模型數(shù)據(jù)不足問題的重要解決方式。

生成式 AI 有望推動仿真場景大幅提升泛化能力，幫助主機廠提升仿真場景數(shù)據(jù)的應用比例，從而提高自動駕駛模型的迭代速度、縮短開發(fā)周期。

大算力是 Transformer 模型訓練的另一重要條件，超算中心成為自動駕駛廠商重要的基礎(chǔ)設(shè)施。特斯拉 AI 計算中心 Dojo 總計使用了 1.4 萬個英偉達的 GPU 來訓練 AI 模型，網(wǎng)絡(luò)訓練速度提升 30%，國內(nèi)廠商中小鵬與阿里聯(lián)合出資打造自動駕駛 AI 智算中心“扶搖”，將自動駕駛算法的模型訓練時間提速 170 倍。

除了已經(jīng)切入大模型應用，資金充裕的蔚小理等少數(shù)OEM，其他主機廠很難像特斯拉那樣，在大數(shù)據(jù)大算力、超算中心、AI芯片自研上全面投入，借助AI大模型供應商的力量完善大模型應用水平，是相對務實的做法。

對于中小ADAS Tier1，獨立推出能與華為NCA競爭的NOA方案基本不可能，智算中心的巨大投入就是逾越不了的高山。同時主流車企都開始轉(zhuǎn)向自動駕駛自研，留給中小ADAS Tier1的機會越來越少，行業(yè)整合成為必然。一是加快上市步伐成為整合者，第二是尋求被并購的機會。行業(yè)大變革之下，有風險也有機會。華為等IT巨頭員工成本高昂，主機廠也不愿意受IT巨頭制約，因此中小ADAS Tier1也不是沒有生存空間。中小ADAS Tier1下一步做好資源整合非常關(guān)鍵，在艙駕融合、跨域融合的趨勢下，與AI大模型企業(yè)（如云知聲、商湯、思必馳等）緊密合作，與座艙上市公司緊密合作，與底盤域企業(yè)緊密合作等等，都是可選項。

同樣，AI大模型也給后來的AI芯片公司帶來了機會。傳統(tǒng)智駕SoC和座艙SoC供應商的大算力芯片并不完全符合AI大模型的需求，新興AI芯片公司正好可以重新設(shè)計符合大模型需要的大算力芯片，借助主機廠的定制化需求迅速成長起來。

據(jù)地平線余凱分析，中國汽車智能化應用水平領(lǐng)先國外五年以上。在NOA和大模型推動下，國內(nèi)企業(yè)將進一步拉大和國外Tier1的差距。本土Tier1站穩(wěn)腳跟之后，也有望獲得與國外OEM和Tier1巨頭的合作機會。

正如Mobileye CEO Amnon Shashua 所說：' 能贏在中國，就能贏在全球。'

《2023年汽車AI算法和大模型應用研究報告》目錄

共230頁

01 自動駕駛算法分類與發(fā)展歷程

1.1 自動駕駛系統(tǒng)分類

1.2 端到端自動駕駛與軟件2.0

1.3 端到端自動駕駛模型案例：UniAD

1.4 百度AD算法發(fā)展歷程

1.4.1 百度AD算法發(fā)展歷程：模型1.0

1.4.2 百度AD算法發(fā)展歷程：感知1.0

1.4.3 百度AD算法發(fā)展歷程：感知2.0

1.4.4 百度AD算法發(fā)展歷程：感知大模型

1.4.5 百度AD算法發(fā)展歷程：大模型應用案例

1.5 特斯拉AD算法發(fā)展歷程

1.5.1 特斯拉AD算法發(fā)展歷程：進入重感知輕地圖階段

1.5.2 特斯拉AD算法發(fā)展歷程：Occupancy Network

1.5.3 特斯拉AD算法發(fā)展歷程：FSD Beta V12

1.5.4 特斯拉Dojo 超算中心

02 常見自動駕駛AI算法和模型

2.1 神經(jīng)網(wǎng)絡(luò)模型

2.1.1 DNN

2.1.2 CNN

2.1.3 RNN

2.1.4 Transformer

2.1.5 占用網(wǎng)絡(luò)

2.1.6 AI算法的不足（1）

2.1.7 AI算法的不足（2）

2.1.8 AI算法的不足（3）

2.2 傳統(tǒng)自動駕駛AI算法（小模型）

2.2.1 早期CNN的2D目標檢測

2.2.2 智能駕駛早期CNN核心代表算法

2.2.3 3D Bounding Box

2.2.4 3D Bounding Box離不開激光雷達

2.2.5 6D-VISION

2.2.6 超越目標檢測：語義分割

2.2.7 道路語義分割與移動目標語義分割

2.3 Transformer和BEV（大模型）

2.3.1 Transformer示意圖

2.3.2 三種常見的Transfromer

2.3.3 大模型的根基是Transformer

2.3.4 為什么需要大模型

2.3.5 沒有Code，只有NAS

2.3.6 端到端，不添加人工規(guī)則

2.3.7 基于Transformer的端到端目標檢測

2.3.8 BEV+Transformer是“特征級融合”

2.3.9 已經(jīng)和即將搭載 AI 大模型的國內(nèi)車型

2.4 不同場景的算法應用

2.4.1 英偉達的交通標志和信號燈分類算法

2.4.2 特斯拉的車道線模型

2.4.3 理想汽車的復雜路口算法

2.4.4 規(guī)劃控制：系統(tǒng)分類

2.4.5 規(guī)劃控制：運動規(guī)劃算法

2.4.6 規(guī)劃控制：特斯拉的規(guī)控算法

2.5 AI算法對芯片的要求

2.5.1 AI算法對芯片的要求

2.5.2 AI算法對芯片的要求（1）

2.5.3 AI算法對芯片的要求（2）

2.5.4 AI算法對芯片的要求（3）

2.5.5 AI算法對芯片的要求（4）

2.5.6 大模型時代，存儲芯片很重要

2.5.7 如何解決存儲瓶頸（1）

2.5.8 如何解決存儲瓶頸（2）

2.5.9 如何解決存儲瓶頸（3）

2.5.10 新勢力學習特斯拉，自研智駕芯片

03 AI大模型和智算中心簡介

3.1 AI大模型簡介

3.1.1 AI大模型發(fā)展歷程

3.1.2 人工智能發(fā)展中AI大模型的地位

3.1.3 AI大模型的商業(yè)模式

3.1.4 AI大模型落地面臨的挑戰(zhàn)及未來發(fā)展趨勢

3.1.5 大模型技術(shù)架構(gòu)+參數(shù)規(guī)模持續(xù)迭代

3.2 AI大模型在汽車的應用

3.2.1 大模型在汽車的應用方向

3.2.2 大模型在智能座艙的應用

3.2.3 大模型在智能駕駛的應用

3.2.4 AI大模型在汽車應用的挑戰(zhàn)

3.2.5 大模型應用對傳感器的影響

3.3 智算中心

3.3.1 智算中心簡介

3.3.2 中國智算中心的發(fā)展歷程

3.3.3 智算中心2.0時代

3.3.4 智算中心建設(shè)情況

3.3.5 智算中心產(chǎn)業(yè)鏈

3.3.6 智算中心總體架構(gòu)圖

3.3.7 自動駕駛領(lǐng)域建立智算中心的原因

3.3.8 搭建自動駕駛智算中心的成本

3.3.9 搭建自動駕駛智算中心遇到的問題

3.3.10 自動駕駛公司AI大模型和算力配置情況

3.3.11 主機廠導入大模型的模式

3.3.12 汽車行業(yè)大模型及智算中心進展匯總（供應商）

3.3.13 汽車行業(yè)大模型及智算中心進展匯總（主機廠）

04 特斯拉算法和大模型應用解析

4.1 特斯拉算法融合CNN和Transformer

4.1.1 特斯拉視覺感知框架發(fā)展歷程

4.1.2 特斯拉視覺算法架構(gòu)

4.1.3 特斯拉視覺算法架構(gòu)（含NeRF）

4.1.4 特斯拉視覺算法的骨架、脖頸、頭

4.1.5 特斯拉視覺系統(tǒng)核心HydraNet

4.1.6 特斯拉2D轉(zhuǎn)3D圖像

4.1.7 特斯拉在head部分用了Transformer

4.1.8 Swin Transformer與傳統(tǒng)CNN骨干網(wǎng)的對比

4.1.9 Swin Transformer消耗算力最低

4.1.10 特斯拉的骨干網(wǎng)RegNet

4.1.11 特斯拉視覺的BiFPN

4.2 Transformer將2D變3D

4.2.1 特斯拉Transformer、BEV與矢量空間表達

4.2.2 特斯拉Image-to-BEV Transformer

4.2.3 特斯拉Occupancy Network

4.2.4 DETR 3D架構(gòu)

4.2.5 特斯拉Transformer模型

4.2.6 特斯拉3D目標檢測

4.2.7 NeRF與隱式神經(jīng)網(wǎng)絡(luò)

4.3 Occupancy Network與語義分割及時空序列

4.3.1 特斯拉視覺框架

4.3.2 3D目標檢測與3D語義分割

4.3.3 反卷積Deconvolution

4.3.4 特斯拉視頻神經(jīng)網(wǎng)絡(luò)架構(gòu)

4.3.5 特征隊列Feature Queue

4.3.6 特征隊列 - 時間序列

4.3.7 特征隊列 - 空間序列

4.3.8 Spatial特征

4.4 LaneGCN與搜索樹

4.4.1 特斯拉車道神經(jīng)網(wǎng)絡(luò)

4.4.2 特斯拉的矢量地圖

4.4.3 LaneGCN架構(gòu)

4.4.4 特斯拉的AR模型

4.4.5 特斯拉的軌跡規(guī)劃MCTS

4.4.6 MCTS算法優(yōu)化核心思想

4.5 數(shù)據(jù)閉環(huán)和數(shù)據(jù)引擎

4.5.1 特斯拉影子模式

4.5.2 特斯拉數(shù)據(jù)引擎

4.5.3 數(shù)據(jù)引擎案例

05 AI算法和大模型供應商研究

5.1 毫末智行

5.1.1 毫末智行公司簡介

5.1.2 數(shù)據(jù)智能體系——MANA 系統(tǒng)

5.1.3 智算中心——MANA OASIS

5.1.4 毫末智行對大模型的研究和應用

5.1.5 MANA的五大模型

5.1.6 人駕自監(jiān)督認知大模型和多模態(tài)大模型

5.1.6 視頻自監(jiān)督大模型

5.1.6 3D重建大模型

5.1.6 動態(tài)環(huán)境大模型

5.1.7 毫末的數(shù)據(jù)來源

5.1.8 五大模型及智算中心對毫末的助力

5.1.9 推出DriveGPT

5.1.10 DriveGPT和ChapGPT的對比

5.2 輕舟智航

5.2.1 輕舟智航簡介

5.2.2 輕舟智航的超融合感知框架

5.2.3 輕舟智航特征和時序融合大模型

5.2.4 OmniNet大模型推動量產(chǎn)方案的落地

5.2.5 輕舟智航的預測算法模型

5.2.6 自動駕駛研發(fā)工具鏈

5.3 百度

5.3.1 百度智能云簡介

5.3.2 百度 Apollo 簡介

5.3.3 文心大模型

5.3.4 文心大模型在汽車行業(yè)的應用

5.3.5 文心大模型提升百度感知算法能力

5.3.6 百度智算中心

5.3.7 百度正式發(fā)布文心一言，多家主機廠已加入該生態(tài)

5.4 浪潮

5.4.1 浪潮集團簡介

5.4.2 淮海智算中心的三大亮點

5.4.3 自動駕駛計算框架AutoDRRT

5.5 商湯科技

5.5.1 商湯科技簡介

5.5.2 商湯日日新大模型體系

5.5.3 商湯AIDC智算中心

5.5.4 商湯大模型在座艙領(lǐng)域的應用

5.5.5 商湯SenseAuto Empower

5.5.6 商湯UniAD大模型

5.6 華為

5.6.1 華為盤古大模型3.0

5.6.2 預標注大模型

5.6.3 場景生成大模型和大模型降本

5.6.4 數(shù)據(jù)閉環(huán)工具鏈

5.7 云知聲

5.7.1 云知聲推出山海大模型

5.7.2 云知聲AI在座艙的應用

5.8 科大訊飛

5.8.1 科大訊飛發(fā)布“星火”認知大模型

5.8.2 “星火”認知大模型應用于智能座艙

5.8.3 在認知大模型的投入和價值實現(xiàn)方式

5.9 思必馳

5.9.1 思必馳發(fā)布語言大模型并與多家車企簽約

5.9.2 DFM-2 大模型

5.9.3 思必馳大模型發(fā)展規(guī)劃

5.10 曠視科技

5.10.1 曠視的自動駕駛方案

5.10.2 曠視的自動駕駛算法模型

5.11 其他

5.11.1 斑馬智行引入通義千問大模型

5.11.2 科大訊飛發(fā)布“星火”認知大模型

5.11.3 中科創(chuàng)達魔方大模型

5.11.4 火山引擎

5.11.5 地平線端側(cè)部署大模型

06 主機廠大模型應用研究

6.1 小鵬

6.1.1 小鵬簡介

6.1.2 小鵬Transformer大模型

6.1.3 小鵬的數(shù)據(jù)處理

6.1.4 小鵬扶搖智算中心

6.2 理想汽車

6.2.1 理想的大模型布局

6.2.2 大模型在理想自動駕駛的應用

6.2.3 NPN和TIN

6.2.4 動態(tài)BEV

6.3 吉利

6.3.1 公司簡介

6.3.2 吉利星睿智算中心

6.3.3 吉利星睿智算中心的領(lǐng)先技術(shù)

6.3.4 吉利星睿智算中心的能力

6.3.5 吉利-百度·文心大模型

6.4 通用汽車

6.4.1 通用汽車考慮基于ChatGPT技術(shù)推出車載語音助手

6.4.2 通用汽車與谷歌開展AI合作

6.5 比亞迪

6.5.1 利用BEV感知等大模型實現(xiàn)彎道超車

6.5.2 多傳感器多任務融合感知

6.5.3 將實現(xiàn)感知、預測、決策規(guī)劃全流程的數(shù)據(jù)驅(qū)動大模型

6.6 其他車企

6.6.1 長城 AI大模型應用和布局

6.6.2 廣汽推出AI大模型平臺

6.6.3 奇瑞星途星紀元ES搭載認知大模型

6.6.4 上汽通用五菱

6.6.5 長安汽車

6.6.6 奔馳應用ChatGPT