隨著人工智能技術方向邁向大模型階段，以及智能駕駛在城市場景的落地，自動駕駛技術迎來重大變革機遇，正在進入以數(shù)據(jù)驅(qū)動為核心，以大模型、大數(shù)據(jù)、大算力為特征的自動駕駛 3.0 時代。

自動駕駛 3.0 時代，是毫末智行 CEO 顧維灝在 2022 年 9 月的 AI DAY 上提出的一個技術概念，是對自動駕駛技術過去二十年技術發(fā)展階段的準確劃分，分別是：

• 以硬件驅(qū)動為主的自動駕駛 1.0 時代；

• 以軟件驅(qū)動為主的自動駕駛 2.0 時代；

• 以數(shù)據(jù)驅(qū)動為主的自動駕駛 3.0 時代。

其中，相較于前面兩個階段，3.0 時代的關鍵是在數(shù)據(jù)驅(qū)動下，AI 算法的訓練方式發(fā)生了根本性變化：

即從小模型、小數(shù)據(jù)的任務型訓練升級為大模型、大數(shù)據(jù)的通用型預訓練方式，其中所對應需要的智能駕駛真實行駛里程數(shù)據(jù)規(guī)模至少要在一億公里。

11 月 29 日，毫末宣布其乘用車用戶輔助駕駛里程達到一億公里。

這一數(shù)據(jù)在 2022 年 9 月時僅 1700 萬公里，在 2023 年初接近 2500 萬公里，在 4 月時達到了 4000 萬公里。

由此可見，隨著毫末智駕產(chǎn)品落地規(guī)模和用戶活躍度的增長，毫末智能駕駛數(shù)據(jù)積累迎來了加速的曲線增長，為毫末所致力于打造的數(shù)據(jù)智能體系提供了源源不斷的真實場景數(shù)據(jù)。

獲得一億公里的量產(chǎn)智能駕駛真實場景數(shù)據(jù)，標志著毫末成為第一個進入自動駕駛 3.0 時代的中國自動駕駛技術公司，也成為毫末打造數(shù)據(jù)閉環(huán)驅(qū)動系統(tǒng)的階段性的里程碑。

01 從 1.0 到 3.0 時代，自動駕駛的兩次技術范式變革

自動駕駛作為一項新型技術出現(xiàn)，可以從 2004 年 DARPA 舉辦第一屆自動駕駛挑戰(zhàn)賽算起，至今正好將近二十年時間。

之后這二十年中，自動駕駛技術一直在「感知-決策-執(zhí)行」經(jīng)典框架下，沿著硬件、算力、算法、數(shù)據(jù)持續(xù)升級的方向前進。

發(fā)展至今，一個巨大變量就是人工智能技術的革命性突破，即深度學習算法以及 AI 大模型技術的出現(xiàn)，使得自動駕駛迎來質(zhì)變時刻。

數(shù)據(jù)驅(qū)動成為推動這場技術質(zhì)變的關鍵。

與眾多技術范式一樣，自動駕駛技術的進展遵循著從量變引發(fā)質(zhì)變的規(guī)律。

結合自動駕駛演變歷程與發(fā)展規(guī)律，自動駕駛技術的發(fā)展階段可以從自動駕駛行駛數(shù)據(jù)規(guī)模、感知傳感器模式及感知算法實現(xiàn)方式、認知算法實現(xiàn)方式以及數(shù)據(jù)處理及 AI 算法模型訓練方式，這四個維度進行對比。

自動駕駛的 1.0 時代，大致是從 2004 年到 2014 年之間，自動駕駛從始至終以實現(xiàn)無人駕駛為目標，主導者主要是美國高校和谷歌這樣的科技公司。

和主機廠在安全性、性價比、車規(guī)級等要求下僅實現(xiàn) L0-L1 的低級別駕駛輔助不同，這一時期的自動駕駛車輛掛滿了各種大大小小傳感器硬件，簡直可以說武裝到了牙齒，激光雷達成為自動駕駛汽車必不可少的配置。

車端的感知能力，主要靠激光雷達，比拼的是雷達數(shù)量、線束數(shù)量，從而實現(xiàn)更可靠的道路障礙物的測距、測速，靜態(tài)環(huán)境則主要依靠高精地圖來實現(xiàn)；在認知上，則基本使用人工規(guī)則的方式來實現(xiàn)。

由于車輛整體成本比較高，所以車輛數(shù)量有限，導致自動駕駛里程規(guī)模比較少，數(shù)據(jù)積累當時在數(shù)百萬公里左右。因此，此時距離真正安全可靠的無人駕駛的目標還有相當大差距。

自動駕駛 2.0 時代，大致是從 2014 年至 2021 年期間。

這一階段，大量的自動駕駛初創(chuàng)公司紛紛出現(xiàn)，傳統(tǒng)主機廠也嘗試以投資、收購等方式卷入自動駕駛，被稱為新勢力的特斯拉更是在新能源車站穩(wěn)腳跟之后，在 2014 年開始推出了 Autopilot 智能駕駛系統(tǒng)。

這期間，更大算力的車端計算芯片陸續(xù)出現(xiàn)，車規(guī)級傳感器的數(shù)量也在快速增加，終于迎來了深度學習技術在車上的廣泛應用。

在感知上，各個傳感器各自為戰(zhàn)，用一些小模型和少量數(shù)據(jù)做訓練，得到單個傳感器的識別結果，然后進行感知結果級的融合；在認知上，依然是人工規(guī)則和一些機器學習算法為主。

隨著自動駕駛公司運營測試車隊的增加和測試范圍的擴大，自動駕駛行駛里程也快速在增加，達到數(shù)千萬公里。

而典型代表的特斯拉，在 2019 年之后，隨著特斯拉的量產(chǎn)車型走出產(chǎn)能低谷，搭載其智能駕駛系統(tǒng)給的車輛的行駛里程快速突破上億公里，快速構筑起特斯拉 FSD 系統(tǒng)的數(shù)據(jù)閉環(huán)系統(tǒng)。

自動駕駛 3.0 時代，從 2021 年肇始，特斯拉無疑成為這場技術變革的推動者，其標志就是以數(shù)據(jù)驅(qū)動的 AI 大模型技術開始應用在車端上，推動自動駕駛技術進入新階段。

相比較前兩階段中 AI 技術在自動駕駛技術中少量參與，3.0 時代是一個完全不一樣的時代，數(shù)據(jù)驅(qū)動意味著利用 AI 大模型使得數(shù)據(jù)自己可以訓練自己。

自動駕駛公司重點投入將要放在數(shù)據(jù)通道和智算中心的打通和建設上，以此可以更高效地獲取數(shù)據(jù)，并把數(shù)據(jù)轉化為知識。

在感知方向，會采用多個傳感器、不同模態(tài)傳感器的原始數(shù)據(jù)聯(lián)合輸出感知結果。

在認知方向，通過認知大模型處理真實人駕數(shù)據(jù)和場景，形成可解釋的場景化駕駛策略，再配以 AI 的實時計算，擬人化融入社會交通流。

AI 算法的訓練方式也發(fā)生了根本變化，就是從小模型、少數(shù)據(jù)升級為大模型、大數(shù)據(jù)的訓練方式，因此所對應的智能駕駛里程所產(chǎn)出的數(shù)據(jù)規(guī)模至少在一億公里以上。

當前，行業(yè)對于自動駕駛 3.0 時代的階段特征基本已經(jīng)達成了共識。

以「自動駕駛 3.0 時代」為關鍵詞，可以發(fā)現(xiàn)過去的一年多時間，這一概念頻繁出現(xiàn)在行業(yè)報告、論壇主題以及行業(yè)媒體的各種表述中。

行業(yè)普遍認為，隨著自動駕駛技術范式向 3.0 時代演進，數(shù)據(jù)驅(qū)動的算法模型的演進和數(shù)據(jù)閉環(huán)成為技術競爭更重要的勝負手，從而更好推動「Transformer+BEV」為主要架構的感知路線的落地，加速了城市場景高階輔助駕駛的落地，為進化到端到端自動駕駛提供可能。

而提出 3.0 時代概念的毫末智行，則通過量產(chǎn)輔助駕駛的規(guī)模化落地，提早布局數(shù)據(jù)智能閉環(huán)體系，大力投入建設云端智算中心，為適應自動駕駛 3.0 時代的技術趨勢，做好了充足的準備。

02 3.0 時代，毫末構筑的大模型、大數(shù)據(jù)、大算力技術范式

2021 年，特斯拉率先將 Transformer 架構引入自動駕駛系統(tǒng)當中，并在其當年的 AI Day 上公布了基于 Transformer 模型的「純視覺」BEV 感知方案，同時也公布了其以數(shù)據(jù)驅(qū)動 AI 算法進化的數(shù)據(jù)閉環(huán)體系，使其成為自動駕駛 3.0 時代的典型玩家。

同一時期，剛剛成立不到兩年的毫末智行，也已經(jīng)注意到 Transformer 架構在視覺領域的最新成果，認識到 Transformer 架構在自動駕駛的場景中在未來極有可能替代原有的 CNN 算法架構，成為視覺任務的主流神經(jīng)網(wǎng)絡范式。

在當時的感知方案中，毫末智行設計了可進行車道線識別的 BEV Transformer，就是在得到視覺數(shù)據(jù)后，使用 Resnet+FPN 對 2D 圖像進行處理，形成 BEV Mapping，再通過多個 Cross Attention 機制訓練，最終組成一個完整的 BEV 空間。

與純視覺方案不同的是，毫末的方案采用了視覺+激光雷達的多模態(tài)感知，BEV 投射與 Lidar 模型融合，再結合 BEV 的時序特征，進一步提升識別的準確率和連續(xù)性。

隨著對 Transformer 架構能力的不斷深入應用，毫末構建起不依賴高精地圖而更多依靠激光雷達+視覺的重感知方案，從而構建起更強能力的時空感知的 BEV 空間，完成更準確的車道線輸出和一般障礙物的識別。

當 Transformer 架構的不斷擴大和參數(shù)規(guī)模的增長，以及所要處理的感知數(shù)據(jù)規(guī)模快速增長，帶來了對于云端計算平臺能力的緊迫需求。

為此，經(jīng)過一年左右的籌備，毫末在 2023 年初推出了自動駕駛行業(yè)首個智算中心雪湖·綠洲（MANA OASIS），AI 算力規(guī)模達到 67 億億次每秒浮點運算，成為當時最大 AI 算力的自動駕駛智算中心。

基于 Transformer 架構，毫末在感知技術上探索建立了多個感知大模型。

比如，針對自動駕駛數(shù)據(jù)標注的視覺自監(jiān)督大模型，可以從圖片數(shù)據(jù)過渡到 4D Clips 視頻數(shù)據(jù)形態(tài)，對海量 Clips 數(shù)據(jù)進行預訓練，再通過少量人工標注 clips 數(shù)據(jù)進行 Finetune，訓練出檢測跟蹤模型，從而使得模型具備自動標注能力，然后就可以實現(xiàn)對大量單幀未標注數(shù)據(jù)向 Clips 標注數(shù)據(jù)的自動轉化，從而節(jié)省了 98% 的人工標注成本。

再比如，在場景重建和仿真能力上，毫末將 NeRF 技術應用在自動駕駛場景重建和仿真能力中，構建的 3D 重建大模型可以通過改變視角、光照、紋理材質(zhì)的方法，生成高真實感數(shù)據(jù)，從而可以低成本構造大量自動駕駛的 Corner case。

還有構建了多模態(tài)互監(jiān)督大模型，引入了激光雷達作為視覺監(jiān)督信號，直接使用視頻數(shù)據(jù)來推理場景的通用結構表達，可以完成城市多種異形障礙物等通用障礙物的識別。

此外還構建了動態(tài)環(huán)境大模型，即在 BEV 的 feature map 基礎上，以標精地圖作為引導信息，使用自回歸編解碼網(wǎng)絡，將 BEV 特征解碼為結構化的拓撲點序列，實現(xiàn)車道拓撲預測，讓車端感知能力，能像人類一樣在標準地圖的導航提示下，就可以實現(xiàn)對道路拓撲結構的實時推斷。

這些感知大模型仍然是以不同感知任務的方式來進行訓練，而很快毫末意識到應該采用一個更為通用的感知大模型，將多個下游任務集中到一起，形成一個更為基礎的預訓練大模型的架構，將道路場景環(huán)境的三維結構、速度場和紋理分布融合到同一個訓練目標里進行訓練，適配所有主流視覺感知任務。

在認知決策場景，毫末率先采用類似 ChatGPT 生成式預訓練大模型的實現(xiàn)方式，對自動駕駛認知決策模型進行持續(xù)優(yōu)化。為此，毫末構建起人駕自監(jiān)督大模型，探索使用大量人駕數(shù)據(jù)，去訓練模型做出擬人化的駕駛決策。為了讓模型能夠?qū)W習到人類司機的優(yōu)秀的駕駛策略。

在此基礎上，毫末通過引入駕駛數(shù)據(jù)，使用 RLHF（人類反饋強化學習）技術，推出了自動駕駛生成式大模型 DriveGPT（雪湖·海若）。

其中，DriveGPT 模型參數(shù)規(guī)模達到 1200 億，在預訓練階段引入數(shù)千萬公里量產(chǎn)車駕駛數(shù)據(jù)，在 RLHF 階段引入數(shù)萬段人工精選的困難場景接管 Clips 數(shù)據(jù)，從而保證大模型在預訓練階段以及 RLHF 階段的數(shù)據(jù)量規(guī)模和數(shù)據(jù)的泛化性能。

基于生成式預訓練大模型所建立的技術范式，毫末很快將 DriveGPT 大模型進行了進一步的升級，也就是圍繞通用感知、通用認知能力，建立起一個統(tǒng)一的大模型，探索端到端自動駕駛的技術新范式。

在感知階段，DriveGPT 通過構建通用感知大模型來實現(xiàn)對真實物理世界的學習，并通過與 NeRF 技術整合，將真實世界建模到三維空間，再加上時序形成 4D 向量空間。 

在構建對真實物理世界的 4D 感知基礎上，毫末進一步引入開源的圖文多模態(tài)大模型，實現(xiàn) 4D 向量空間到語義空間的對齊，實現(xiàn)跟人類一樣的「識別萬物」的能力。

在認知階段，基于通用感知大模型構建的「識別萬物」能力的基礎上，DriveGPT 通過構建駕駛語言（Drive Language）來描述駕駛環(huán)境和駕駛意圖，再結合導航引導信息以及自車歷史動作，并借助外部大語言模型 LLM 的海量知識來輔助給出駕駛解釋和駕駛建議。

DriveGPT 的認知大模型借助大語言模型 LLM，將世界知識引入到駕駛策略中，使得自動駕駛認知決策獲得了人類社會的常識和推理能力，也就是具備世界知識，從而大幅度提升自動駕駛策略的可解釋性和泛化性。

毫末智行 CEO 顧維灝在 AI DAY 上對這一通用的自動駕駛大模型有一段精辟的論述：

「未來的自動駕駛系統(tǒng)一定跟人類駕駛員一樣，不但具備對三維空間的精確感知測量能力，而且能夠像人類一樣理解萬物之間的聯(lián)系、事件發(fā)生的邏輯和背后的常識，并且能基于這些人類社會的經(jīng)驗來做出更好的駕駛策略?！?/span>

03 新范式邁向 3.0 時代

總體來看，自動駕駛 3.0 時代的技術升級不再是簡單的算法的疊加，不是傳感器的堆料，也不是場景的簡單復制，而是自動駕駛技術方式的重構，也就是以數(shù)據(jù)驅(qū)動和大模型的方式重塑自動駕駛的技術路線。

顧維灝也給出了 3.0 時代的技術架構的技術演進模式：

當前先是在云端實現(xiàn)感知大模型、認知大模型的能力突破，并將車端各類小模型逐步統(tǒng)一到感知模型和認知模型，同時將控制模塊也模型化。

下一階段，車端智駕系統(tǒng)的演進路線一方面是會逐步全鏈路模型化，另一方面是逐步大模型化，即小模型逐漸統(tǒng)一到大模型內(nèi)。云端大模型也可以通過剪枝、蒸餾等方式逐步提升車端的感知能力。最終階段，在未來車端、云端都是端到端的自動駕駛大模型。

可以預計，伴隨自動駕駛 3.0 時代技術變革同時到來的趨勢，量產(chǎn)智能駕駛開始走向城市場景。

而隨著量產(chǎn)輔助駕駛乘用車的大規(guī)模上路，又會快速積累開放道路環(huán)境下的海量數(shù)據(jù)以及人駕接管數(shù)據(jù)，會帶來類型豐富的真是場景數(shù)據(jù)。

這將真正實現(xiàn)以數(shù)據(jù)驅(qū)動的方式，推動自動駕駛技術發(fā)生質(zhì)的飛躍，最終在 3.0 時代抵達完全自動駕駛這一應許之地。

返回第一電動網(wǎng)首頁 >