国产迷奸一区,国产小仙女视频一区二区,国产精品无码久久久久成人app,久久精品成人一区二区三区,97精品 ,天天干天天骚天天色,亚洲精品中文字幕不卡一区二区,www.szjiaye.cn,亚洲欧美v国产一区二区三区

  1. 首頁
  2. 大牛說
  3. 端到端時代,智駕地圖有望重回舞臺中央

端到端時代,智駕地圖有望重回舞臺中央

圓周智行

2022年下半年,智駕行業開始彌漫一股去高精地圖的趨勢;2023年,隨著彼時還是華為車BU CEO的余承東振臂一呼,業內去高精地圖的呼聲達到高潮。時至今日,“無圖NOA,全國都能開”的宣傳口號已經成為車企們的通用詞匯,高精地圖早已被人們遺忘在角落。

尤其這兩年軟硬件技術的雙向提升也讓業內在“去高精地圖”上有了更多底氣。

首先是網絡模型提取特征能力提升。相比于基于規則和小模型的智駕方案,智駕進入BEV+Transformer+OCC和端到端階段,智駕方案的環境感知和運動規劃能力都得到提升;

其次,目前的智駕傳感器方案至少采用6V+方案,相比傳統的單目方案擁有更大的信息輸入量,并且比多目后融合的精度更高,錯誤更少,感知能力明顯提升。

此外,端到端大模型的實時運行能力提升了系統效率,地平線征程6等高算力芯片可以提供更多的算力和算子支持。系統的承載和表達能力更強了,也就無形中提高了它的上限能力。

這些都加速了行業“去高精地圖”的步伐。

0486b5d5ed33c1b5734ab162e522688f.PNG

端到端帶來的“假象”

端到端技術到來讓業內“去高精地圖”的底氣達到高潮。2023年,小鵬汽車率先提出“全國都能開,有路就能開”的口號。隨后,華為也迅速跟進,提出只要有導航地圖的地方都能開。今天,幾乎所有頭部車企在宣傳標語上都實現了“全國都能開”。

2023年下半年,華為高階智駕在鄉間小道絲滑穿行的小視頻在網絡瘋傳。彼時端到端能力已經在發揮作用,無圖智駕能力得到落地驗證。這也讓車企們堅信,脫離高精地圖,智駕的表現更加得心應手。

何小鵬甚至激進地表示,未來不上端到端和大模型的車企將會很快出局。《圓周智行》粗略統計,截至目前,已經有超過20+頭部車企和智駕公司布局端到端方案。

253449248bf4d7c6f762ba0f1a93c4fc.PNG

然而,端到端極高的上限能力幾乎“騙了”所有人,讓大家很容易忽視其下限也低的既定事實。

仔細分析會發現,事情并沒有表面看到的那么簡單。自動駕駛技術的本質是“輸入信息的有效性+模型特征提取的高效性。”

前者由傳感器數量和模態決定。端到端網絡結構下,特征提取能力由訓練數據的質量和數據場景覆蓋決定。但傳感器實時探測數據,具有探測距離、分辨率、動態范圍等性能約束,及光照、擁堵、遮擋及信號丟失等場景約束。這就很難保證實時感知信息的準確性。

智駕系統一般是先在云端離線訓練模型,然后再下放到車端。但是在智駕車放量數據回傳接管場景前,離線模型學習到的都是大量的常規數據,異常場景所需要的先驗信息少。

如果要大批量量產,又有不同城市規則及更多復雜場景的大量場景需要模型覆蓋。

離線訓練數據,實時感知與復雜場景數據都無法保證。這就使得端到端的上限提升的同時,下限也更低了。

而上文提到的無圖智駕能力就是一個典型的“假象”。鄉間小道屬于低速,小范圍,拓撲簡單場景。這些場景下,OCC很容易構建出精確的3D語義空間,同時簡單車道及路網的軌跡預測更準確,加上被限定在局部小范圍,他車軌跡干擾小,路徑規劃就相對簡單。不僅如此,低速進一步降低了系統延遲,帶來更好的路徑規劃時空精度,有點像靜態泊車場景。看起來好像解決了無圖帶來的精度問題,一旦場景復雜度提升,速度提升,無圖端到端的表現就需要重新評估。

換言之,低速場景的表現并不能作為車企脫離高精地圖能夠實現更好智駕的佐證。

端到端需要行業重新評估智駕地圖的價值

喧鬧之下,Momenta創始人曹旭東,地平線創始人余凱都曾對行業發出過警惕,端到端上限高,但下限也低,尤其one model屬于一體化端到端架構,屬于典型的黑盒方案,具有不可解釋性,在安全上存在極大的漏洞。

我們先來看這樣一個事實,即便在端到端技術架構下,頭部車企的智駕產品今天依然面臨很多問題,包括但不限于“進出環島與連續變道、環島識別成丁字路口錯誤降速、中間車道異常掉頭、轉彎時壓線侵入非機動車道、掉頭時路線選擇錯誤侵入導流區進入對向車道逆行、左轉紅燈未識別或無車道級拓撲闖燈掉頭、出隧道后多種類型道路的匯出場景走錯道路”。

根本原因在于,這些場景都是采用SD地圖與BEV感知融合來呈現道路規則和拓撲關系,無法實現準確的感知推理。需要具有時空屬性的先驗信息給予支撐,端到端無法依靠有限的離線訓練能力推算出來這些東西。同時,這也需要模型具有極強的泛化能力,而模型訓練主要受制于離線訓練數據的質量和分布無法實現這些效果。

于是,朗歌科技副總經理李戰斌得出這樣一個結論,無圖端到端技術給車企帶來的是一種過渡性優勢,這種優勢會在25年上半年消退。而要繼續提升用戶的智駕體驗,具有車道級拓撲和屬性的智駕地圖高質量數據會成為競爭關鍵。

解題的關鍵就在于智駕地圖,智駕地圖擁有高質量的時空先驗信息,通過embedding(嵌入式)方式進入Transformer,增強端到端的感知預測能力。它可以向大模型輸入實例化的場景提示信息,感知得到地圖的時空實例化的注意力增強,實時增強模型輸出更為準確和全局最優的智駕規控信息。

智駕地圖不僅可以作為真值離線訓練模型,也可以作為仿真地圖,生成4D訓練樣本,更可以作為前融合的時空先驗知識,提升端到端的在線推理能力。智駕地圖作為先驗知識輸入Transformer后,通過embedding,地圖數據方式以Q,K,V輸入到Cross attention(交叉注意力),作為一種模態,通過attention來增強端到端自動駕駛的感知、規控及安全兜底網絡或策略。

按照歷史的經驗回溯,更能清楚地發現其中存在的問題。為了提升智駕體驗,整個行業經歷了兩次大的算法升維。

第一次是從單目感知與多模塊的規則化到分階段的模型化,實現了經驗驅動到海量數據驅動的模型開發范式的變化,引入了大量的先驗數據學習,及多目BEV與OCC的出現,實時感知信息量也增大;這個階段大概是在2023年以前。簡單說來,就是最早期的rule-based到后來的數據驅動。

接下來就是2023年開啟的分段式模塊化到漸進式端到端及雙系統范式,系統一采用一體化模型,主要信息來源是BEV特征的時序化及anchor(錨點)實例的初始化輸入,系統2更多的在于復雜場景的領航引導信息,相比系統一的效果明顯減弱。系統1的信息丟失率減少,上限得到提升。兩者都需要實時推理,這又回到了上文提到的問題,感知信息不準確對推理結果造成的影響。導致端到端的下限很低。

有意思的是,兩次技術革命的發起者都是特斯拉,然后國內車企迅速將這些技術推向高峰。

外界知道雙系統最早是理想汽車上半年首次提出來,但從效果上看,雙系統加持下,理想的智駕依然存在很多問題。

在整個行業進入大算力芯片和端到端/世界模型的背景下,如果傳感器輸入的信息不足,那么欠定/非線性情況凸顯,無效解大量增加,導致端到端的下限很低,再增大芯片算力與模型復雜度是無效浪費。這時候要做的就是提高輸入環境信息的有效性。智駕地圖就是不二之選。

然而,一個矛盾的問題擺在圖商們面前,傳統智駕方案在使用地圖時需要將逐個地圖元素通過規則開發的方式應用在路徑規劃等模塊中,而端到端最大的特點就是降低規則開發的訴求。

IMG_9147.PNG

這里我們來看看朗歌科技在實戰中找到的經驗。今年6月,CVPR 2024國際自動駕駛挑戰賽中,朗歌科技在無圖智駕賽道奪冠,擊敗來自10個國家和地區的120支隊伍,斬獲創新獎和全國冠軍獎。

傳統基于規則和小模型的后融合方式在使用智駕地圖時存在感知和地圖兩者分別錯誤或缺失時信誰的問題。而在端到端時期,智駕地圖可以以非監督信息嵌入,作為query,或者key與value,這兩種方式輸入。

我們先來看第一種,SD地圖特征作為key與value輸入。例如朗歌參賽的LG-map多模態方案,在有 SD 地圖的場景下,LGMap 沿著 SD 中的每個矢量均勻采樣固定數量的點,經過正弦位置編碼之后,使用 BEVFormer 的方式,將 bev query 分別對 SD 地圖特征和來自視覺輸入的特征做交叉注意力。SD地圖特征作為key和value向量,通過交叉注意力計算,和相機特征融合,得到最終的BEV特征。之所以這樣編碼,在于SD信息為道路信息,缺少車道級內容,作為檢索信息來增強感知更為合適。

第二種,智駕地圖特征作為初始化query輸入。輸入智駕輕地圖HQ,每個智駕地圖元素編碼成一個query,即query的值初始化為地圖元素的幾何位置和類別,與bev feature通過交叉注意力網絡來實現多模態信息的融合。這種“智駕地圖+智駕端到端前融合”輸入方式能夠帶來幾個明顯的好處:

1、將地圖先驗信息以非規則的模型化方式輸入到網絡中,與端到端模型降低規則開發的訴求一致;

2、基于地圖增強的query與BEV感知特征,端到端和漸進式端到端都獲得先驗知識的增強,提高模型下限和智駕用戶體驗;

3、更新后的query通過map decoder,輸出前融合后的局部更新地圖,通過數據閉環回傳,提升云端眾包建圖質量和效率,促進車云協同的周天智能體系飛輪的快速運轉。

IMG_9148.PNG

余凱和曹旭東都有一個基本共識,城市NOA會在3-5年內迎來大規模爆發,端到端是一個很好的抓手,但要保證智駕的安全和體驗有質的飛躍,行業需要重新評估智駕地圖的價值。

來源:第一電動網

作者:圓周智行

本文地址:http://m.155ck.com/kol/249124

返回第一電動網首頁 >

收藏
45
  • 分享到:
發表評論
新聞推薦
第一電動網官方微信

反饋和建議 在線回復

您的詢價信息
已經成功提交我們稍后會聯系您進行報價!

第一電動網
Hello world!
--> 主站蜘蛛池模板: 驻马店市| 嵩明县| 武宣县| 威宁| 中超| 铜山县| 乾安县| 资溪县| 青川县| 大邑县| 乐业县| 如皋市| 黔西| 华容县| 崇仁县| 弥勒县| 巴南区| 上虞市| 建水县| 古蔺县| 依安县| 绥中县| 马边| 乌拉特中旗| 类乌齐县| 乌兰察布市| 宁化县| 定兴县| 剑阁县| 葵青区| 临汾市| 渑池县| 平江县| 永川市| 芷江| 临潭县| 伊金霍洛旗| 蒙阴县| 茌平县| 灵石县| 黄骅市|