如今，智能化程度越來越能夠決定一臺車的價格和熱銷程度，智能化已經是汽車行業的核心趨勢。相關數據顯示，2022年L2級智能駕駛滲透率已提升至38%，預計到2025年滲透率會超過60%，且隨著利好政策的相繼出臺，以及主流車企的陸續發力，智能駕駛正由L2向L3甚至更高階的L4跨越。

2022年11月2日，工信部會同公安部公開《關于開展智能網聯汽車準入和上路通行試點工作的通知》征求意見稿，《通知》特別提到智能網聯汽車搭載的自動駕駛功能是指國家標準《汽車駕駛自動化分級》（GB/T40429-2-21）定義的３級駕駛自動化（有條件自動駕駛）和４級駕駛自動化（高度自動駕駛）功能（也就是我們常說的L3與L4），《通知》將加速我國L3/L4自動駕駛的落地速度。

與此同時，國際車企也在爭先恐后推進相關進程，德國奔馳今年２月在美國加州開了一場110分鐘的發布會，主題便是“L4自動駕駛，2024年見！”

可以預見的是，自動駕駛即將加速向更高級別邁進。而聚焦當下，車企以及技術供應商們面臨的更關鍵問題是，如何邁過L3/L4的相關技術門檻？

感知系統是關鍵一環，4D毫米波雷達備受青睞

在汽車智能化發展過程中，感知系統是至關重要的一環，自動駕駛系統需要全天候、全覆蓋、全目標、全工況的感知。尤其L2及以上的智能駕駛，必須構建多個感知維度的目標及環境探測系統，有效融合各種傳感器的優勢，為車輛的規劃控制提供準確有效的信息。

而在多傳感器的感知維度里，視覺與毫米波雷達通常被認為是不可或缺的兩種傳感器，它們之間的感知優勢互補性非常強，合理搭配“1+1>2”的效果非常明顯。

要知道，即便是此前一直堅持純視覺路線的特斯拉，也被爆在其最新的自動駕駛硬件HW4.0中加回了毫米波雷達，而且是高分辨率的4D毫米波雷達。

事實上，在此之前，4D毫米波雷達市場關注度便已不斷上升。

究其原因，4D毫米波成像雷達，可檢測物體的方位、距離、速度、高度等數據。同時，4D成像毫米波雷達具有像素級的角分辨率，可以分辨目標物體的輪廓，經過深度學習，4D雷達還可以區分行人、自行車、汽車、卡車等不同目標。4D成像雷達可以實現多傳感器的前融合和點云融合，從而降低漏檢率、誤報率等。

而值得注意的是，隨著毫米波雷達系統射頻收發通道數的增多，傳統的處理器無法滿足毫米波雷達系統大吞吐量數據的計算需求，因此迫切需要設計符合大陣列大吞吐量的雷達專用處理器芯片，近年來海外多家公司都在設計相關的雷達專用處理器。

作為一家在上海張江“中國硅谷”成立的提供智能感知芯片及系統解決方案的半導體設計公司，上海昱感微電子科技有限公司（以下簡稱“昱感微”）也是該領域的重要玩家之一。

資料顯示，昱感微的核心員工全部來自全球頂尖的半導體企業，公司成立不久就獲得張江人才港“最具潛力的海歸創業團隊”大獎。該公司定位在“感知智能”領域，產品目標是幫助客戶“多維度高效獲取物理世界信息”，為客戶提供全球領先的感知技術。

據悉，昱感微電子目前正在研發的4D成像毫米波雷達處理器芯片支持多片射頻前端MMIC（四片級聯: 16發16收信號通道）高性能4D毫米波感知，或分布式集總架構；其中完全自主知識產權雷達信號處理單元（硬件加速器）信號處理能力強，能耗比高，簡化客戶開發。

具體來看，其產品特點包括：模塊化高度可擴展架構，高效L1/L2/DDR 數據流，兼容CPLX/REAL計算引擎；通用DDMA以及超分辨硬加速，支持檢測/DOA交互式先進算法，32bit 高SNR FFT算子，軟件定義LRR/MRR/SRR；獨創的BIG.little多線程架構，支持實時低延遲感知。　

按照昱感微的說法，其4D成像毫米波雷達處理器芯片，可以協助客戶降低成本，降低功耗，同時產品的４D雷達點云密度更高，反應更快，探測距離更遠。

還有非常重要的一點是：由于４D毫米波成像雷達目前發展非常快，各種先進的算法都正在引入４D成像雷達產品中，對于雷達處理器芯片而言，芯片的架構就必須要能夠支持到客戶軟件差異化實現的需求。針對此，昱感微在其4D成像毫米波雷達處理器芯片的架構設計與實現上也是下足功夫，其雷達處理器芯片在硬件優化（硬件加速器／硬件算子）實現的同時還可保持軟件與算法的高度可擴展性，能夠支持客戶各種先進的雷達算法在芯片內的高效實現。

傳感器融合方式升級，智能感知芯片再進化

4D毫米波雷達的火熱，也帶出了“視覺＋毫米波雷達＂數據融合方式的新變化。正如前文所說，4D成像雷達可以實現多傳感器的前融合。

據悉，特斯拉新發布的HW4.0，并非簡單地把雷達傳感器加了回來，特斯拉也同時改進了攝像頭與毫米波雷達的數據融合方式，由以前發生問題的“傳感器后融合”方式進化到“傳感器混合式融合”架構。這個系統架構的改進也是特斯拉把毫米波雷達重新加回到系統的另一個原因。

而即便拋開特斯拉的方案不談，此前業界對于多傳感器融合的方式也已有預測：隨著各種傳感器感知性能的提升，多傳感器融合的方式會從簡單的結果比對“傳感器后融合”方式向“傳感器混合式融合”以及“傳感器前融合”演進，最終都會進化到“傳感器前融合”架構。

只不過，要實現這樣的演進并不簡單。據了解，“傳感器前融合”的感知系統，系統不光要對不同傳感器感知信號處理過程做交叉互動來提高有效信息的獲取量以及提取質量，系統還要在各傳感器捕獲目標原始數據的過程就開始互動，系統需要準確地針對感知目標來獲取對應的有效信息，這也是AI系統里常常提到的“智能感知“。

昱感微第一代芯片的第二款產品-多傳感器多維像素融合感知芯片，就是針對多傳感器前融合的客戶需求而設計的，其芯片及系統的架構示意圖如下：

據企業官方資料，這一多傳感器多維像素融合感知芯片在4D成像毫米波雷達處理器芯片基礎上又增加了以下部分：１）對來自攝像頭的圖像數據做處理的視覺處理子系統（包含支持攝像頭傳感器的特定曝光控制等功能）；２）對多種傳感器的目標捕獲信息做交互數據挖掘以提高目標探測精準度的交互數據處理系統；３）對多傳感器感知數據做高效數據組合并輸出的多維像素生成系統。

據稱，昱感微的多傳感器多維像素融合感知芯片可以幫助客戶實現多傳感器原始數據的融合（傳感器前融合），對目標和環境的感知可以在傳感器系統的邊緣側就能挖掘出更多的信息，數據維度更多，目標探測更精準。

目前行業通用的認知是，多種傳感器做感知融合時至少包含有攝像頭與毫米波雷達。而當其中一種或多種傳感器探測到潛在目標時，昱感微的多傳感器多維像素融合感知芯片可以實時地對部分或全部其余傳感器的探測參數進行互動實時調整。

具體來看，其可對攝像頭的像素級的探測參數進行互動實時調整，互動實時調整中的探測參數包括：曝光區域、曝光時間、對焦距離、圖像傳感器的信號增益、圖像傳感器的靈敏度、圖像傳感器的信噪比、色彩濾波陣列中的任意一種或多種；對雷達的發射和/或接收信號的探測參數或探測數據的篩選進行互動實時調整，互動實時調整中的探測參數包括：捕獲視角、目標信號的檢測提取參數、信號波形及調制方式、信號頻率、信號強度、信號幀率、信號帶寬、速度譜中的任意一種或多種，等等；然后芯片再將多種傳感器探測到的數據處理好后同步實時輸出。

舉例來說，當雷達子系統探測到潛在目標時，芯片內運行的軟件立刻實時地對攝像頭的曝光控制區域進行調整，使其針對目標檢測子區域（有運動目標的子區域）進行快速局部曝光，然后對同一時間段內采集的多幅目標檢測子區域圖像做圖像疊加的寬動態處理，融合產生完整的超寬動態圖像實時輸出。這樣，即使在車輛夜間行駛的過程中遇到對面相向而行的車輛開著遠光燈干擾本車攝像頭系統的挑戰場景下，昱感微的多傳感器多維像素融合感知芯片仍然可以引導本車的攝像頭針對運動目標(可能是在當前圖像嚴重欠曝區域內正在橫穿馬路的騎車人－非常危險的情況)做快速局部曝光來實時獲取運動目標的分辨細節特征，這樣的處理就可以防止自動駕駛控制系統出現漏檢而撞擊目標的情況發生。

昱感微的多傳感器多維像素融合感知芯片將多傳感器感知數據做高效數據組合并輸出的多維像素的數據格式。

對傳感器融合系統而言，各傳感器感知數據的“坐標統一，時序對齊”是必須的，同時系統還要做到“數據同質”，并且能夠突出“事件感知”（做好針對目標的探測而非籠統的背景探測，同時需要具備對事件是否會發生的預測數據 - 車輛自駕系統對道路上妨礙行駛的障礙物之相對距離與速度的精準探測）。

多傳感器組合的探測域空間映射關系示意圖

昱感微的多傳感器融合處理器芯片把多傳感器的目標探測數據用“多維度測量參數”矩陣數組（簡稱為“多維像素”）的形式組合在一起，建立以攝像頭像素為顆粒度的立體多維深度感知；像素除了其原本包含的亮度與顏色信息，還增加了多個維度，如相對距離、相對運動速度、目標的雷達散射截面RCS數據以及目標的熱輻射溫度分布等數據，目標檢測算法基于多維像素矩陣結構，可充分利用信息的融合做深度環境感知。

“多維度測量參數”矩陣數組結構示意圖

多維像素這樣的數據結構是非常高效的感知信息數據組合方式，不僅直接體現了：坐標統一，時序對齊，數據同質，由于多維像素包含了目標及環境的多個物理維度探測的實時信息（目標的距離、相對速度等信息）,它也能夠很好地突出：“事件感知”的能力，包含能夠預測事件發生的能力；同時，多維像素數據來自多種（不同種類的）傳感器的感知數據組合，多維像素數據本身就包含了：異構冗余、多重校驗，交互感知，超維耦合，感存一體。這些是都是我們對高效可靠的傳感器感知系統的必須要求（滿足高質量自動駕駛的必要條件）。

多傳感器多維像素組合可以包含的目標與環境感知信息量非常大。舉例來說，把視覺圖像與毫米波無線檢測信號直接對接組合，由于毫米波無線探測在毫米波（77Ghz對應４mm的無線電波波長），無線電波是有繞射及多徑穿透能力的，這樣的“圖像＋毫米波”組合的多維像素，在前面有一輛車的探測場景下，在前車這個“多維像素宏塊”上可以再包含前前車（被前面這輛車擋住攝像頭視野的再前面的一輛車）的存在（有距離、相對速度、RCS）信息，以及可以感知前前一輛車的突發急剎車事件，系統可以預防這樣的事故發生！

昱感微指出，多傳感器多維像素的組合，就像是我們人對目標與環境的感知，我們以人眼視覺為主體，同時我們每個人都有天然的“腦機接口”，我們會在視覺的基礎上把其它感覺（聽覺，嗅覺…）都組合在視覺圖像里，然后希望具備第六感（預感事件的發生）。昱感微電子的多傳感器多維像素融合感知芯片也希望可以助力到AI感知系統相同的功能。

多維像素是在以圖像像素為基礎的模型上再增加了其它維度（目標的距離、速度等）感知信息，多維像素使得目前的AI處理器都可以復用已有的圖像數據集，免除新產品的訓練數據需要全部重新采集的困擾，對于目前流行的神經網絡框架只需要做很小的修改就可直接適配昱感微電子的芯片輸出的“多維像素”，而且神經網絡的訓練收斂效率以及目標識別準確率都會因為使用了多維像素而有效提升。多維像素的產品落地非常直接簡單，不會是因為新的數據結構而給應用推廣產品化帶來困擾。

特斯拉目前在感知方面的一個重點技術是Occupancy Network (占據網絡)。研究機器人技術的同學肯定對occupancy grid不會陌生，occupancy grid表示空間中每個3D體素（voxel）是否被占據，可以是0/1二元表示，也可以是[0, 1]之間的一個概率值。

為什么估計occupancy對自動駕駛感知很重要呢？因為在行駛中，除了常見障礙物如車輛、行人，我們可以通過3D物體檢測的方式來估計他們的位置和大小，還有更多長尾的障礙物也會對行駛產生重要影響。例如：1.可變形的障礙物，如兩節的掛車，不適合用3D bounding box來表示；2.異形障礙物，如翻倒的車輛，3D姿態估計會失效；3.不在已知類別中的障礙物，如路上的石子、垃圾等，無法進行分類。大家都希望能找到更好的表達來描述這些長尾障礙物，完整估計3D空間中每一個位置的占據情況（occupancy），還要包含語義（semantics）和運動狀態（flow）信息。特斯拉希望利用基于“視覺”的占用網絡算法, 將感知空間劃分為一個個立體網格，通過檢測網格是否被占用，實現對物體體積的測算-包括探測到讓全世界智能駕駛團隊頭疼的各類異形物體。

在昱感微看來，真正的自動駕駛面臨的道路狀況千變萬化，自動駕駛要求開發者回到智能的“第一性原理”——從感知和決策的角度先感知周圍環境，再根據感知預測其他車輛的運行軌跡，作出自動駕駛車輛的行為規劃和決策，完成系統級開發。

“如果自動駕駛系統的算法完全基于深度學習（Deep Learning），就無法解決這種深度神經網絡可能帶來的‘黑盒’問題：即無法確定系統是根據什么作出決策的－它自己也不知道，因此就無法實現人為預先干預；這樣的自動駕駛系統是無法支撐L3及以上的自動駕駛要求的，一臺車在地球上可能遭遇的駕駛場景永遠會比一個系統接受訓練時的數據更豐富，以深度學習為底層算法的系統如何應對復雜長尾場景是讓人擔心的。”

而昱感微的多傳感器多維像素融合感知芯片的“多維像素”數據輸出直接具備了目標與環境在３維立體空間所處的物理維度探測信息－感知周圍環境與目標的各維度所需物理量，直接提供給系統做高效和精準的決策與執行，避免系統仍需借助大算力“推演”出目標感知數據再做決策執行的潛在問題。

總而言之，昱感微所研發的全新一代智能感知芯片將助力車企跨越L3/L4級智能駕駛感知技術門檻。

返回第一電動網首頁 >