申請技術丨商湯絕影UniAD端到端自動駕駛解決方案 和 多模態場景大腦

申報領域丨大數據及人工智能

獨特優勢：

UniAD的獨特優勢： 2022年底，商湯及聯合實驗室就提出了行業首個感知決策一體自動駕駛通用模型UniAD，首次將檢測、跟蹤、建圖、軌跡預測，占據柵格預測以及規劃等模塊整合到一個基于Transformer的端到端網絡框架之下。 2023年，得益于行業領先的性能表現，《Planning-oriented Autonomous Driving (UniAD)》(以路徑規劃為導向的自動駕駛)榮獲2023年國際計算機視覺與模式識別會議(CVPR) 最佳論文，掀起了端到端自動駕駛的研發熱潮。 2024年4月25日，商湯絕影面向量產的真·端到端自動駕駛解決方案UniAD在北京車展上完成上車演示首秀，率先實現中國端到端自動駕駛從技術創新到車端部署的關鍵突破。 多模態場景大腦的獨特優勢： 算力是AGI時代最重要的基礎設施和競爭的關鍵，商湯前瞻布局打造商湯大裝置，目前總算力規模高達12000 petaFLOPS，可為絕影多模態場景大腦的高效迭代提供強大算力支撐。 在模型能力上，4月23日，商湯科技發布全新升級的“日日新SenseNova 5.0”大模型。6000億參數的“日日新5.0”采用混合專家架構(MOE)，具備更強的知識、數學、推理及代碼能力，成為國內首個全面對標甚至超越GPT-4 Turbo的大模型，多模態能力領先GPT-4V，尤其是在OpenCompass（多模態綜合榜單）位列第一。在多模態大模型的基礎能力上，商湯絕影在智能汽車行業保持領先。 商湯具備強大的端側模型能力，基于端云結合的架構，商湯端側大模型大幅超越同量級大模型，越級比肩7B、13B大模型，更適合車端部署。多模態大模型的車端布局和應用，商湯絕影也領先業界。 此外，以多模態場景大腦為核心，商湯絕影還能提供更多基于汽車場景的AI大模型座艙產品。以商湯“大醫”醫療健康大模型為橋梁的“旅醫”，讓用戶在座艙內就可以獲得專業及個性化的健康管理服務，讓出行更安心。基于AIGC大模型技術的“神筆”，可以把用戶簡單的繪畫線條轉變成具有美感的藝術作品，增添駕乘樂趣。

應用場景：

UniAD的應用場景：2024年，城區NOA落地成為中國自動駕駛行業的主戰場。然而隨著智駕的落地場景從高速進入城區，道路環境的復雜度急劇提高，基于規則的傳統智駕方案只能通過增加一行又一行的代碼來解決不斷出現的長尾問題(corner case)。但有限的規則難以完全覆蓋無限的駕駛場景和道路狀況， 另一方面，為了在智駕領域不落后于同行，車企們都在不斷增加智駕方案的開城數量為就需要鋪設更多的人力、書寫更多行代碼，投入大量資源，成本高昂。 基于規則的傳統智駕方案的天花板已經出現，想要以更低的成本落地更多更復雜的場景，進而實現全國都能開，必須依靠新一代自動駕駛技術方案——以商湯絕影UniAD為代表的端到端自動駕駛。 目前，搭載UniAD智駕方案的實車無需高精地圖、依靠純視覺感知已經能夠自如應對復雜的城區道路，甚至可以流暢、安全地行駛在無標線的鄉村道路上。 多模態場景大腦的應用場景： 基于地理位置推薦符合用戶喜好的餐廳、介紹用戶感興趣的外部自然景物，并進行優質景點推薦是絕影AI大模型座艙產品的基礎功能。憑借強大的多模態感知能力，搭載商湯絕影方案的車輛能準確感知車外信息，包括周圍車輛的車型、標志性建筑物等，以語音、圖片或視頻等方式為艙內人員提供更為準確和全面的內容，幫助用戶了解和掌握外部環境信息。 大模型上車的能力不止于此。根據對于用戶行程安排和實時交通數據的精準分析，結合用戶的表情和語氣，商湯絕影“場景大腦”能夠及時發現駕駛員可能面臨的遲到風險，并提供兩條可選路線與預計抵達時間，用戶可通過手勢或語音命令進行確認。同時，在得到確認后，系統還可以根據用戶的表達習慣向相關會議參與者發送通知，告知相關情況，為用戶提供專業高效、溫暖貼心的智能出行體驗。 “旅醫”這個健康管理的大模型產品，它是以“大醫”醫療健康大模型為橋梁，聯結健康檢測及醫療生態服務，首次在座艙內對用戶進行專業及個性化健康管理服務，實現健康咨詢、在線掛號、檢測、報告解讀、用藥咨詢、健康科普等一系列服務。 這個功能對于懷孕的用戶來說特別友好，當感知車內有孕婦時，“旅醫”會主動感知和詢問孕婦健康狀態，當判斷需要產檢或者其他醫療援助時，會主動推薦相應的醫療機構，征得用戶同意后，協助完成掛號等一系列操作。 近期小米SU7的上市與交付備受關注，商湯“日日新”大模型體系全面助力小愛語音助手車載場景應用，為用戶提供智能座艙的升維體驗。

未來前景：

UniAD的未來場景：隨著端到端方案的推廣，自動駕駛技術的開發和落地將從現階段鋪設大量人力、增加代碼行數的傳統方式轉變為依靠持續算力投入和高質量數據輸入的全新模式。 擁有更高能力上限、更快迭代效率、更低系統成本的感知決策一體大模型UniAD作為真·端到端技術方案，引領智駕技術路線的演進。 在UniAD的基礎上，商湯絕影正在研發面向下一代自動駕駛技術——DriveAGI，它是基于多模態大模型對端到端智駕方案進行改進研發。 DriveAGI是自動駕駛大模型從數據驅動向認知驅動進化，超越司機的概念，更像人一樣理解整個世界，具備更強的推理能力、決策能力以及交互能力，是目前看來自動駕駛中最貼近人類思維模式、最能理解人類意圖并有最強解決駕駛困難場景能力的技術方案。 即便在0樣本的情況下，DriveAGI也可以針對不同道路環境或交通狀況并做出精準決策，假如在路上遇到救護車，它可以自動避讓。或者在綠燈情況下，同時有交警在路口指揮交通，DriveAGI能夠理解交警的手勢并且將這類信息的優先級提高到紅綠燈等道路信息之上。 通過打造DriveAGI，商湯絕影將實現由認知驅動的自動駕駛，智駕方案的適用場景更寬、性能更高、門檻更低，向著完全無人駕駛邁出重要一步。 此外，DriveAGI基于多模態大模型打造，具有強大的交互能力，在體驗上進一步做到可感知、可交互、可信賴。例如，在自動駕駛的狀態下，導航信息顯示車輛需要在下一個路口調頭才能到達目的地，但主駕位上的用戶知道可以提前在一個缺口直接拐彎，用戶可以語音命令它“直接左拐”，系統會根據實時路況對命令進行反饋操作。 商湯絕影正在打破智能座艙和智能駕駛兩者的界限，推動艙駕一體的架構變革，加速智能汽車駛入AGI全新未來。 多模態場景大腦的未來前景： 絕影已經和一家國內領先的新勢力車企深度合作，多模態大模型部署上車，將讓智能汽車全方位感知并理解車外路況、天氣等環境數據和艙內所有駕乘人員的對話、表情及用戶畫像等各類信息，針對性地提供更多主動關懷、深度個性化的產品和服務。 面向通用人工智能的未來，商湯絕影還在進一步探索艙駕融合，以實現智能駕駛和智能座艙在硬件、軟件及應用層面的全面融合，提升用戶體驗、降低系統成本，進一步打破艙內外的界限和束縛，涌現更多創新功能，讓智能汽車向著超級智能體進化。

金輯獎介紹：

“金輯獎”由蓋世汽車發起，旨在“發現好公司，推廣好技術，成就汽車人”， 并圍繞著“中國汽車新供應鏈百強”這個主題進行展開，本屆金輯獎重點聚焦智能駕駛、智能座艙、智能底盤、汽車軟件、車規級芯片、大數據及人工智能、動力總成及充換電、熱管理、車身及內外飾、新材料十大細分板塊，進行優秀企業及先進技術解決方案的評選，向行業內外展示這些優秀的企業和行業領軍人物，共同推動行業的發展和進步。

返回第一電動網首頁 >