從單模態(tài)到多模態(tài)，大模型賽道正掀起新一輪技術(shù)軍備競(jìng)賽。

與過去基于單一類別數(shù)據(jù)進(jìn)行模型訓(xùn)練不同，所謂多模態(tài)大模型，能夠?qū)⒄Z(yǔ)音、文字、圖像、手勢(shì)、視頻等多種模態(tài)的數(shù)據(jù)進(jìn)行聯(lián)合訓(xùn)練和學(xué)習(xí)，從而充分捕捉不同模態(tài)之間的關(guān)聯(lián)和互補(bǔ)信息，實(shí)現(xiàn)更全面、準(zhǔn)確的分析和預(yù)測(cè)。

比如對(duì)于智能汽車而言，通過多模態(tài)大模型出色的分析、推理能力，不僅能實(shí)現(xiàn)更加安全、類人的智駕體驗(yàn)，還可以打造更加豐富且自然的人機(jī)交互體驗(yàn)。

近日，在WAIC 2024上，商湯絕影就展示了多款基于全新發(fā)布的商湯“日日新5.5”原生多模態(tài)大模型打造的智能駕駛和智能座艙產(chǎn)品，包括可解釋、可交互的自動(dòng)駕駛大模型DriveAGI，以及車載生成式交互界面“隨心界面”（FlexInterface）、“隨意操控”（AgentFlow）等，以多模態(tài)大模型為核心，驅(qū)動(dòng)智能汽車加速向真正的超級(jí)智能體進(jìn)化。

雙線布局，加速大模型上車

在多模態(tài)大模型與智能汽車深度融合方面，商湯絕影主要聚焦兩大應(yīng)用場(chǎng)景：智能駕駛和智能座艙。

其中在智能駕駛方面，早在2022年底，商湯絕影曾率先于業(yè)內(nèi)推出了首個(gè)感知決策一體化自動(dòng)駕駛通用模型UniAD，大幅提升智駕體驗(yàn)的連續(xù)性和舒適性。

不過，商湯絕影認(rèn)為，純粹的端到端自動(dòng)駕駛模型并非自動(dòng)駕駛的最終答案，進(jìn)一步具備對(duì)開放世界的感知、推理、決策及交互能力，將是智能汽車走向超級(jí)智能體的重要標(biāo)志。

圖片來源：商湯絕影

為此，在已有UniAD基礎(chǔ)上，商湯絕影基于多模態(tài)大模型進(jìn)一步打造了用于駕駛決策規(guī)劃的智駕大模型DriveAGI，增強(qiáng)端到端系統(tǒng)可解釋性的同時(shí)，讓車輛能夠更像人一樣理解復(fù)雜的現(xiàn)實(shí)世界，甚至向用戶解釋駕駛決策的推理過程。

根據(jù)商湯絕影在WAIC 2024現(xiàn)場(chǎng)演示，得益于DriveAGI出色的分析推理能力，搭載了該模型的測(cè)試車能在無限寬標(biāo)識(shí)的道路上，安全順利穿過兩個(gè)石墩形成的狹窄通道，同時(shí)還能準(zhǔn)確辨識(shí)并理解包括公交車道、潮汐車道及施工車道等各類交通標(biāo)識(shí)，并自主進(jìn)行變道或規(guī)避，甚至當(dāng)后方有救護(hù)車接近時(shí)，DriveAGI也會(huì)通過思考推理及時(shí)變道避讓。

不僅如此，多模態(tài)大模型還賦予了DriveAGI強(qiáng)大的可交互性，用戶不僅可以通過問詢讓DriveAGI解釋自己的決策過程，還能通過語(yǔ)音或手勢(shì)指令來控制自動(dòng)駕駛行為。

而在智能座艙方面，商湯絕影則正在打造多模態(tài)大模型引擎產(chǎn)品“座艙大腦”（CockpitBrain），目標(biāo)構(gòu)建一系列AI大模型座艙產(chǎn)品矩陣。

圖片來源：商湯絕影

在本屆WAIC上，商湯絕影就發(fā)布了首個(gè)生成式交互界面產(chǎn)品“隨心界面”（FlexInterface）以及“隨意操控”（AgentFlow）等多個(gè)車載 AI Agent，以通過AI技術(shù)改變用戶與車載系統(tǒng)的交互方式。

依托AI大模型的即時(shí)生成和修改交互界面能力，F(xiàn)lexInterface在大模型解析用戶需求的基礎(chǔ)上，結(jié)合設(shè)計(jì)系統(tǒng)的框架和范式，可以實(shí)現(xiàn)高度動(dòng)態(tài)和個(gè)性化的界面生成。無論天氣、時(shí)間、節(jié)日、紀(jì)念日，還是周圍環(huán)境變化，F(xiàn)lexInterface 都能自動(dòng)變換界面風(fēng)格，提供最佳用戶體驗(yàn)。

AgentFlow 通過大模型的推理能力，則可以模擬人類點(diǎn)擊操作，實(shí)現(xiàn)對(duì)APP和網(wǎng)站的直接操作。用戶只需使用自然語(yǔ)言，就能讓AI自主選擇多個(gè)工具完成復(fù)雜任務(wù)，無需主機(jī)廠進(jìn)行額外的研發(fā)適配。例如，用戶能讓AgentFlow自動(dòng)搜索并預(yù)約適合看球的酒吧，提供從搜索到預(yù)訂的一站式服務(wù)。

此外，在傳統(tǒng)智能汽車哨兵模式基礎(chǔ)上，商湯絕影還打造了“多模態(tài)哨兵”，能夠全面理解并應(yīng)對(duì)開放世界中可能對(duì)車輛造成損害的各種潛在隨機(jī)危險(xiǎn)行為，諸如劃車、噴涂車身、拍打砸車、拉拽門把手、撬門以及踹車等，確保車輛安全無死角。

多模態(tài)車端部署，商湯絕影有“殺器”

作為復(fù)雜的智能移動(dòng)終端，智能汽車由于深度融合了先進(jìn)感知技術(shù)、AI算法、大數(shù)據(jù)及高性能計(jì)算平臺(tái)等應(yīng)用，同時(shí)在人機(jī)交互上天然具備觸覺、視覺、語(yǔ)音等多模態(tài)融合交互的特點(diǎn)，可謂多模態(tài)大模型落地的絕佳場(chǎng)景。

不過，由于智能汽車本身的獨(dú)特性，對(duì)安全和實(shí)時(shí)響應(yīng)要求非常高，決定了難以完全依靠云測(cè)大模型來滿足車端的多樣化需求，端云結(jié)合勢(shì)在必行。

圖片來源：商湯絕影

針對(duì)這一趨勢(shì)，商湯絕影專為多模態(tài)大模型打造了一個(gè)高性能計(jì)算引擎HyperPPL，通過集成大語(yǔ)言模型、多模態(tài)模型、CNN模型等，為多模態(tài)大模型落地車端提供強(qiáng)大的計(jì)算底座。

圖片來源：商湯絕影

據(jù)商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家、絕影智能汽車事業(yè)群總裁王曉剛介紹，HyperPPL可以適配包括英偉達(dá)、高通、英特爾等在內(nèi)的多個(gè)主流車載計(jì)算平臺(tái)，并兼容多種主流操作系統(tǒng)。

同時(shí)，HyperPPL支持flash decode、segment prefill等400多個(gè)硬件算子，并對(duì)算子進(jìn)行性能優(yōu)化，同時(shí)量化支持int8、int4模式，并支持訓(xùn)練后量化，從而實(shí)現(xiàn)極致推理效率。不僅如此，商湯絕影HyperPPL還針對(duì)車載多人場(chǎng)景進(jìn)行了專門優(yōu)化，使得車內(nèi)多人并發(fā)情況下，車端多模態(tài)大模型的模型推理效率相比單人沒有明顯降低。

在本屆WAIC上，商湯絕影就對(duì)外展示了在3個(gè)不同算力平臺(tái)上運(yùn)行2.1B或8B端側(cè)多模態(tài)大模型的適配能力。據(jù)悉，相較于動(dòng)輒就有幾秒鐘延遲的云上部署方案，商湯絕影車載端側(cè)8B多模態(tài)模型可以實(shí)現(xiàn)首包延遲低至300毫秒以內(nèi)，推理速度40Tokens/秒。

值得一提的是，除了持續(xù)推進(jìn)大模型技術(shù)和應(yīng)用革新，在量產(chǎn)落地方面商湯絕影也已經(jīng)取得了不錯(cuò)的進(jìn)展。

在智能座艙領(lǐng)域，商湯絕影的大模型產(chǎn)品已經(jīng)在多家車企的量產(chǎn)車型中廣泛應(yīng)用。例如，商湯的大模型已全面助力小米SU7的小愛語(yǔ)音助手車載語(yǔ)音場(chǎng)景應(yīng)用。6月25日，翼真 L380正式上市，該車也搭載了商湯絕影定制化打造的AI閑聊、美圖壁紙、童話繪本、AI問診等AI大模型座艙產(chǎn)品和功能。

而在智能駕駛領(lǐng)域，商湯絕影的量產(chǎn)智駕產(chǎn)品也已落地包括廣汽埃安LX Plus、哪吒S、昊鉑GT、紅旗等品牌及車型，且商湯絕影目前的多個(gè)量產(chǎn)智駕方案在未來均可升級(jí)為端到端架構(gòu)。

返回第一電動(dòng)網(wǎng)首頁(yè) >