特斯拉視覺路線再一次站在了懸崖邊上。

7 月 14 日，特斯拉人工智能負責人 Andrej Karpathy 宣布離職，消息一出，業內一片嘩然。

作為自動駕駛行業的靈魂人物，Karpathy 于 2017 年被馬斯克從 OpenAI 挖角到特斯拉，擔任人工智能和Autopilot 視覺總監。

五年的時間，他幫助特斯拉從 0 到 1 搭建起自動駕駛所有基礎設施，并成功推出 NOA、FSD Beta，就連「狂人」馬斯克也為之折服，曾夸獎其是全世界最頂級的 AI 領袖。

這一說法稍顯肉麻，卻不失公道。

Karpathy 在業內擁有相當高的聲望，在每年定期舉辦的 CVPR、特斯拉 AI Day 上，他是絕對的主角，每次關于自動駕駛最新技術的分享，往往引來大批行業人士駐足觀看，會上提出的「新概念」、「新名詞」用不了多長時間，就會成為造車界的「口頭禪」，并被提煉為各家的核心技術亮點。

因此，在這樣一位重磅人物突然宣布離職的時候，連外人都不免為之惋惜。理想汽車 AI 負責人王軼倫在個人朋友圈表示，他的離開是業界的損失。而對于在純視覺道路上「風雨飄搖」的特斯拉而言，Karpathy 的離開，似乎不只是「損失」這么簡單。

01、任職特斯拉最久的 AI 高管，依然逃不過「休假定律」

現在往回看，Andrej Karpathy 的離開早有跡象。

今年 3 月，Karpathy 在社交媒體上發文稱在特斯拉任職近 5 年時間后，自己即將開啟 4 個月的休假，當時便有人猜測，這會不會是 Karpathy 將要離職的信號。

畢竟，特斯拉過往高管在離職之前的常規項目之一便是休假。

2018 年，特斯拉前工程高級副總裁 Doug Field 請長假「與家人共度時光」，當時也是引起一陣熱議，為此特斯拉保證，Doug Field 不會離開公司，結果幾個月后，他便宣布不會從休假中回來。

這一次，同樣的劇情再次上演。

Karpathy 在休假之初強調「這段時間將用來專注提升自己的技術優勢，以及訓練神經網絡」，為了打消外界疑慮，他還補充道：「會想念特斯拉的機器人以及 Dojo 超算集群，甚至還沒離開就迫不及待想見到它們了?！?/span>

結果，Karpathy 還是離開了。

「在過去 5 年時間里，我很榮幸能幫助特斯拉實現目標，離開是一個艱難的決定……」7 月 14 日，Karpathy 在推文中宣布了這一決定。馬斯克也很及時地送上祝福：「感謝你為特斯拉所做的一切，十分榮幸能和你共事?！?/span>

時間回到 5 年前，也就是 2017 年，Karpathy 接受馬斯克邀請，從 OpenAI 跳槽，加入特斯拉。

彼時，特斯拉身陷動蕩之中，一方面，因發生在 2016 年 5 月的特斯拉自動駕駛致死案，剛和舊供應商 Mobileye 取消合作不久；

另一方面，和新供應商英偉達的磨合也不算順利，關于Autopilot 硬件 2.0 能否用來實現自動駕駛，雙方各執一詞。

這些拉扯背后，透露出馬斯克對于「現狀」的不滿意——自動駕駛功能遲遲沒能上車。特斯拉迫切需要一個救世主，凡難以受此大任的高管，選擇被動或主動離職。

于是 2017 年，Autopilot 前主管 Anderson 首先宣告和特斯拉「分手」，一個月后，Chris Lattner 接手 Autopilot 團隊，不到半年，Chris 辭職，并留下一句話：「特斯拉一點也不適合我。」

這時候，Karpathy 進入到馬斯克的視野。

早在 OpenAI，一家專注于人工智能研究的非營利組織中，馬斯克便已經結識 Karpathy，前者是 OpenAI 的發起人之一，后者是 OpenAI 的創始成員兼研究科學家。

有媒體報道，馬斯克曾放話，很多人只把 Karpathy 當做優秀的 AI 視覺科學家，但他認為，Karpathy 會是全世界最頂級的 AI 領袖。

于是，2017 年 6 月，馬斯克從內部挖角，邀請 Karpathy 擔任 Autopilot 主管，自此開啟了特斯拉自動駕駛的「黃金時代」。

從時間上來說，Karpathy 稱得上是任職特斯拉最久的 AI 高管，盡管在他入職之初，曾開玩笑稱「這是一份平均只有六個月時長的新工作」，想花點時間研究過后再讓別人接手，但是從最終結果來看，Karpathy 還是干滿了五年，比任何人都長。

在 Pieter Abbeel 主持的 The Robot Brains Podcast 節目中，Karpathy 曾分享自己的工作感受?！甘聦嵣希蚁矚g沉浸在其中的感覺，也很有動力去盡快地創造出不一樣的東西。」

02、幫助特斯拉實現自動駕駛「從 0 到 1」，他憑一己之力，引領行業

Karpathy 對于特斯拉的影響不言而喻，不過他在離職推文中，只簡略地總結道，「幫助 Autopilot 從僅僅能完成車道保持的功能發展到可以在城區實現自動駕駛?！?/span>

理想汽車 AI 負責人王軼倫看后「打抱不平」，在朋友圈為 Karpathy 補充了他對于行業的貢獻：「他在 AI Day 和 CVPR Workshop 上的多次公開分享讓大家了解到了大模型、BEV、數據閉環、影子模式這些概念，推動了行業的轉型和進步。」

回到 2019 年，Karpathy 作為 Tesla AI 項目總監首次亮相，一出場便火力全開，展現出非凡的專業思考，他在會上直接 diss 了在自動駕駛領域備受推崇的激光雷達，「你開車是因為眼睛看到了路況，而不是靠雙眼發射激光。」

在 Karpathy 看來，既然人工智能是代替人來完成自動駕駛，那么所需的傳感器，就應當是像人眼一樣發揮純視覺功能的攝像頭。

這一新奇觀點刷新了所有人的認知，從這時起，Karpathy 往后在大會上的主題演講，都受到極大的關注，人們緊盯著這位行業新秀的一舉一動，試圖從他的發言中，捕捉到未來自動駕駛技術的走向。

2020 年，在 ScaledML2020（Scaled Machine Learning Conference）會議上，Karpathy 介紹了如何用攝像頭完成三維世界的「感知」。

簡單來說，特斯拉通過調用 5 個方向的攝像頭，將捕獲的2D 圖像通過建模器（之前是「Occupency Tracker」，后來變為神經網絡）「拼接」轉化為 3D 素材，最后自上而下投影至Z+ 平面，如鳥瞰圖一般構建汽車周圍的道路環境，以供自動駕駛決策參考。

這種基于神經網絡下的升維視覺，特斯拉稱之為「Bird's Eye View」，也就是后來被自動駕駛行業廣泛推崇的「BEV」。

值得注意的是，在「拼接」3D 圖像時，還要將各個視角相應素材的時間軸對齊，進行二次連續拼接，看上去就是「3D+ 時間軸」，達到移步換景的「4D 視覺」。

從圖像級處理到視頻級處理的躍遷，讓 Autopilot 固有的軟件和訓練網絡難以勝任。為此，同年 8 月，Karpathy 領導的 Autopilot 團隊決定對軟件的底層代碼進行重寫，并重構深度神經網絡。

另一邊，從 2D 到 4D 的轉換，造成數據集指數級增長，為應對海量數據處理需求，特斯拉 Autopilot 團隊提到將推出全新的用于神經網絡（NN）訓練的超級計算機 Dojo。

Dojo 來源于日語，意為「道場」，特斯拉以此命名，旨在超越日本fukagu（富岳），成為世界第一超算。

2021 年，CVPR2021（計算機視覺頂級峰會）上，Karpathy 公布了Dojo Prototype（原型機），并在演講中表示，有了超算的輔助，視覺自動駕駛將比人類駕駛員更加可靠?！讣词故莾炐愕鸟{駛員，其快速反應時間也要 250ms，很多人甚至超過 460ms，而電腦的反應速度全部低于 100ms?！?/p>

Dojo 還有另一個過人之處——無監督學習，無需人工對訓練數據集進行標注，系統可以自行根據樣本間的統計規律對樣本集進行分析，常見任務包括聚類等。例如僅依據一定數量的「狗」的圖片特征，將「狗」的圖片從各種各樣的圖片、視頻中區分出來。

實現這一功能的背后，是 Karpathy 在軟件算法領域引入 了Transformer。

Transformer 最早是由 Google 提出用于機器翻譯的神經網絡模型，十分適合 GPU 的運算環境，且拋棄了 NLP 中常用的 RNN 或者 CNN，能取得非常不錯的效果。

在 CVPR2021 上，Andrej Karpathy 兩次提到 Transformer，將其和 CNN、3D 卷積中的一種或者多種組合做跨時間的融合，應用到特斯拉汽車上，形成具有景深的 3D 信息輸出。

Transformer 很快在自動駕駛行業走火，據了解，毫末智行便正利用 Transformer 進行超大規模的感知訓練。

無論是 BEV，還是 Dojo，完成的還僅是「感知」層面的功能，而實現真正上路的自動駕駛，還要完善「決策」部分的能力。

針對于此，Karpathy 提出的「影子模式」（Shadow Mode），是自動駕駛領域的又一次飛躍。

所謂影子模式，指的是在車輛主大腦之外的另一個「分身大腦」，它同樣能獲取車輛的各種傳感器數據，并對行駛路況作出預測，還能輸出駕駛決策指令。

不同的是，影子模式下的預測和指令不會真的被執行下去，而只用來和主大腦決策的實際效果做對比，并以此評價和改進測試版神經網絡。

通過影子模式，特斯拉可以高效且安全地得到測試版神經網絡的實際上路效果。

Andrej Karpathy 這樣評價：「人腦能「腦補」出距離并擁有優秀的駕駛技術，神經網絡同樣有這樣的能力?！?/span>

如此這般從數據采集到算法部署的閉環，讓特斯拉自動駕駛在純視覺條件下，就能實現對于長尾 case 的自動分揀、模塊測試、上線，系統性能不斷迭代，更加成熟。

以至于在 2021 年 5 月，特斯拉直接宣布北美市場生產的 Model 3/Y 將不會再配備毫米波雷達，原因是特斯拉采用攝像頭來進行深度估算的精度已經超過了攝像頭+毫米波雷達。

「毫米波雷達或激光雷達方案有著無法解決的弊端……基于純視覺的特斯拉的自動駕駛依靠 8 個攝像頭和背后的 Dojo 超算，原則上我們可以在地球上任何地方（的道路上）使用?！筀arpathy 在 CVPR2021 會上這樣說道。

「天才向左，瘋子向右」，在特斯拉，二者相遇了。

如果說馬斯克是一個擁有天馬行空思想，卻不考慮技術落地的「瘋子」，那么 Karpathy 無疑是擁有超強工程思維，善于逆向解決各種「不可能」問題的「天才」，在這樣一場「純視覺」盛宴中，即使是自動駕駛技術的旁觀者，也能從中汲取到智慧和思考。

03、靈魂人物離開、自動駕駛部門大裁員，特斯拉純視覺路線要變天？

作為特斯拉自動駕駛的靈魂人物，Karpathy 這次離職，無疑將重挫該公司的「純視覺」路線進度。

回看 Karpathy 加入特斯拉后，自動駕駛功能這些年的更新：

• 2017 年 3 月，推送自動泊車和自動輔助變道功能；

• 2018 年 10 月，推送自動輔助導航駕駛（NoA）功能；

• 2019 年 9 月，推送智能召喚（Smart Summon）；

• 2020 年 4 月，推送識別交通信號燈和停車標志并作出反應（海外先行）；

• 2020 年 10 月，在部分員工和早鳥用戶人群中小范圍測試 FSD Beta；

• 2021 年 9 月，基于「安全駕駛評分系統」，開放 FSD Beta 的「申請按鈕」（Request Button），彼時版本是 v10.1；

• 2022 年 2 月，FSD Beta 最新版本來到 v10.10.2，已收到推送的車主規模約 6 萬人。

看起來，特斯拉 FSD 似乎馬上就要大面積鋪開。2022 年 1 月 27 日，在特斯拉 2021 年 Q4 及全年財報會議上，馬斯克表示：「個人預計，特斯拉將在 2022 年實現比人類更安全的 FSD（完全自動駕駛）……」

然而隨著 Karpathy 的離職，馬斯克恐怕又要跳票了。

在 Karpathy 休假的這段時間里，FSD 遲遲未得到大的更新，甚至因為算法出現的「幽靈剎車」現象，受到特斯拉車主們的投訴，數目更是激增：從 2 月的 354 起，漲到 5 月的 758 起。

為打消外界疑慮，7 月 14 日，馬斯克在推特上透露，FSD V10.13 測試版自「明天」（7 月 15 日）開始內測，旨在對一些場景進行優化，并在下一周開放公測。

不過，這一說法并未能被公眾買單，有諸多跡象表明，特斯拉自動駕駛正在生變。

據加州就業發展部的記錄，6 月份，特斯拉剛關閉了位于圣馬特奧的辦公室，229 人被解雇。

值得注意的是，該辦公室有一個數據標注團隊，專門負責幫助改進特斯拉的駕駛輔助技術。

有聲音猜測，馬斯克或早已得知 Karpathy 將要離職，提前行動及時止損。

隨之而來的是另一個問題，Karpathy 走后，特斯拉「純視覺」路線將何去何從？

在最近一段時間，特斯拉因安全問題，屢陷輿論風波。

7 月 6 日，一輛 2015 款的特斯拉 Model S 從佛羅里達州蓋恩斯維爾以南的 75 號州際公路上駛入高速公路休息區停車場，徑直撞上了一輛停在那里的牽引車，盡管還未證實在當時自動駕駛功能是否開啟，但巧合的是，這次撞上的又是一輛「白車」。

而在更早之前，根據美國國家公路交通安全管理局（NHTSA）的數據，截至 2022 年 5 月的 10 個月中，有 200 多起車禍都與特斯拉的 Autopilot 軟件有關。

為此，《華盛頓郵報》和 CNBC 先后發文，抨擊特斯拉 FSD 的表現離真正的自動駕駛相去甚遠。

業內人士也起了疑心，「純視覺」路線看起來那么美好，可在實際運作時，似乎隱患重重。

就在這一敏感時間，6 月 7 日，特斯拉向美國聯邦通信委員會(FCC) 注冊了一種新型高分辨率雷達（High Resolution Radar, HD Radar），從 RF 測試報告看，該雷達 6 發 8 收，載頻 77GHz，支持三種掃頻模式，最大掃頻帶寬700MHz，幀周期約 67ms（15Hz）。

有聲音猜測這是不是特斯拉要重拾毫米波雷達的信號。

然而，在馬斯克宣布下一任 AI 主管人選之前，一切還不得而知。

04、AI 界掀起返高校大潮，Karpathy：和馬斯克一起工作是把雙刃劍

Karpathy 的下一步去處，也引發業內人士的強烈興趣。

有人直言，在自動駕駛技術競爭日益激烈的當下，誰能成功邀請到 Karpathy 加入，誰就將在其中拿到一張王牌。

不過，Karpathy 本人似乎還沒有明確的計劃。

他在推特上寫道，希望花更多時間重新審視自己對人工智能技術、開源和教育工作的長期熱情。

教育似乎是 Karpathy 十分感興趣的一項工作，這不僅體現他每次在 Tesla AI Day 和 CVPR Workshop 上面的熱情分享，從 Karpathy 更早之前的學術經歷也可以窺知一二。

2011 年到 2016 年，Karpathy 在斯坦福大學攻讀計算機科學博士學位，師從人工智能大牛李飛飛，在此期間，他根據自己所學，設計了一門名為 CS231n（面向視覺識別的卷積神經網絡）的課程，并擔任主講人，向在校生開放，成為斯坦福大學最受學生歡迎的課程之一。后來，有人把這門課放在了 Youtube 上，吸引數百萬人觀看。

「我一直熱衷于教學，在不列顛哥倫比亞大學讀研期間，也做過不同班級的助教，我喜歡看人們學習新技能，并做一些很酷的事情?！拐劶斑@段經歷，Karpathy 十分自豪。

他在 Pieter Abbeel 主持的 The Robot Brains Podcast 節目中透露，開課的那一年，他只專注于課程和教學設計，甚至把整個博士學位的研究都擱置了。

「我覺得，這可能比寫一兩篇論文更有影響力。第一學期課程時，大概有 150 名學生上課，到我離開時，課堂上已經有了 700 名學生?！筀arpathy 將其稱為自己博士學位的一大亮點。

不知是否是巧合，這幾年，陸陸續續看到 AI 大牛從業界重返高校，最早是吳恩達，后面是李飛飛、張潼……最近，華為自動駕駛系統 CTO、車 BU 首席科學家陳亦倫從華為離職，表示將加入清華大學智能產業研究院（AIR），任智能機器人方向首席專家。

據了解，陳亦倫本、碩畢業于清華大學電子工程系，博士畢業于美國密西根大學電子工程，于 2018 年加入華為，負責高階自動駕駛技術解決方案設計，從 0 到 1 主導完成了華為第一代自動駕駛系統的全棧研發。

為何人工智能大佬偏愛回到學界？

一位業內人士表示，這與企業和高校的運作模式有關?！冈谄髽I做研究，要求的是在一個特定的時間內盡快打造出產品。而在高校，時間上可以更自由，容許學術大牛自由地按照自己對專業的認知，一步步推進技術發展。」

這或許可以部分解釋 Karpathy 為何從特斯拉離職。

Karpathy 曾坦言，和馬斯克一起工作是一把雙刃劍。「如果他昨天就想要看到未來，就會推動別人去做，也會注入很多動力。他希望這件事盡快發生，而你也需要有某種態度，在很長一段時間內真正容忍這種情況。」

返回第一電動網首頁 >