圖森L4卡車被曝即將上海開跑，CTO王乃巖：輔助駕駛路線做不了L4，系統冗余才是正解

東海大橋，連接洋山港與上海市，被稱作上海“生命線”。

路況尤其復雜，再加上臨海，常常出現團霧使視野受限，嫻熟的卡車司機也不敢掉以輕心。

(資料圖)

然而在川流的重卡之中，已經有“無人”卡車成規模、不間斷的運行。

多傳感器融合感知的系統其實并沒有受到相對惡劣天氣的影響，人類的雙眼難以分辨兩三百米以外的車輛，但是系統仍然可以在將近200米到300米的范圍之內工作，甚至能準確識別120m開外的塑料瓶：

上海自動駕駛卡車的落地速度出乎意料，而更加意外的，是這些新進展背后的玩家：

圖森未來。

重啟之后，外界自然而然認為重點轉向L2。但實際上，L4圖森沒有停下，還分享了完整的進展和技術方案。

圖森如何做L4？

圖森L4方案的架構，強調與輔助駕駛L2、L2+的區別，CTO王乃巖認為最核心的點應是可靠性，包括最底層的車輛到上層的系統和傳感器，以及最上層的冗余設計和分析的算法模塊。

整體來看，圖森L4架構分為3層。

首先是車輛。整車配備了冗余轉向系統和冗余制動系統，保證在單路失效的時車輛仍然可控制。

系統設計層面，有兩套完全獨立的系統。主系統是L4駕駛的主力，使用了高算力的平臺，搭配全套傳感器可以實現完整的L4駕駛的功能以及降級的功能。與此同時還有一套完全獨立的備系統，使用了一個算力沒有那么強，但是可靠性很高車規級的芯片，在有限的傳感器條件下，只負責主系統失效的降級功能。兩套系統都實現完全獨立的供電。

系統運行模式方面，除了正常的L4級別自動駕駛之外，設計了兩種最小風險狀態，分別是車輛在側后方感知以及轉向系統高可用的時候，實現應急車道上靠邊停車，不干擾正常車流的行駛。在非常極端的情況下，也設計了相應的在當前車道安全剎停等待救援的模式。

在冗余L4系統架構下，圖森首次對外詳細介紹了不同模塊的技術細節，包括6大部分：

視覺感知

激光雷達融合感知

GPS衛星定位

預測規劃

規控系統

仿真驗證

01.視覺感知方案

三種波段的電磁波，就是可見光、紅外光和毫米波，分別對應自動駕駛常用的三種傳感器：相機、激光雷達和毫米波雷達。

除了感知電磁波波段不同之外，感知方式也有所不同。毫米波雷達和激光雷達，是主動發射電磁波然后去通過接收回波的方式來感知場景中的障礙物，好處是對于周圍物體的3D信息和幾何信息有非常強的感知能力，而相機因為是被動接收的傳感器，并沒有辦法去做這種主動的感知。

但是在分辨率和語音信息層面，相機承載的信息密度是大于毫米波雷達和激光雷達的。另外，毫米波雷達在面對惡劣天氣雨雪霧的時候，魯棒性是遠比激光雷達和相機要強。

所以圖森根據傳感器不同的特點和不同的優劣，設計了全類型傳感器高可靠冗余的方案。

首先是純視覺方案。

現在主流的做3D目標檢測的方法是BEV，但是會遇到以下兩個問題。

長距離的BEV的空間，需要消耗大量的計算資源；另外算法設計也沒有考慮到相機之間的互補的冗余，一個算法對于當前可能只會檢測出對物體有一個檢測的結果，如果出現了漏檢，這個目標就在整個系統中消失了。

針對第一個問題，圖森提出了基于物體多視角3D檢測的框架。思路是在環視的攝像頭輸入之后，對于每個相機都做一個2D的檢測。單攝像頭的2D檢測比起3D檢測更成熟，所以具備高效、冗余和準確三個方面的優勢。但比起BEV，單攝像頭畫面檢測對畫面內車輛被遮擋、截斷等問題處理的又不夠好。

于是圖森又提出一個Spase Attention通過計算不同攝像頭畫面的關聯去識別。同時，其還對Sparse Attention計算復雜度高的問題進行了優化，先是在低分辨特征圖上操作，減少計算，再通過不同方案的傳感器融合、時序融合，解決降低分辨率帶來的對小物體識別差的問題。

02.激光雷達融合感知方案

長久以來激光雷達的優勢被認為是可以做近距離精確的感知。現在激光雷達普遍已經能夠達到200米的探測距離。

但如果直接把80米內的是個別算法給應用到200米的范圍之內，就會發現無論是顯存還是延遲的消耗都特別大，在研發上是無法承受的。主要是因為點云特征圖的大小會隨著距離呈平方式的增長。

進一步分析，激光雷達通常是越遠的地方越點云越稀疏，在遠處有大量的空白的地方，如果套用BEV方案，會進行“卷空氣”的操作，是沒有意義的。

為了避免這個問題，圖森采用稀疏的方法取代原來致密的卷積操作。

所謂稀疏卷積，是一個自定義的OP，NVIDIA開源了自定義的線性代數計算庫cutlass，然后也開放了存算異步的API，于是圖森基于cutlass開發了一套SPConv的開元庫。

另外一種特征提取的方式是Transformer，借助Sparse Transformer的思想，在有點云的地方去劃分窗口。因為這個窗口是稀疏的，所以在每個窗口內將點形成的特征聚攏起來，在每個窗口里會使用Transformer進行特征提取。窗口之間也用Shifted window這種技巧來進行信息交換。

檢測層面，全稀疏范圍里面激光雷達只能掃到物體的表面，中心處是沒有特征的。針對中心特征缺失問題，圖森的方法是通過先分割再檢測和整體框架，提高了感知精度。

有了更高的精度之后，圖森未來下一步的目標，就變成了降低激光雷達延遲、提高冗余能力。

激光雷達的延遲與點云數量高度相關，點云越多延遲也就越多。但圖森未來發現，激光雷達得到的圖像內，只有10%左右是需要感知的道路環境，其余都是街外的靜止背景和已經檢測完的道路，所以通過去除背景的方式，將6幀疊加的延遲做到了與單幀相關。

有了更高效率、更低延遲的檢測能力，激光雷達對障礙物的檢測時間也就更長，時序點云序列也會變得更加冗余。

總結一下全稀疏Lidar檢測器的特點，首先避免了卷空氣的問題；其次是一個全動態的網絡，計算成本是隨著點云的增加而增加的；第三，它是一個3D視角下的檢測，這樣對于高度上有重疊物體的檢測會更加的友好，顯然比較適合于長距離，在使用了去除背景策略之后在多幀的檢測當中會更加的高效。

03.衛星定位系統

首先需要明白，衛星導航最原始的觀測包含測距碼以及導航電文。在導航電文里面顯示各種各樣的參數，可以利用這些參數按照一定的公式獲得衛星在全局坐標系下的位置。

通過測距碼可以得到接收機相對于衛星的一個距離，簡稱“衛地距”。對于“衛地距”的描述可以有偽距碼以及載波相位兩種方式。

至于定位，在已知三個衛星坐標的前提下，并且已知對應“衛地距”，可以在全局坐標系下唯一確定接收機的位置。

所以在實際的使用當中通常都需要4個觀測方程，至少4個觀測方程通過聯歷方程組去解得唯一的位置，解的這個參數便是接收機的位置XYZ以及接收機的硬件延時。

思考一下自動駕駛定位系統的目標：首先對于側重點來說，傳統的組合導航是一個絕對定位的一套系統，他需要在全局坐標系下給出一個確定性的結果。

但對于自動駕駛系統來說，是一個相對定位的過程，這個相對定位可以是相對于在線建立的地圖定位，或者是離線建立的高精度地圖去定位。更關注當前自測的位置與靜態的障礙物，比如說燈桿、標牌、車道線以及動態的NPC相對位置。

那所以對于自動駕駛系統來說，其實可以用一種亞分米級精度的輸出，對于規劃與決策系統更友好。

與傳統的基于粒子濾波定位框架不同，圖森采用了分層的貝葉斯思想，在估計位置的同時，同時對于每一種觀測估計了置信程度。

比如，經過多個高大的路牌、收費站時，衛星觀測會受到影響，車輛會在這個里面做一個短暫的停留，全遮擋的工況下所有衛星觀測是缺失的。這樣的工況下在保證魯棒性的同時通過融合多模態傳感器，然后基于魯棒粒子濾波算法可以給出一個準確的位置估計。

04.預測算法

自動駕駛的行為預測一直使用基于深度學習的算法，但每一個深度學習算法都在優化著特定的模型指標。

如果在某些指標上做到了最優，但也依然不是最好的預測輸出。

圖森提出來做任務對齊。這個主要是基于一個觀察：海量的預訓練數據賦予了預測模型強大的能力，現在模型可以給出多模態的邊緣或者是聯合概率分布的預測，但是這里的概率值他反應了數據里的每一個數據出現的頻率。問題是，某些case的概率分布并沒有和下游模塊做對齊，那應該怎么做呢？

最簡單的方法是做偏好學習，核心是為下游任務重新調整優化的權重。但除此之外圖森還提出來對多階交互進行解耦。

另外，在預測算法中，還引入了多階博弈交互的概念。直白的解釋：零階交互是指在做決策的時候不用考慮任何人的想法，一階交互是指在做決策的時候考慮其他人的想法，二階交互指在做決策的時候，會去預測你預測了我的想法…

為什么需要？比如在一個前方有靜止車的場景里，左側有源源不斷的車流，如果只做零階交互，預測左側車流的時候不去考慮自身變道意圖，就始終給不出左側車流減速的軌跡，只能給出他們勻速往前的軌跡，會導致加塞失敗最后停止在靜止車前。

而同時使用一階交互，考慮自身變道的意圖，在使用偏好學習做微調之后，可以成功的給出左側車流減速的軌跡，這樣可以及時的變道到左側的車流當中。

05.規控系統

圖森的方案是耦合預測還有決策規劃，對于每個自車規劃的意圖軌跡，會首先使用博弈論模型去預測車輛可能的反應以及多種可能反應的概率分布。

傳統的方案當中，規劃的軌跡是固定的，自車規劃任何一個軌跡，要求對于所有其他車輛可能的反應都是安全的，這樣的一個評價方式通常會產生非常保守的結果。

圖森的方案，會在對方讓行的情況下，選擇搶行。

規控模塊中，業界非常關心的問題是時空以及橫縱聯合的搜索與優化，傳統的軌跡規劃會首先固定橫向行為去優化縱向行為或者是固定縱向行為優化橫向行為，限制了空間會導致規劃的結果喪失敏捷性，在一些非常危險的情況下有可能使得本車規劃不出安全的軌跡。

圖森的方案是耦合的橫縱行為的優化，同時也要保證規劃的軌跡能夠滿足非常復雜的車輛動力學模型。具體而言使用一個參數化的控制序列，對于每個參數所生成的自車軌跡會評估他的好壞，參考因素包括安全性、效率、交規、交互，等等。

由于現在的軌跡是由控制策略參數所確定的，因此優化目標是控制策略參數的一個函數，那通過對這個參數進行優化，就可以同時優化橫向和縱向的行為以及如何和其他車輛交互。

可以舉例說明傳統的規劃控制解耦和耦合規劃控制的區別。

如自車想繞過前面比較大的障礙物，傳統的方案可能規劃鼓勵的生成目標軌跡，控制的獨立追蹤目標軌跡，這兩者之間在一些情況下會產生比較大的偏差。當偏差比較大的時候，雖然規劃的軌跡覺得自己繞過障礙物，但是控制的過程中造成比較大的誤差使得自車生成的軌跡還是和障礙物發生了刮蹭。

而反饋控制和規劃耦合的系統，會實時的根據當前測量的狀態重新規劃和控制，從而保證了這個大范圍繞障礙物過程中側向間距安全性。

06.仿真驗證模塊

目前業界常做的仿真測試是做規控。只運行規控模塊和底層的車輛模型，對于低級別的自動駕駛系統可能是可行的。但是圖森未來的感知系統及規控系統，這種簡單的PnC方針測試已經不能滿足需要。

所以圖森在仿真測試中采用到了端到端的仿真測試的框架：將整套的自駕pipeline作為一個黑盒進行完整整體的測試，屬于更高級別的測試。

圖森端到端仿真測試系統，首先是一個離線閉環系統，目的是為了測試整套的算法流程以及自駕系統，同時支持多種場景測試，一種是支持真實場景的導入，也支持人工去編輯一些場景，編輯出一些長尾的conor case。

在工程上圖森端到端仿真系統架構主要由兩部分構成，一部分由仿真引擎及仿真底層物理世界引擎和車輛動力學模型構成的仿真系統，另外一部分是由運行整套算法的域控以及一些虛擬的車輛控制單元組成，兩套系統通過傳感器的輸入進行通信。

圖森未來的仿真引擎，以及仿真任務調度器上面，循環運行一遍所有的離線仿真場景只需要小于30分鐘，圖森統計過每小時的運行成本小于10元。

圖森如何看待L4？

圖森今年業務“重啟”，外界普遍認知堅持做高階自動駕駛的侯曉迪出走，其L4業務陷入不確定。

而圖森在局勢初定的首次公開亮相上，也專注講了將智能輔助駕駛落地的路線。

一度更加劇了猜測：圖森不做L4了？

但這次圖森中國的CTO王乃巖正本清源：

L2和L4都在做，并行推進，并且都由他在負責。

具體的進度上，圖森確認在兩個月前拿到了上海市首批“無人”卡車測試許可，目前正在最后的確認階段。實際上，圖森已經在類似考核的演示項目中，證明了在高速場景下已經具備“駕駛室”無人的能力。

所以目前圖森未來的L4業務現狀總結一下，是這樣的：

首先在商業落地進度上，即將開啟全無人測試，而且也會實際接商單。

技術方案上，圖森L4目前還是堅定的走多傳感器融合線路，以及前裝量產車的路線。圖森之前在L2相關路線活動上發布的“大感知盒子”TS-Box，其實也在應用到L4路線，比如王乃巖介紹到，圖森的一個主要優勢就是自己對傳感器硬件的深入理解和工程化能力。

這體現在圖森在TS-Box中除了集成計算模塊，還自研了圖像處理等算法，相當于直接節省了相關功能采購的成本。圖森L2商業化的競爭優勢，以及L4的落地進度，都得益于圖森的技術能力。

而以現在的情況來看，王乃巖估計，L4自動駕駛卡車，三到五年之內就會有大規模應用。

所以圖森未來這次展現自己的L4實力和進展，不但是向外界自證“健康”和“健壯”，也是向自動駕駛卡車行業傳遞這樣的信息：

L4不會停下發展的腳步，只不過這條賽道的未來，只向有強大技術實力的玩家敞開。

—?完—

【智能車參考】原創內容，未經賬號授權，禁止隨意轉載。