自動駕駛的大幕

人類對自動駕駛的夢想甚至早于汽車的誕生。16世紀，達·芬奇就試圖以高強力彈簧為動力讓車輛在規(guī)劃好的路線上自動駕駛。現(xiàn)代社會真正讓自動駕駛引起世人關(guān)注是通過美國國防部高級研究計劃局(Defense Advanced Research Projects Agency，DARPA)在2004年啟動的自動駕駛挑戰(zhàn)賽Grand Challenge。2005年，自動駕駛越野賽的冠軍是斯坦福大學(xué)的Stanley； 2007年，自動駕駛城市賽的冠軍是卡內(nèi)基�裁仿〈髮W(xué)的Boss。

DARPA的比賽不僅從學(xué)術(shù)上促進了大學(xué)的科研，也誕生了數(shù)家后來的自動駕駛頭部企業(yè)。2009年，谷歌公司收購了斯坦福大學(xué)的自動駕駛團隊，也就是谷歌子公司W(wǎng)aymo的前身。2015年，優(yōu)步也逐漸把卡內(nèi)基�裁仿〈髮W(xué)自動駕駛團隊收編。在這一年，特斯拉發(fā)布了Autopilot，雖然名字上感覺是自動駕駛L4，但其實還是輔助駕駛L2。通過DARPA競賽還成就了一家公司，就是生產(chǎn)64線機械式激光雷達的Velodyne。

自動駕駛技術(shù)的研發(fā)現(xiàn)狀

自動駕駛的發(fā)展基本存在兩條技術(shù)路線。一條是跨越式開發(fā)技術(shù)路線，即直接做L4級別的自動駕駛系統(tǒng)，以高科技公司谷歌和百度為主，它們對車企行業(yè)了解不深，而直接把機器人研發(fā)的模式用于自動駕駛車輛。這條技術(shù)路線多半不計成本，采用高清地圖和高精密度慣導(dǎo)定位，可沒有地圖的地方也很難運營(不需要和導(dǎo)航地圖接口，直接采用高清地圖進行規(guī)劃，對于大規(guī)模導(dǎo)航區(qū)域的高清地圖下載和全局規(guī)劃的計算復(fù)雜度缺乏認識)，安裝激光雷達這種最好、最昂貴的傳感器(當時視覺的深度學(xué)習(xí)技術(shù)比較初級)，采用最強的計算平臺(因為不是量產(chǎn)，一些L4自動駕駛公司直接采用工控機作為支撐，不需要考慮平臺移植的工程難度)，面對Robotaxi的落地，雖然還沒有針對任意場景，但在測試的高速和城市街道場景中，基于較可靠的感知性能，的確提供了面向復(fù)雜交通環(huán)境下最強的規(guī)劃決策能力。目前看到的基于數(shù)據(jù)驅(qū)動開發(fā)的規(guī)劃決策算法，多半來自L4公司，而且其中幾個還舉辦了這方面的競賽(基于本身提供的開源數(shù)據(jù)集)。在仿真平臺的建設(shè)上，L4公司也是遠遠走在前面(特斯拉基本已經(jīng)具備L4開發(fā)落地能力)，包括數(shù)據(jù)重放和單點測試的可視化能力。高清地圖方面，L4公司的技術(shù)也比較成熟。收集的傳感器數(shù)據(jù)，L4公司在包括激光雷達和車輛定位軌跡等方面也高于一般的L2公司。

另一條技術(shù)路線是漸進式開發(fā)，即先從L2的輔助自動駕駛系統(tǒng)起步，然后逐漸適應(yīng)更復(fù)雜的交通環(huán)境，從高速、高架慢慢過渡到有閘道、有收費站的場景，最后進入城市的大街和小路，自動駕駛系統(tǒng)的級別也慢慢演進到L2 、L3、L3 和L4水平（最近看到一種新趨勢，即L4自動駕駛的開發(fā)公司、L2自動駕駛的主機廠和Tier��1合作，共同開發(fā)L2 的量產(chǎn)級別車輛）。漸進式開發(fā)的技術(shù)路線，一般是主機廠和Tier��1采用，它們首先會考慮成本、車規(guī)和量產(chǎn)用戶的ODD（運行設(shè)計域）定義。早先以Mobileye為主要供應(yīng)商，之后特斯拉和英偉達的開發(fā)模式成為主流。限于成本，這條路線多采用攝像頭為主傳感器，加上車企已經(jīng)接受的毫米波雷達為輔助。相對來說，這條路線的前沿水平(如特斯拉)，所采用的視覺感知技術(shù)具有明顯的優(yōu)勢。因為在融合中雷達出現(xiàn)大量虛警信號，特斯拉甚至在自動駕駛感知模塊中放棄了它。以前泊車自動駕駛采用超聲波傳感器，逐漸也和魚眼攝像頭結(jié)合提供泊車輔助、記憶泊車甚至代客泊車的應(yīng)用。特斯拉也采用超聲波提供擁擠交通場景的感知。也許是成本的壓力，漸進式開發(fā)路線一般是重感知、輕高清地圖的模式，甚至已經(jīng)在BEV網(wǎng)絡(luò)模型中實現(xiàn)了感知和在線地圖及定位的端到端集成（如特斯拉）。作為行業(yè)領(lǐng)軍企業(yè)的特斯拉，慢慢完善了數(shù)據(jù)驅(qū)動的開發(fā)工具鏈，實現(xiàn)了一個包括數(shù)據(jù)篩選、數(shù)據(jù)標注、仿真模擬、模型迭代、場景測試評估和模型部署等的數(shù)據(jù)閉環(huán)�；�于自動駕駛的長尾問題和AI模型的不確定問題，谷歌公司也有類似的框架，但特斯拉將其發(fā)揮到極致，在量產(chǎn)的用戶車輛上實現(xiàn)了良性循環(huán)，目前也已經(jīng)推出L4的自動駕駛版本FSD。

自動駕駛基本存在1．0和2．0兩個發(fā)展階段。自動駕駛1．0階段采用多種傳感器構(gòu)成感知輸入，如激光雷達(lidar)、視覺相機、雷達(radar)、慣導(dǎo)IMU、輪速計和GPS/差分GPS等，各個傳感器在感知能力上存在差異，針對性地用多模態(tài)傳感器融合架構(gòu)，目前多是采用后融合策略，把各個傳感器在相關(guān)任務(wù)中的結(jié)果進行一次濾波，達到互補或者冗余的效果。這方面存在兩條路線，一條路線是依靠激光雷達加高清地圖的做法，成本高，主要是Robotaxi等L4公司采用； 另一條路線是視覺為主、輕高清地圖的做法，成本低，多是L2/L2 自動駕駛公司為量產(chǎn)落地的思路。兩條路線都會有很傳統(tǒng)的后處理步驟(特別是視覺)，大量調(diào)試工作和問題也來自于此。另外，這個階段的規(guī)劃決策多是采用基于規(guī)則的方法，實際上沒有數(shù)據(jù)驅(qū)動的模型，如開源的Autoware和百度Apollo。由于L4公司的運行場景在一些具備高清地圖的固定地區(qū)，本身感知投入的傳感器精度較高，已經(jīng)做過數(shù)據(jù)訓(xùn)練規(guī)劃決策模型的探索； 相對來說，L2/L2 公司還沒有建立數(shù)據(jù)驅(qū)動的規(guī)劃決策模塊開發(fā)模式，多是采用優(yōu)化理論的解決方案，普遍從高速場景入手，升級到特斯拉那種閘道�查l道的模式，很少能支持城市自動駕駛的復(fù)雜場景(如環(huán)島路口和無保護左拐彎操作等)。

自動駕駛2．0階段應(yīng)該是以數(shù)據(jù)驅(qū)動為標志，同時對于1．0階段的感知框架也有比較大的改進。數(shù)據(jù)驅(qū)動的開發(fā)模式傾向于端到端的模型設(shè)計和訓(xùn)練，對于規(guī)劃決策而言就是需要大量的駕駛數(shù)據(jù)去學(xué)習(xí)老司機的駕駛行為，包括行為克隆的模仿學(xué)習(xí)，以及通過基于模型強化學(xué)習(xí)(M�睷L) 估計行為�膊呗缘穆�(lián)合分布等，不再靠各種約束條件下的最優(yōu)問題求解。其中軌跡預(yù)測是一個重要的前奏，需要對智體交互行為進行良好的建模，并分析存在的不確定性影響。對于感知而言，2．0時代需要考慮機器學(xué)習(xí)模型取代哪種傳統(tǒng)視覺或信號處理(濾波)的部分，真正做到采集數(shù)據(jù)來解決問題的開發(fā)模式。例如特斯拉最近的BEV（鳥瞰視圖）和Occupancy Network（占用網(wǎng)絡(luò)），都直接通過深度學(xué)習(xí)模型實現(xiàn)所需信息輸出，而不是采用傳統(tǒng)視覺和融合理論去二次處理模型輸出。傳感器融合理論也從后融合升級到模型中特征融合甚至數(shù)據(jù)融合(如果同步和標定有一定的先驗知識)。這里可以看到Transformer網(wǎng)絡(luò)在這個感知框架下扮演著重要的角色，同時也給計算平臺提出了更高的要求�；�于這種數(shù)據(jù)驅(qū)動的自動駕駛平臺需求，大模型的設(shè)計思路也被引入，因為大量數(shù)據(jù)的獲取，包括高效的數(shù)據(jù)篩選、自動標注和仿真技術(shù)輔助，需要在服務(wù)器端維護一個教師大型模型，以支持布署到車端的學(xué)生小型模型的訓(xùn)練和迭代更新。

自動駕駛的挑戰(zhàn)和未來

汽車產(chǎn)業(yè)的轉(zhuǎn)型面臨的挑戰(zhàn)之一是轉(zhuǎn)型到軟件定義汽車的新模式。自動駕駛的軟件代碼量將超過5億行，是非常復(fù)雜的軟件系統(tǒng)之一，相比之下，波音787有650萬行代碼、Android有1500萬行代碼、Windows 11有5000萬行代碼、Facebook有6200萬行代碼、現(xiàn)代汽車有1億行代碼。同時，智能汽車的軟件也是現(xiàn)代軟件的集大成者，包含了實時嵌入式軟件、云計算軟件、消費者軟件、仿真軟件、AI算法和大規(guī)模多智體協(xié)同系統(tǒng)軟件。而且，這么龐大和復(fù)雜的軟件系統(tǒng)對安全性、可靠性的要求也極高，因為軟件的失效會導(dǎo)致性命攸關(guān)的嚴重后果。因此，智能汽車軟件需要使用軟件工程和軟件測試驗證最先進的理論及實踐。

同時，自動駕駛的進步依賴于人工智能技術(shù)的發(fā)展。雖然人工智能下圍棋已經(jīng)戰(zhàn)勝了人類，但是圍棋是一個封閉環(huán)境，棋盤格式和下棋規(guī)則2000多年都沒有變化。而依靠數(shù)據(jù)訓(xùn)練的機器學(xué)習(xí)技術(shù)很難解決行駛環(huán)境中無窮盡的開放場景。例如，小朋友很容易理解的兒歌我在馬路邊撿到一分錢，把它交到警察叔叔手里邊，人工智能技術(shù)要理解就要解決很多問題。比如為什么撿到一分錢是合理的而撿到一億元是不合理的，為什么要交給警察，等等。人在生長過程中積累的大量已知的不安全（known unsafe），再加上交通開放場景的未知的不安全（unknown unsafe），是自動駕駛難以解決的長尾問題。當然，自動駕駛要解決的技術(shù)難點很多，這將在本書里進行逐一闡述。

雖然實現(xiàn)自動駕駛的挑戰(zhàn)很多，但是新一代智能汽車能為社會帶來幾乎零排放、零事故、零成本的交通出行系統(tǒng)。2020年以來，售價約15 000美元、單次充電行駛里程400千米以上電動汽車的規(guī)模上市，可以完全對標主流燃油汽車的性能和使用成本，標志著電動汽車已經(jīng)到達超越燃油車的臨界點。未來 10 年，電動汽車的普及將使全球石油消耗量減少約 30%，汽車產(chǎn)業(yè)零排放的目標指日可期。此外，隨著自動駕駛帶來安全性的提升，最終達到零事故出行的愿景。目前，全世界每年有 135 萬人死于交通事故，相當于每 24 秒就有 1 人因交通事故喪命，與交通事故相關(guān)的成本約占全球GDP的0．5%。根據(jù)Waymo公司的最新研究，目前其自動駕駛技術(shù)能夠規(guī)避75%的碰撞事故發(fā)生，減少93%的嚴重受傷，高于理想狀態(tài)下人類司機模型的62．5%和84%。并且，電動汽車的維護保養(yǎng)和行駛成本相比燃油車可以大幅度降低，甚至趨近于零。首先，電動汽車的運動部件少于 200 個，而燃油汽車的運動部件超過 2000 個，電動汽車在生命周期內(nèi)的保養(yǎng)成本不到燃油車的一半。電動汽車的電機驅(qū)動和車身設(shè)計可以支撐160萬千米運行，在正常情況下行駛，電池可以支持50萬~80萬千米的行駛距離，也可以通過更換電池持續(xù)使用，是燃油汽車使用壽命的10倍以上，其生命周期內(nèi)的折舊費用也可以減少到原來的1/10�；�于換電技術(shù)，電池即服務(wù)(battery as a service) 帶來了另一個維度的降低出行成本的方法，尤其在商用車領(lǐng)域，換電服務(wù)可以降低因為充電時間帶來的服務(wù)中斷，電池倉可以通過大規(guī)模的標準化降低電池采購成本，并且也可以優(yōu)化電池維護和保養(yǎng)，換電還可以更好地利用電網(wǎng)的價格低谷。綜上所述，電動汽車的折舊成本、維護成本和使用成本都相當于傳統(tǒng)燃油車的1/10，在共享出行的場景，每千米成本從今天的1元左右，降低到0．1元。共享出行的另一個主要開支是軟件使用費用，未來自動駕駛模式趨于成熟，按照目前特斯拉自動駕駛訂閱模式，每月為1400元，假設(shè)共享出行的每月里程為6000千米，則每千米的AI司機費用約為0．02元。綜合上述數(shù)據(jù)，通過電動化和自動駕駛，共享出行的成本可以從今天的1．5元降低到0．12元，百公里出行的成本為12元，如果是多人一起出行，則成本進一步降低，和水、電、網(wǎng)絡(luò)服務(wù)的使用成本基本相同。

本書的寫作目的

在自動駕駛發(fā)展方興未艾時，越來越多的公司、工程師、科學(xué)家和學(xué)生進入或打算進入這個賽道。筆者希望給讀者介紹一下當今自動駕駛前沿的技術(shù)理論。

本書主要包括以下內(nèi)容。

�r 簡要介紹自動駕駛的概論，包括自動駕駛的分級方法、兩種不同的開發(fā)結(jié)構(gòu)(模塊化和端到端)、自動駕駛的應(yīng)用場景分類和數(shù)據(jù)閉環(huán)概念等。

�r 在展開前沿技術(shù)介紹之前，鋪墊了涉及的基礎(chǔ)理論，如計算機視覺、圖像處理、優(yōu)化理論、機器學(xué)習(xí)和深度學(xué)習(xí)等。

�r 在開始本書的重點之前，讀者需要對自動駕駛的軟硬件平臺有初步了解，硬件部分有傳感器(攝像頭、激光雷達、毫米波雷達、超聲波雷達和車聯(lián)網(wǎng)等)、計算平臺、線控底盤和電子電氣架構(gòu)等，軟件部分有軟件架構(gòu)(如AUTOSAR和aSPICE)、軟件開發(fā)V�材Ｐ秃筒僮飨到y(tǒng)。

�r 本書真正的重頭戲是第5~9章，即感知、高清地圖、定位、規(guī)劃和控制。感知部分涉及了多種傳感器標定、單目測距、深度圖估計、3D障礙物檢測和跟蹤、傳感器融合(數(shù)據(jù)級和任務(wù)級)、車道線檢測、交通標志檢測識別、交通信號燈檢測識別、雙目視覺、駕駛區(qū)域分割、人體姿態(tài)估計、駕駛?cè)吮O(jiān)控系統(tǒng)和新一代BEV感知框架等； 高清地圖部分介紹了高清地圖的結(jié)構(gòu)、語義地圖的構(gòu)建、基于車道線地圖和基于深度學(xué)習(xí)的SLAM等； 定位部分和高清地圖部分不可分，包括基于車道線地圖的定位、基于激光雷達的地圖定位、傳感器融合的混合式定位以及基于深度學(xué)習(xí)的定位方法； 規(guī)劃部分涉及基本的規(guī)劃理論、對駕駛行為的建模預(yù)測、行人行為的建模預(yù)測和基于深度學(xué)習(xí)的模仿學(xué)習(xí)等； 控制方法相對來說比較傳統(tǒng)，但是在回顧經(jīng)典的車輛運動學(xué)和動力學(xué)模型、控制理論（如PID和MPC）之外，也討論了基于深度學(xué)習(xí)的控制理論。

�r 本書也討論了自動駕駛研發(fā)重要的一個環(huán)節(jié)： 模擬仿真，介紹了傳感器仿真，交通模擬模型、汽車/行人仿真模型、可視化平臺以及數(shù)字孿生和安全�簿o要場景數(shù)據(jù)生成等。

�r 作為自動駕駛不可分的一部分是安全理論，本書涉及著名的NHTSA的安全要素、國際標準化組織功能安全標準ISO 26262和預(yù)期功能安全標準ISO 21448(SOTIF)、網(wǎng)絡(luò)安全、自動駕駛的安全隱患和解決方法以及系統(tǒng)的驗證和確認(V&V)技術(shù)，還附加了Intel Mobileye的責任敏感性安全模型。

�r 目前自動駕駛技術(shù)最接近商業(yè)落地的一個場景是自動自主泊車。本書專門具體討論了泊車系統(tǒng)的視覺系統(tǒng)標定、停車位檢測、運動規(guī)劃、傳感器融合(超聲波和環(huán)視攝像系統(tǒng))和自主泊車系統(tǒng)，特別討論了停車場的地圖制作和基于深度學(xué)習(xí)的泊車規(guī)劃方法。

�r 車聯(lián)網(wǎng)是自動駕駛的一個重要輔助，可以看作傳感器的延伸。本書還討論了車聯(lián)網(wǎng)技術(shù)的應(yīng)用，如車�猜穮f(xié)同、車輛協(xié)同感知和車輛編隊的規(guī)劃及控制等。

�r 針對當前比較熱門的兩種技術(shù)，本書也單獨給予分析討論。一是神經(jīng)渲染，其中包括神經(jīng)輻射場模型(NeRF)的基礎(chǔ)、算法加速、泛化和擴展技術(shù)； 二是擴散模型，一種性能最優(yōu)的內(nèi)容生成模型，介紹其基礎(chǔ)理論、改進方法以及在圖像合成、圖像�矆D像翻譯和文本�矆D像生成等方面的應(yīng)用。

讀者對象

本書讀者需要有一定基礎(chǔ)，如具備在計算機視覺和機器學(xué)習(xí)(甚至深度學(xué)習(xí))方面的理論基礎(chǔ)和實踐經(jīng)驗。本書并不是給初學(xué)者一個了解自動駕駛的窗口，而是真正深入地進入自動駕駛面臨的難題之中，給讀者一個全面的認識。本書提供了很多自動駕駛前沿技術(shù)的一手資料，希望能夠啟發(fā)和觸動自動駕駛一線的研發(fā)人員，在遇到問題和困難時開闊思路并發(fā)現(xiàn)新的解決方法。

為便于讀者閱讀和理解，將書中部分彩圖以在線圖片的形式呈現(xiàn)，請先掃描封底刮刮卡內(nèi)二維碼，再掃描章名旁的二維碼查看。

由于筆者水平有限，書中不當之處在所難免，歡迎廣大同行和讀者批評指正。

黃浴楊子江2024年1月