自動(dòng)駕駛汽車即將在人們的生活中得到廣泛應(yīng)用。自動(dòng)駕駛領(lǐng)域的發(fā)展和進(jìn)步令人嘆為觀止。作者第一次聽說自動(dòng)駕駛汽車是在2010年，當(dāng)時(shí)作者在東京的豐田展廳試乘過一次，乘車費(fèi)用約為1美元。汽車行駛得很緩慢，這輛車非常明顯地依賴嵌入道路的傳感器。

幾年后，激光雷達(dá)和計(jì)算機(jī)視覺和深度學(xué)習(xí)取得了很大進(jìn)步，使得之前的技術(shù)看起來非常原始，存在對(duì)道路不必要的改造，成本高昂。

本書將使用OpenCV完成各種任務(wù)，包括行人識(shí)別和車道識(shí)別；讀者將會(huì)探索深度學(xué)習(xí)并學(xué)習(xí)如何將其用于圖像分類、目標(biāo)檢測(cè)和語義分割，并用它來識(shí)別行人、汽車、道路、人行道和交通信號(hào)燈，同時(shí)學(xué)習(xí)一些影響最深遠(yuǎn)的神經(jīng)網(wǎng)絡(luò)算法。

經(jīng)過對(duì)本書的學(xué)習(xí)，讀者將能熟練使用Carla模擬器，基于該模擬器使用行為克隆和PID控制器來控制汽車；了解網(wǎng)絡(luò)協(xié)議、傳感器、攝像頭，以及如何使用激光雷達(dá)來對(duì)周圍世界進(jìn)行建圖和定位。

但在深入研究這些驚人的技術(shù)之前，請(qǐng)花點(diǎn)時(shí)間想象一下20年以后的未來。汽車會(huì)是什么樣子？它們可以實(shí)現(xiàn)自動(dòng)駕駛嗎？那時(shí)候汽車能飛起來嗎？交通信號(hào)燈那時(shí)還是否會(huì)存在？那些汽車多快、多重，又有多貴？人們?nèi)绾问褂闷�車以及人們使用汽車的頻率如何？自動(dòng)駕駛公交車和貨車又將如何發(fā)展？

人們無法預(yù)知未來，但可以想象，自動(dòng)駕駛汽車和一切能夠自動(dòng)駕駛的事物將以令人興奮的新方式塑造人們的城市和日常生活。

讀者想在定義未來中發(fā)揮積極作用嗎？如果是，請(qǐng)繼續(xù)閱讀下去。本書會(huì)成為這場(chǎng)旅程的開端。

本書面向的讀者

這本書涵蓋了建造自動(dòng)駕駛汽車所需的幾個(gè)方面，適用于具備任何一種編程語言 （zuihao是Python） 基礎(chǔ)知識(shí)的程序員。讀者不需要具備深度學(xué)習(xí)的經(jīng)驗(yàn)，但是，若要wanquan理解zui高階的章節(jié)，學(xué)習(xí)一些擴(kuò)展閱讀的內(nèi)容可能會(huì)有所幫助。與第11章相關(guān)的參考源代碼是用C 語言編寫的。

本書內(nèi)容

第1章，OpenCV基礎(chǔ)知識(shí)和攝像頭標(biāo)定，介紹了OpenCV和NumPy；講解如何處理圖像和視頻，如何使用OpenCV檢測(cè)行人；此外還解釋了攝像頭的工作原理以及如何使用OpenCV對(duì)其進(jìn)行校準(zhǔn)。

第2章，理解和使用信號(hào)，介紹了不同類型的信號(hào)：串行、并行、數(shù)字、模擬、單端和差分信號(hào)，并講解了一些非常重要的協(xié)議：CAN、以太網(wǎng)、TCP和UDP。

第3章，車道檢測(cè)，涵蓋使用OpenCV檢測(cè)路上車道所需的一切。本章介紹了閾值處理、透視校正、邊緣檢測(cè)、直方圖、滑動(dòng)窗口算法以及獲得zui佳檢測(cè)所需的濾波。

第4章，基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)，介紹了一般的神經(jīng)網(wǎng)絡(luò)，特別是卷積神經(jīng)網(wǎng)絡(luò)。本章還介紹了Keras （一個(gè)深度學(xué)習(xí)模塊），并展示了如何用它來檢測(cè)手寫數(shù)字和對(duì)一些圖像進(jìn)行分類。讀者通過本章學(xué)習(xí)，能夠快速掌握編寫神經(jīng)網(wǎng)絡(luò)的方法。

第5章，深度學(xué)習(xí)工作流，恰當(dāng)?shù)匮a(bǔ)充了第4章中基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)。本章介紹了神經(jīng)網(wǎng)絡(luò)理論和典型工作流的步驟：獲取或創(chuàng)建數(shù)據(jù)集，將其拆分為訓(xùn)練、驗(yàn)證和測(cè)試集，進(jìn)行數(shù)據(jù)增強(qiáng)，在分類器中使用的主要層以及如何訓(xùn)練、推理和重新訓(xùn)練。本章還介紹了欠擬合和過擬合，并解釋了如何將卷積層的激活情況可視化。

第6章，改進(jìn)神經(jīng)網(wǎng)絡(luò)，解釋了如何優(yōu)化神經(jīng)網(wǎng)絡(luò)、減少其參數(shù)，以及如何使用批量歸一化、早終止、數(shù)據(jù)增強(qiáng)和隨機(jī)失活 (Dropout) 來提高其驗(yàn)證準(zhǔn)確性。

第7章，檢測(cè)行人和交通信號(hào)燈，介紹自動(dòng)駕駛汽車模擬器Carla，并用它來創(chuàng)建交通信號(hào)燈數(shù)據(jù)集。本章還使用被稱為SSD的預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)檢測(cè)行人、汽車和交通信號(hào)燈，以及使用名為遷移學(xué)習(xí)的強(qiáng)大技術(shù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以便根據(jù)交通信號(hào)燈的顏色對(duì)其進(jìn)行分類。

第8章，行為克隆，講解如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)來驅(qū)動(dòng)Carla，解釋了行為克隆是什么，如何使用Carla構(gòu)建驅(qū)動(dòng)數(shù)據(jù)集，如何創(chuàng)建適合此任務(wù)的網(wǎng)絡(luò)以及如何對(duì)其進(jìn)行訓(xùn)練。本章還使用顯著圖來了解網(wǎng)絡(luò)正在學(xué)習(xí)什么，并將其與Carla集成以幫助它自驅(qū)動(dòng)。

第9章，語義分割，這是關(guān)于深度學(xué)習(xí)的最后一章，也是zui高階的一章，解釋了什么是語義分割。本章詳細(xì)介紹了一個(gè)非常有趣的DenseNet架構(gòu)，展示了如何使其適用于語義分割。





第10章，轉(zhuǎn)向、加速和制動(dòng)控制，本章內(nèi)容涉及控制自動(dòng)駕駛汽車，解釋了什么是控制器，重點(diǎn)介紹了PID控制器并涵蓋了MPC控制器的基礎(chǔ)知識(shí)。最后將在Carla中實(shí)現(xiàn)一個(gè)PID控制器的控制。

第11章，環(huán)境建圖，這是本書最后一章。本章討論了地圖、定位和激光雷達(dá)，并介紹了一些開源建圖工具。讀者將了解到什么是同步定位與地圖構(gòu)建(SLAM)，以及如何使用Ouster激光雷達(dá)和Google Cartographer實(shí)現(xiàn)它。

充分利用本書

本書假定讀者已經(jīng)具備Python的基礎(chǔ)知識(shí)，熟悉所用操作系統(tǒng)的命令解析器shell。讀者需要安裝Python，也可能用到虛擬環(huán)境來匹配本書中使用的軟件版本。建議使用GPU，因?yàn)闆]有GPU的訓(xùn)練會(huì)很艱難。Docker將有助于第11章環(huán)境建圖。

本書使用的軟件見下表：


本書用到的軟件/硬件
操作系統(tǒng)要求
Python 3.7
無
TensorFlow 2.2
無
Keras 2.3
無
Carla 0.9.9.2
無

如果讀者使用的是本書的電子版，建議自己輸入代碼或通過github代碼倉訪問代碼。這樣做有助于避免與復(fù)制粘貼代碼