譯者序
前言
作者簡介
審校者簡介
第1章　歡迎來到機(jī)器人世界1
　1.1　開始你的AI旅程1
　1.2　四種不同的AI模型2
　1.3　學(xué)習(xí)AI可以讓你做什么3
　1.4　小結(jié)5
第2章　探索你的AI工具包6
　2.1　GitHub源代碼頁面6
　2.2　Colaboratory 運(yùn)行環(huán)境7
　2.3　小結(jié)11
第3章　Python基礎(chǔ)——學(xué)習(xí)如何用Python編程12
　3.1　顯示文本13
　3.2　變量和操作13
　3.3　列表和數(shù)組14
　3.4　if語句和條件16
　3.5　for循環(huán)和while循環(huán)17
　3.6　函數(shù)21
　3.7　類和對象22
　3.8　小結(jié)24
第4章　AI基礎(chǔ)技巧25
　4.1　什么是強(qiáng)化學(xué)習(xí)25
　4.2　強(qiáng)化學(xué)習(xí)的五大原理26
4.2.1　原理#1——輸入與輸出系統(tǒng)26
4.2.2　原理#2——獎勵27
4.2.3　原理#3——AI環(huán)境27
4.2.4　原理#4——馬爾可夫決策過程28
4.2.5　原理#5——訓(xùn)練與推斷28
　4.3　小結(jié)30
第5章　你的第一個AI模型——小心老虎機(jī)31
　5.1　多臂老虎機(jī)問題31
　5.2　湯普森采樣模型32
5.2.1　模型編程32
5.2.2　理解模型36
5.2.3　什么是分布37
5.2.4　應(yīng)對多臂老虎機(jī)問題39
5.2.5　湯普森采樣策略三步走41
5.2.6　湯普森采樣模型的臨門一腳42
5.2.7　湯普森采樣模型與標(biāo)準(zhǔn)模型42
　5.3　小結(jié)44
第6章　銷售和廣告中的AI——像“AI街之狼”一樣銷售45
　6.1　待解決的問題45
　6.2　用仿真構(gòu)建AI環(huán)境47
6.2.1　運(yùn)行仿真程序48
6.2.2　回顧50
　6.3　AI解決方案及其直覺的回顧50
6.3.1　AI解決方案51
6.3.2　直覺51
　6.4　技術(shù)實(shí)現(xiàn)52
6.4.1　湯普森采樣與隨機(jī)策略選擇52
6.4.2　開始編程52
6.4.3　最終結(jié)果57
　6.5　小結(jié)58
第7章　歡迎來到Q學(xué)習(xí)59
　7.1　迷宮59
7.1.1　第一步60
7.1.2　構(gòu)建環(huán)境61
7.1.3　構(gòu)建AI模型64
　7.2　Q學(xué)習(xí)的完整流程66
7.2.1　訓(xùn)練模式66
7.2.2　推斷模式67
　7.3　小結(jié)67
第8章　物流行業(yè)中的AI——倉庫中的機(jī)器人68
　8.1　構(gòu)建環(huán)境69
8.1.1　狀態(tài)70
8.1.2　行為70
8.1.3　獎勵70
8.1.4　AI解決方案回顧70
　8.2　技術(shù)實(shí)現(xiàn)71
8.2.1　第1部分——構(gòu)建環(huán)境72
8.2.2　第2部分——用Q學(xué)習(xí)構(gòu)建AI解決方案74
8.2.3　第3部分——進(jìn)入推斷模式75
8.2.4　改進(jìn)1——自動化獎勵分配77
8.2.5　改進(jìn)2——加入一個中間目標(biāo)80
　8.3　小結(jié)82
第9章　人工大腦——深度Q學(xué)習(xí)83
　9.1　預(yù)測房價83
9.1.1　上傳數(shù)據(jù)集84
9.1.2　導(dǎo)入依賴庫85
9.1.3　排除變量86
9.1.4　準(zhǔn)備數(shù)據(jù)87
9.1.5　構(gòu)建神經(jīng)網(wǎng)絡(luò)90
9.1.6　訓(xùn)練神經(jīng)網(wǎng)絡(luò)91
9.1.7　展示結(jié)果91
　9.2　深度學(xué)習(xí)理論92
9.2.1　神經(jīng)元92
9.2.2　激活函數(shù)95
9.2.3　神經(jīng)網(wǎng)絡(luò)的工作原理98
9.2.4　神經(jīng)網(wǎng)絡(luò)如何學(xué)習(xí)98
9.2.5　正向傳播算法和反向傳播算法99
9.2.6　梯度下降算法100
　9.3　深度Q學(xué)習(xí)106
9.3.1　歸一化指數(shù)方法107
9.3.2　深度Q學(xué)習(xí)回顧108
9.3.3　經(jīng)驗回放109
9.3.4　深度Q學(xué)習(xí)的完整算法109
　9.4　小結(jié)110
第10章　自動駕駛汽車中的AI——造一輛自動駕駛汽車111
　10.1　構(gòu)建環(huán)境111
10.1.1　設(shè)定目標(biāo)113
10.1.2　設(shè)置參數(shù)116
10.1.3　輸入狀態(tài)118
10.1.4　輸出行為119
10.1.5　獎勵120
　10.2　AI解決方案回顧122
　10.3　技術(shù)實(shí)現(xiàn)123
10.3.1　第1步——導(dǎo)入依賴庫123
10.3.2　第2步——創(chuàng)造神經(jīng)網(wǎng)絡(luò)的架構(gòu)124
10.3.3　第3步——實(shí)現(xiàn)經(jīng)驗回放127
10.3.4　第4步——實(shí)現(xiàn)深度Q學(xué)習(xí)130
　10.4　演示138
10.4.1　安裝Anaconda139
10.4.2　用Python 3.6創(chuàng)建一個虛擬環(huán)境140
10.4.3　安裝PyTorch142
10.4.4　安裝Kivy143
　10.5　小結(jié)151
第11章　商業(yè)中的AI——用深度Q學(xué)習(xí)使成本最小化152
　11.1　要解決的問題152
　11.2　構(gòu)建環(huán)境153
11.2.1　服務(wù)器環(huán)境中的常量和變量153
11.2.2　關(guān)于服務(wù)器環(huán)境的假設(shè)154
11.2.3　仿真155
11.2.4　整體功能156
11.2.5　定義狀態(tài)157
11.2.6　定義行為158
11.2.7　定義獎勵158
11.2.8　最后的仿真示例159
　11.3　AI解決方案161
11.3.1　大腦162
11.3.2　技術(shù)實(shí)現(xiàn)163
　11.4　演示191
11.5　回顧——通用AI框架/藍(lán)圖199
　11.6　小結(jié)200
第12章　深度卷積Q學(xué)習(xí)201
　12.1　CNN有什么用途201
　12.2　CNN的工作原理202
12.2.1　第1步——卷積204
12.2.2　第2步——最大池化206
12.2.3　第3步——扁平化209
12.2.4　第4步——全連接210
　12.3　深度卷積Q學(xué)習(xí)211
　12.4　小結(jié)212
第13章　游戲中的AI——成為《貪吃蛇》大師213
　13.1　要解決的問題213
　13.2　構(gòu)建環(huán)境214
13.2.1　定義狀態(tài)214
13.2.2　定義行為215
13.2.3　定義獎勵216
　13.3　AI解決方案216
13.3.1　大腦217
13.3.2　經(jīng)驗回放記憶218
　13.4　技術(shù)實(shí)現(xiàn)219
13.4.1　第1步——構(gòu)建環(huán)境219
13.4.2　第2步——構(gòu)建大腦226
13.4.3　第3步——構(gòu)建經(jīng)驗回放記憶228
13.4.4　第4步——訓(xùn)練AI模型230
13.4.5　第5步——測試AI模型235
　13.5　演示237
13.5.1　安裝237
13.5.2　結(jié)果242
　13.6　小結(jié)243
第14章　回顧與總結(jié)244
　14.1　回顧——整體AI框架/藍(lán)圖244
　14.2　探索你在AI領(lǐng)域的下一站245
14.2.1　不斷練習(xí)246
14.2.2　社交247
14.2.3　學(xué)無止境247