前 言
為什么要寫這本書?
隨著技術的發(fā)展,計算機及其他硬件越來越大眾化。在許多IT企業(yè)或組織中,人力資
源正成為最寶貴的資源。同時,社會信息化程度的提高,加劇了互聯(lián)網(wǎng)行業(yè)的競爭,眾多
企業(yè)都使用MVP(最小可行產(chǎn)品)模型來開發(fā)軟件產(chǎn)品。在這樣的背景下,程序的開發(fā)時
間比程序的執(zhí)行時間更為重要,減少每個項目開發(fā)所需的時間和人力可以為企業(yè)節(jié)省大量
的資金。
Django作為高級的Python Web框架,繼承了Python語言表達力強、開發(fā)效率高的優(yōu)點,
正成為越來越多團隊的技術選擇。Django除了自帶Web開發(fā)工具外,還有眾多開箱即用的
第三方Django擴展,使工程師能夠高效率地解決更多的技術問題。程序員要想學習Django
開發(fā),除了需要有扎實的Python語言基礎外,還要學習Web應用相關的知識,如HTTP、緩存、
數(shù)據(jù)庫等。
另外,DevOps的流行,正在打破開發(fā)和運維之間的邊界。在很多IT企業(yè)或組織中,
開發(fā)人員也需要參與項目的部署和運維。這對開發(fā)人員提出了新的要求:不僅需要了解和
編寫業(yè)務,而且需要了解高可用的技術架構。當下,云計算已經(jīng)成為最重要的IT基礎設施,
這種開發(fā)加運維的能力正變得越來越重要。
目前圖書市場上關于Django框架應用的圖書不少,但真正從實際應用出發(fā),以用戶價
值為核心,從提出問題到需求提煉的價值探索,再到構建應用、運行應用、檢測應用的快
速驗證這一研發(fā)閉環(huán)為主旨的圖書卻很少。本書便是以實戰(zhàn)為主旨,以Django為切入點,
以全面的視角介紹了Web應用的技術架構和常見的應用案例,讓讀者全面、深入、透徹地
理解Web開發(fā)的各種熱門技術,提高實際開發(fā)水平和實戰(zhàn)能力。
本書有何特色?
1. 涵蓋Django 主要功能和主流Python 框架的整合使用
本書涵蓋Django 模型、視圖、中間件、表單、模板、安全等主要功能,以及Django
與Celery、pyredis、django-allauth 等主流框架的整合使用。
2. 對Python Web 開發(fā)的各種技術和框架作了原理上的分析
本書從一開始便對Web 開發(fā)基礎和Python Web 開發(fā)的環(huán)境配置做了基本介紹,并對各
種開發(fā)技術和主流框架及其整合進行了原理性分析,便于讀者理解書中后面介紹的典型模
塊開發(fā)和項目案例。
3. 涵蓋Python Web 應用常見關聯(lián)技術棧
本書介紹了數(shù)據(jù)庫MySQL、Web 服務器Nginx、緩存服務Redis、消息隊列服務
RabbitMQ 的作用和如何在Django 中使用這些技術。另外,本書還介紹了WSGI、uwsgi、
Gunicorn、ZooKeeper、Vagrant 、Docker 和Linux 這些常用于部署和運維Django 應用的工
具和服務。
4. 涵蓋高可用的Web 技術架構的原理
本書介紹了MySQL“主從同步”高可用原理、Redis 的Redis Cluster 和Codis 高可用原理、
NSQ 高可用原理、RabbitMQ 高可用原理,涵蓋了LVS 、Nginx 作為負載均衡器的工作原理,
也介紹了采集日志和監(jiān)控的常用技術棧。
本書內(nèi)容及知識體系
第1 篇開發(fā)工具及框架概述(第1 章)
本篇介紹了Django 開發(fā)環(huán)境的配置和HTTP 服務開發(fā)的基礎知識,主要包括Web 開
發(fā)基礎、配置Python 開發(fā)環(huán)境、MVC 開發(fā)模式等。
第2 篇項目案例實戰(zhàn)(第2
~
11 章)
本篇介紹了使用Django 來開發(fā)一個小型電商網(wǎng)站的案例。開發(fā)過程包括需求分析、技
術選型及使用Django 自帶的ORM、視圖、模板、表單、緩存、異步任務、安全、訪問控制、
測試和第三方的開源工具來完成項目需求。
第3 篇高可用技術架構(第12
~
16 章)
本篇介紹了如何部署、運維和監(jiān)控以Django 為代表的Web 應用,主要包括Web 服務器、
應用服務器、虛擬化技術、負載均衡技術、服務發(fā)現(xiàn)技術、ELK 技術棧和監(jiān)控系統(tǒng)。
適合閱讀本書的讀者
●
需要全面學習Python Web 開發(fā)技術的人員;
●
廣大Web 開發(fā)程序員;
●
Python 程序員;
●
希望提高項目開發(fā)水平的人員;
●
專業(yè)培訓機構的學員;
●
軟件開發(fā)項目經(jīng)理;
●
運維人員和DevOps 工程師。
閱讀本書的建議
●
沒有Python 基礎的讀者,建議從第1 章依次閱讀并演練每一個實例。
●
有一定Django 框架基礎的讀者,可以根據(jù)實際情況有重點地選擇閱讀各個模塊和
項目案例。
●
對于每一個模塊和項目案例,先自己思考一下實現(xiàn)的思路,然后帶著問號去閱讀,
學習效果會更好。
目 錄
第 1 篇
開發(fā)工具及框架概述
第1章 從零開始學Django 2
1.1 網(wǎng)站運行原理 2
1.1.1 HTTP 2
1.1.2 Web發(fā)展 4
1.1.3 瀏覽器 4
1.1.4 MVC模式 6
1.2 Python Web編程6
1.2.1 通用網(wǎng)關接口 7
1.2.2 WSGI協(xié)議 7
1.2.3 模板引擎 8
1.3 快速上手Django 8
1.3.1 配置開發(fā)環(huán)境 8
1.3.2 創(chuàng)建項目 10
1.3.3 配置說明 11
1.3.4 創(chuàng)建應用 12
1.3.5 啟動開發(fā)服務器 13
1.3.6 編寫一個頁面 13
1.4 總結 14
1.5 練習 14
第 2 篇
項目案例實戰(zhàn)
第2章 構建電商網(wǎng)站 16
2.1 網(wǎng)站需求分析 16
2.1.1 需求 16
2.1.2 需求分析 17
2.2 網(wǎng)站結構 18
2.2.1 分層設計 18
2.2.2 技術選型 19
2.3 用戶模塊 20
2.3.1 Django自帶的用戶模塊 20
2.3.2 一對一擴展用戶模型 22
2.3.3 繼承AbstractBaseUser 25
2.3.4 繼承AbstractUser 27
2.4 商品庫模塊 27
2.4.1 設計模型 28
2.4.2 獲取商品 28
2.5 訂單模塊 29
2.5.1 購物籃模型 29
2.5.2 訂單模型 30
?
VI Django項目開發(fā)實戰(zhàn)
2.5.3 獲取訂單數(shù)據(jù) 31
2.6 統(tǒng)計模塊 33
2.7 總結 34
2.8 練習 34
第3 章 Django 和數(shù)據(jù)庫35
3.1 管理 35
3.1.1 配置 35
3.1.2 連接池 37
3.1.3 更改表結構 38
3.2 查詢 40
3.2.1 保存對象 40
3.2.2 獲取對象 41
3.2.3 懶加載和緩存 42
3.2.4 聚合查詢 43
3.3 事務 44
3.3.1 事務管理 44
3.3.2 自動提交 45
3.3.3 提交后執(zhí)行操作 46
3.4 數(shù)據(jù)庫并發(fā)控制 47
3.4.1 沖突 47
3.4.2 悲觀鎖 48
3.4.3 樂觀鎖 50
3.4.4 解決沖突 51
3.5 數(shù)據(jù)庫擴展 52
3.5.1 擴展方法 52
3.5.2 讀寫分離 53
3.5.3 垂直分庫 55
3.5.4 水平擴展 57
3.5.5 算法分片 58
3.5.6 動態(tài)分片 60
3.5.7 全局ID 62
3.6 MySQL 實踐 63
3.7 總結 64
3.8 練習 64
第4 章視圖65
4.1 配置URL 65
4.1.1 URL 匹配 65
4.1.2 配置嵌套 66
4.1.3 反向解析URL 67
4.2 視圖函數(shù) 69
4.2.1 視圖函數(shù) 69
4.2.2 請求和響應對象 70
4.2.3 模板響應對象 71
4.3 視圖類 72
4.3.1 基本用法 72
4.3.2 視圖類的優(yōu)點 73
4.4 文件上傳 74
4.4.1 文件表單 74
4.4.2 文件存儲 75
4.4.3 使用對象存儲系統(tǒng) 76
4.5 生成文件 79
4.5.1 生成CSV 文件 79
4.5.2 生成PDF 文件 80
4.6 中間件 81
4.7 總結 83
4.8 練習 83
第5 章模板84
5.1 Web 模板系統(tǒng) 84
5.2 Django 模板系統(tǒng) 85
?
目 錄VII
5.2.1 配置 85
5.2.2 模板語言 86
5.3 模板繼承 88
5.4 字符轉(zhuǎn)義 90
5.5 自定義標簽和過濾器 92
5.5.1 代碼路徑 92
5.5.2 編寫自定義過濾器 93
5.5.3 自定義標簽 93
5.6 總結 95
5.7 練習 95
第6 章表單96
6.1 網(wǎng)頁表單 96
6.1.1 表單元素 96
6.1.2 提交數(shù)據(jù) 98
6.2 Django 表單 98
6.2.1 處理流程 99
6.2.2 Form 類100
6.2.3 ModelForm 類 102
6.2.4 表單集合 103
6.3 AJAX 表單 105
6.3.1 AJAX 技術105
6.3.2 動態(tài)表單 106
6.4 驗證碼 107
6.4.1 表單驗證碼 108
6.4.2 AJAX 驗證碼109
6.5 總結 110
6.6 練習 110
第7 章 Django 和緩存111
7.1 Web 緩存系統(tǒng) 111
7.1.1 Redis 緩存 111
7.1.2 HTTP 緩存 114
7.2 Django 緩存系統(tǒng) 115
7.2.1 配置緩存 116
7.2.2 使用緩存 117
7.2.3 緩存頁面 118
7.2.4 使用HTTP 緩存 120
7.3 緩存替換策略 122
7.4 寫入策略 126
7.4.1 Cache-Aside 模式126
7.4.2 Write-Through 模式 128
7.4.3 Write-Back 模式129
7.5 高可用緩存系統(tǒng) 131
7.5.1 Redis 集群 131
7.5.2 Codis 集群133
7.5.3 緩存穿透和雪崩 134
7.6 總結 135
7.7 練習 135
第8 章 Django 和消息隊列136
8.1 消息隊列 136
8.1.1 消息隊列系統(tǒng) 136
8.1.2 使用消息隊列 138
8.1.3 AMQP 139
8.1.4 使用RabbitMQ 141
8.2 Django 和Celery 框架 143
8.2.1 任務類 143
8.2.2 在Django 中使用Celery 145
8.2.3 定時任務 148
8.2.4 任務路由 150
8.2.5 任務工作流 151
?
VIII Django項目開發(fā)實戰(zhàn)
8.2.6 最佳實踐 153
8.3 高可用消息隊列 154
8.3.1 RabbitMQ 高可用 154
8.3.2 NSQ 系統(tǒng) 155
8.4 總結 156
8.5 練習 156
第9 章 Django 與安全157
9.1 安全中間件 157
9.1.1 跨站點腳本防護 157
9.1.2 跨站點偽造請求防護 158
9.1.3 SQL 注入防護 161
9.1.4 點擊劫持 162
9.1.5 訪問白名單 163
9.2 數(shù)據(jù)安全 164
9.2.1 密碼保護 164
9.2.2 安全連接 166
9.2.3 請求簽名 169
9.2.4 重放攻擊 171
9.3 總結 173
9.4 練習 173
第10 章 Django 和訪問控制174
10.1 認證方式 174
10.1.1 HTTP 基本訪問認證 174
10.1.2 訪問令牌 176
10.1.3 簽名驗證 179
10.1.4 OAuth2 驗證 181
10.2 會話狀態(tài) 184
10.3 控制策略 186
10.3.1 訪問控制列表 186
10.3.2 Django 權限系統(tǒng) 188
10.3.3 基于身份的訪問控制 189
10.4 總結 191
10.5 練習 192
第11 章 Django 和測試193
11.1 單元測試 193
11.2 Django 單元測試 194
11.2.1 編寫測試用例 195
11.2.2 運行測試用例 196
11.3 Django 測試工具 198
11.3.1 測試客戶端 198
11.3.2 測試類 200
11.4 Mock 測試 201
11.4.1 Mock 對象 202
11.4.2 模擬返回值 203
11.4.3 副作用 205
11.4.4 限定模擬的范圍 207
11.5 總結 208
11.6 練習 209
第 3 篇
高可用技術架構
第12 章 Django 與部署212
12.1 軟件部署 212
12.2 部署Django 213
12.2.1 Web 服務網(wǎng)關接口 214
12.2.2 配置uWSGI 服務器 215
12.2.3 配置Gunicorn 服務器 218
?
目 錄IX
12.2.4 配置Nginx 服務器 223
12.3 服務管理 224
12.3.1 使用Supervisord 管理服務225
12.3.2 使用systemd 管理服務 226
12.4 Django 與虛擬化技術 228
12.4.1 使用Vagrant 部署Django 應用228
12.4.2 使用Docker 部署Django 應用231
12.4.3 Docker 的reap 問題234
12.5 總結 236
12.6 練習 236
第13 章 Django 與負載均衡237
13.1 調(diào)度算法 237
13.1.1 循環(huán)調(diào)度算法 237
13.1.2 最少連接調(diào)度算法 239
13.1.3 哈希調(diào)度算法 240
13.2 網(wǎng)絡冗余 241
13.2.1 網(wǎng)卡綁定 241
13.2.2 虛擬路由器冗余 242
13.3 常用負載均衡器 245
13.3.1 負載均衡器的類型 245
13.3.2 Linux 虛擬服務器246
13.3.3 Nginx 反向代理 250
13.4 服務發(fā)現(xiàn) 252
13.4.1 服務注冊中心 252
13.4.2 注冊服務 254
13.4.3 發(fā)現(xiàn)服務 256
13.5 總結 259
13.6 練習 260
第14 章 Django 與日志261
14.1 Python 日志模塊 261
14.1.1 日志模塊組件 261
14.1.2 使用日志模塊 263
14.1.3 配置日志模塊 266
14.2 Django 日志工具 267
14.3 日志管理 268
14.3.1 Elastic 技術棧 269
14.3.2 Elasticsearch 集群 273
14.4 總結 275
14.5 練習 276
第15 章監(jiān)控277
15.1 監(jiān)控數(shù)據(jù)采集 277
15.1.1 工作指標 277
15.1.2 資源指標 278
15.1.3 事件 279
15.1.4 收集數(shù)據(jù) 280
15.2 告警 281
15.3 使用Prometheus 282
15.3.1 Prometheus 的工作方式282
15.3.2 抓取Linux 系統(tǒng)數(shù)據(jù)284
15.3.3 抓取Nginx 監(jiān)控數(shù)據(jù) 286
15.3.4 抓取MySQL 監(jiān)控數(shù)據(jù) 288
15.3.5 數(shù)據(jù)存儲 289
15.3.6 告警 290
15.4 總結 291
15.5 練習 291
?
第16章 常用工具 292
16.1 Git版本控制系統(tǒng) 292
16.1.1 Git工作方式 292
16.1.2 Gitflow工作流 294
16.1.3 Git日志用法 296
16.2 Linux常用軟件 297
16.2.1 安全Shell 297
16.2.2 進程狀態(tài) 299
16.2.3 系統(tǒng)性能 301
16.3 性能剖析 303
16.3.1 調(diào)用路徑圖 304
16.3.2 性能測試 306
16.3.3 使用Pyflame生成火焰圖 308
16.4 總結 310
16.5 練習 310