第1 章 物聯(lián)網(wǎng)和大數(shù)據(jù)簡(jiǎn)介 .............................................................................................................. 1
任務(wù)1.1 認(rèn)識(shí)物聯(lián)網(wǎng) ................................................................................................................... 1
1.1.1 物聯(lián)網(wǎng)的定義 ............................................................................................................ 2
1.1.2 物聯(lián)網(wǎng)架構(gòu) ................................................................................................................ 2
1.1.3 物聯(lián)網(wǎng)的行業(yè)應(yīng)用 .................................................................................................... 3
任務(wù)1.2 認(rèn)識(shí)大數(shù)據(jù) ................................................................................................................... 7
1.2.1 大數(shù)據(jù)的定義 ............................................................................................................ 8
1.2.2 大數(shù)據(jù)的特點(diǎn) ............................................................................................................ 8
1.2.3 大數(shù)據(jù)技術(shù)的行業(yè)應(yīng)用 ............................................................................................ 9
任務(wù)1.3 認(rèn)識(shí)開(kāi)源工具.............................................................................................................. 12
1.3.1 NodeMCU ................................................................................................................ 13
1.3.2 Arduino IDE ............................................................................................................. 15
1.3.3 EMQ X Broker ......................................................................................................... 16
1.3.4 Hadoop ..................................................................................................................... 18
1.3.5 Kafka ........................................................................................................................ 22
1.3.6 Flink .......................................................................................................................... 24
1.3.7 Flask ......................................................................................................................... 25
1.3.8 MySQL ..................................................................................................................... 27
1.3.9 ECharts ..................................................................................................................... 29
1.3.10 Grafana ................................................................................................................... 30
1.3.11 VS Code .................................................................................................................. 31
1.3.12 IntelliJ IDEA........................................................................................................... 32
1.3.13 Maven ..................................................................................................................... 33
小結(jié) .............................................................................................................................................. 34
習(xí)題 .............................................................................................................................................. 34
第2 章 物聯(lián)網(wǎng)數(shù)據(jù)采集 .................................................................................................................... 35
任務(wù)2.1 組建物聯(lián)網(wǎng)環(huán)境 .......................................................................................................... 35
2.1.1 認(rèn)識(shí)傳感器 .............................................................................................................. 36
2.1.2 NodeMCU 連接傳感器 ........................................................................................... 37
任務(wù)2.2 部署軟件開(kāi)發(fā)環(huán)境 ...................................................................................................... 37
2.2.1 安裝配置EMQ X Broker ........................................................................................ 38
2.2.2 安裝配置Arduino IDE ............................................................................................ 40
任務(wù)2.3 NodeMCU 編程 ........................................................................................................... 45
2.3.1 連接EMQ X Broker ................................................................................................ 45
2.3.2 讀取傳感器數(shù)據(jù)示例 .............................................................................................. 48
2.3.3 發(fā)布傳感器數(shù)據(jù)示例 .............................................................................................. 50
小結(jié) .............................................................................................................................................. 53
習(xí)題 .............................................................................................................................................. 53
第3 章 大數(shù)據(jù)基礎(chǔ)環(huán)境部署與編程 ................................................................................................ 54
任務(wù)3.1 Linux 系統(tǒng)安裝與Shell 編程 ..................................................................................... 54
3.1.1 虛擬化軟件和操作系統(tǒng)安裝 .................................................................................. 55
3.1.2 Linux 系統(tǒng)常用命令 ................................................................................................ 58
3.1.3 Shell 腳本編程 ......................................................................................................... 76
任務(wù)3.2 Hadoop 安裝與HDFS 編程 ........................................................................................ 80
3.2.1 Hadoop 安裝 ............................................................................................................ 81
3.2.2 配置Hadoop 運(yùn)行方式 ............................................................................................ 84
3.2.3 HDFS 基本操作命令 ............................................................................................... 88
3.2.4 HDFS 編程實(shí)訓(xùn) ....................................................................................................... 89
任務(wù)3.3 Kafka 安裝與編程 ..................................................................................................... 100
3.3.1 Kafka 安裝 ............................................................................................................. 101
3.3.2 Kafka 配置 ............................................................................................................. 104
3.3.3 Kafka 基本操作命令 ............................................................................................. 108
3.3.4 Kafka 編程實(shí)訓(xùn) ..................................................................................................... 110
任務(wù)3.4 Flink 安裝與編程 ...................................................................................................... 114
3.4.1 Flink 安裝 ............................................................................................................... 115
3.4.2 Flink 配置 ............................................................................................................... 117
3.4.3 Flink 基本操作命令 ............................................................................................... 121
3.4.4 Flink 編程實(shí)訓(xùn) ....................................................................................................... 123
小結(jié) ............................................................................................................................................ 126
習(xí)題 ............................................................................................................................................ 126
第4 章 機(jī)器學(xué)習(xí) .............................................................................................................................. 128
任務(wù)4.1 認(rèn)識(shí)機(jī)器學(xué)習(xí)............................................................................................................ 128
任務(wù)4.2 監(jiān)督學(xué)習(xí)編程............................................................................................................ 130
4.2.1 樸素貝葉斯算法 .................................................................................................... 130
4.2.2 決策樹(shù) .................................................................................................................... 143
4.2.3 支持向量機(jī) ............................................................................................................ 147
4.2.4 邏輯回歸 ................................................................................................................ 152
4.2.5 線性回歸 ................................................................................................................ 156
4.2.6 KNN 算法 .............................................................................................................. 159
任務(wù)4.3 無(wú)監(jiān)督學(xué)習(xí)編程 ........................................................................................................ 162
4.3.1 K-Means 算法 ........................................................................................................ 163
4.3.2 主成分分析 ............................................................................................................ 166
小結(jié) ............................................................................................................................................ 170
習(xí)題 ............................................................................................................................................ 170
第5 章 智慧家居傳感器數(shù)據(jù)采集與展示系統(tǒng) .............................................................................. 172
任務(wù)5.1 安裝和配置VS Code 并掌握使用方法 ................................................................... 173
5.1.1 安裝和配置VS Code ............................................................................................. 173
5.1.2 VS Code 基本使用方法 ......................................................................................... 175
任務(wù)5.2 Flask 環(huán)境部署與基礎(chǔ)編程 ...................................................................................... 178
5.2.1 安裝Python3 .......................................................................................................... 179
5.2.2 安裝Flask .............................................................................................................. 181
5.2.3 Flask 基本使用方法 ............................................................................................... 182
任務(wù)5.3 MySQL 安裝配置與基礎(chǔ)操作 .................................................................................. 190
5.3.1 安裝配置MySQL .................................................................................................. 190
5.3.2 MySQL 基礎(chǔ)操作 .................................................................................................. 191
任務(wù)5.4 智慧家居數(shù)據(jù)采集與處理 ........................................................................................ 196
5.4.1 采集傳感器數(shù)據(jù)并上傳至EMQ X Broker 代理服務(wù)器 ...................................... 196
5.4.2 訂閱EMQ X Broker 數(shù)據(jù)并寫(xiě)入Kafka ............................................................... 199
5.4.3 將數(shù)據(jù)存儲(chǔ)至關(guān)系數(shù)據(jù)庫(kù)MySQL ...................................................................... 201
5.4.4 數(shù)據(jù)存儲(chǔ)至分布式文件系統(tǒng) ................................................................................ 206
5.4.5 應(yīng)用機(jī)器學(xué)習(xí)算法進(jìn)行數(shù)據(jù)趨勢(shì)預(yù)測(cè) ................................................................ 207
任務(wù)5.5 數(shù)據(jù)可視化展示 ........................................................................................................ 209
5.5.1 安裝與配置Grafana .............................................................................................. 210
5.5.2 數(shù)據(jù)可視化展示 .................................................................................................... 212
小結(jié) ............................................................................................................................................ 215
習(xí)題 ............................................................................................................................................ 216