第 1章 物聯(lián)網(wǎng)的發(fā)展歷程與大數(shù)據(jù) 001 1.1 物聯(lián)網(wǎng)概念的演化與內(nèi)涵解析 001 1.1.1 物聯(lián)網(wǎng)概念的起源 001 1.1.2 物聯(lián)網(wǎng)定義的形成 002 1.2 物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展歷程 005 1.2.1 射頻識(shí)別產(chǎn)業(yè)的興起 005 1.2.2 傳感器及智能終端產(chǎn)業(yè)的發(fā)展 006 1.2.3 網(wǎng)絡(luò)通信產(chǎn)業(yè)的發(fā)展 008 1.2.4 物聯(lián)網(wǎng)中的數(shù)據(jù)處理 009 1.2.5 物聯(lián)網(wǎng)云平臺(tái)的應(yīng)用 010 1.3 物聯(lián)網(wǎng)系統(tǒng)與大數(shù)據(jù)技術(shù)的深入融合 011 1.3.1 聯(lián)網(wǎng)設(shè)備帶來數(shù)據(jù)量的急劇增長(zhǎng) 012 1.3.2 物聯(lián)網(wǎng)系統(tǒng)中大數(shù)據(jù)的特征 013 1.3.3 物聯(lián)網(wǎng)系統(tǒng)專用的大數(shù)據(jù)處理平臺(tái) 015 1.3.4 工業(yè)物聯(lián)網(wǎng)應(yīng)用與大數(shù)據(jù)的融合 016 1.4 物聯(lián)網(wǎng)產(chǎn)業(yè)面臨的挑戰(zhàn)與機(jī)遇 018 1.4.1 物聯(lián)網(wǎng)發(fā)展面臨的主要挑戰(zhàn) 018 1.4.2 物聯(lián)網(wǎng)將邁入全智能化的新階段 021 第 2章 物聯(lián)網(wǎng)技術(shù)體系架構(gòu)的多視圖分析 025 2.1 物聯(lián)網(wǎng)系統(tǒng)的技術(shù)架構(gòu) 027 2.1.1 總體技術(shù)架構(gòu) 027 2.1.2 感知技術(shù) 027 2.1.3 網(wǎng)絡(luò)技術(shù) 028 2.1.4 支撐平臺(tái)技術(shù) 029 2.1.5 應(yīng)用技術(shù) 030 2.1.6 公共技術(shù) 030 2.2 物聯(lián)網(wǎng)系統(tǒng)的概念模型 032 2.2.1 概念模型的總體構(gòu)成 032 2.2.2 域的描述及關(guān)聯(lián)關(guān)系 033 2.3 物聯(lián)網(wǎng)系統(tǒng)的功能體系架構(gòu) 035 2.3.1 系統(tǒng)功能實(shí)體構(gòu)成 035 2.3.2 功能實(shí)體簡(jiǎn)要描述 035 2.3.3 系統(tǒng)部署功能視圖 037 2.4 物聯(lián)網(wǎng)系統(tǒng)的通信參考架構(gòu) 038 2.4.1 通信功能實(shí)體構(gòu)成 038 2.4.2 通信功能實(shí)體描述 039 2.4.3 通信網(wǎng)絡(luò)參考視圖 040 2.5 物聯(lián)網(wǎng)系統(tǒng)的數(shù)據(jù)參考架構(gòu) 042 2.5.1 數(shù)據(jù)功能實(shí)體構(gòu)成 042 2.5.2 數(shù)據(jù)功能實(shí)體描述 042 2.6 物聯(lián)網(wǎng)系統(tǒng)的應(yīng)用體系架構(gòu) 043 2.6.1 角色、子角色和活動(dòng) 043 2.6.2 六域模型的映射關(guān)系 047 2.6.3 物聯(lián)網(wǎng)系統(tǒng)應(yīng)用實(shí)例 048 2.7 物聯(lián)網(wǎng)產(chǎn)品生命周期的安全參考模型 049 第3章 物聯(lián)網(wǎng)系統(tǒng)的數(shù)據(jù)感知與數(shù)據(jù)融合 051 3.1 感知設(shè)備的描述 051 3.1.1 感知設(shè)備的類型 051 3.1.2 感知設(shè)備的硬件組成 055 3.1.3 感知設(shè)備的工作原理 057 3.2 感知設(shè)備的數(shù)據(jù)采集 061 3.2.1 使用傳感器進(jìn)行數(shù)據(jù)采集 062 3.2.2 感知數(shù)據(jù)的傳輸與組網(wǎng) 064 3.2.3 數(shù)據(jù)采集的描述 068 3.3 感知數(shù)據(jù)的基本特性 089 3.3.1 感知數(shù)據(jù)的主要類型 089 3.3.2 感知數(shù)據(jù)的特征分析 091 3.3.3 感知數(shù)據(jù)的數(shù)據(jù)模型 092 3.4 感知數(shù)據(jù)的信息融合 093 3.4.1 信息融合的必要性 093 3.4.2 信息融合概念模型 094 3.4.3 各級(jí)信息融合過程 095 3.4.4 物聯(lián)網(wǎng)系統(tǒng)中的信息融合 104 第4章 物聯(lián)網(wǎng)的協(xié)同信息處理 108 4.1 協(xié)同信息處理的參考模型 108 4.1.1 協(xié)同信息處理的概念和內(nèi)涵 108 4.1.2 協(xié)同信息處理的二維參考模型 109 4.1.3 協(xié)同信息處理的三維參考模型 110 4.2 協(xié)同信息處理的主要實(shí)體及處理過程 111 4.2.1 實(shí)體功能框架 111 4.2.2 協(xié)同信息處理實(shí)體 111 4.2.3 協(xié)同信息處理過程 113 4.3 協(xié)同信息處理的支撐服務(wù)及實(shí)例 115 4.3.1 協(xié)同信息處理的服務(wù)框架 115 4.3.2 支撐物聯(lián)網(wǎng)協(xié)同信息處理的核心服務(wù) 116 4.3.3 支撐物聯(lián)網(wǎng)協(xié)同信息處理的增強(qiáng)服務(wù) 116 4.3.4 協(xié)同信息處理支撐的周界防入侵系統(tǒng)應(yīng)用 117 第5章 物聯(lián)網(wǎng)系統(tǒng)的大數(shù)據(jù)管理架構(gòu) 120 5.1 物聯(lián)網(wǎng)系統(tǒng)中的大數(shù)據(jù)特征與架構(gòu) 120 5.1.1 物聯(lián)網(wǎng)大數(shù)據(jù)的特征 121 5.1.2 物聯(lián)網(wǎng)大數(shù)據(jù)分析平臺(tái)的邏輯架構(gòu) 122 5.2 物聯(lián)網(wǎng)系統(tǒng)中的大數(shù)據(jù)管理 124 5.2.1 物聯(lián)網(wǎng)大數(shù)據(jù)云平臺(tái)PaaS層數(shù)據(jù)處理 124 5.2.2 物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理 125 5.2.3 分布式文件系統(tǒng)關(guān)鍵技術(shù) 127 第6章 物聯(lián)網(wǎng)大數(shù)據(jù)的NoSQL數(shù)據(jù)庫(kù) 131 6.1 NoSQL數(shù)據(jù)庫(kù)概述 131 6.1.1 NoSQL數(shù)據(jù)庫(kù)的優(yōu)勢(shì) 131 6.1.2 NoSQL數(shù)據(jù)庫(kù)的劣勢(shì) 132 6.2 HBase數(shù)據(jù)庫(kù) 133 6.2.1 HBase簡(jiǎn)介 133 6.2.2 HBase的應(yīng)用場(chǎng)景 133 6.2.3 HBase Shell常用的終端命令 133 6.2.4 HBase的API介紹 134 6.2.5 HBase模式的數(shù)據(jù)模型 136 6.2.6 分布式模式的HBase 137 6.2.7 HBase和MapReduce 140 6.2.8 HBase的可靠性和可用性 141 6.2.9 HBase的優(yōu)化 141 6.3 MongoDB數(shù)據(jù)庫(kù) 142 6.3.1 MongoDB簡(jiǎn)介 142 6.3.2 MongoDB的特點(diǎn) 143 6.3.3 MongoDB的體系結(jié)構(gòu) 143 6.3.4 MongoDB目前存在的常見問題 144 6.3.5 MongoDB的Replica Set存在的隱含問題 145 6.3.6 MongoDB分片模式的隱含問題 145 6.3.7 MongoDB的優(yōu)點(diǎn) 146 6.3.8 MongoDB的缺點(diǎn) 146 6.3.9 MongoDB小結(jié) 146 6.4 Couchbase數(shù)據(jù)庫(kù) 147 6.4.1 Couchbase簡(jiǎn)介 147 6.4.2 Couchbase數(shù)據(jù)存儲(chǔ)機(jī)制 147 6.4.3 Couchbase內(nèi)存配額設(shè)置 148 6.4.4 Couchbase緩存層功能 150 6.4.5 Couchbase硬盤存儲(chǔ)機(jī)制 151 6.4.6 Couchbase負(fù)載均衡（Rebalancing）機(jī)制 151 6.4.7 Couchbase的特點(diǎn) 152 6.5 LevelDB數(shù)據(jù)庫(kù) 152 6.5.1 LevelDB簡(jiǎn)介 152 6.5.2 LevelDB的優(yōu)勢(shì) 153 6.5.3 LevelDB的缺點(diǎn) 153 6.5.4 基于Python 的操作示例 153 6.5.5 LevelDB工作機(jī)制 154 6.5.6 LevelDB的SSTable文件工作機(jī)理 156 6.5.7 LevelDB的Compaction工作機(jī)制 157 6.5.8 LevelDB的Cache機(jī)制 160 6.5.9 LevelDB的版本控制機(jī)制 161 第7章 物聯(lián)網(wǎng)大數(shù)據(jù)的計(jì)算批處理 162 7.1 Apache Hadoop分布式計(jì)算 163 7.1.1 Hadoop簡(jiǎn)介 163 7.1.2 HDFS的工作原理 164 7.1.3 HDFS分布式文件系統(tǒng)的優(yōu)勢(shì) 164 7.1.4 MapReduce在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用 165 7.2 Apache Spark分布式計(jì)算 166 7.2.1 Spark簡(jiǎn)介 166 7.2.2 Spark的特點(diǎn) 167 7.2.3 Spark與Hadoop的MapReduce對(duì)比分析 167 7.3 Apache Flink分布式計(jì)算 168 7.3.1 Flink簡(jiǎn)介 168 7.3.2 Flink統(tǒng)一的批處理與流處理系統(tǒng) 169 7.3.3 Flink流處理的容錯(cuò)機(jī)制 170 7.3.4 Flink流處理的時(shí)間窗口 173 7.3.5 基于時(shí)間戳的排序 173 7.3.6 定制的內(nèi)存管理 174 7.3.7 JVM存在的問題 174 7.3.8 Flink的處理策略 175 第8章 物聯(lián)網(wǎng)大數(shù)據(jù)的交互式查詢 180 8.1 Apache Hive交互式查詢技術(shù) 180 8.1.1 Hive簡(jiǎn)介 180 8.1.2 Hive的特點(diǎn) 181 8.1.3 Hive的體系結(jié)構(gòu) 182 8.1.4 服務(wù)端和客戶端組件 183 8.1.5 Hive連接到數(shù)據(jù)庫(kù)的模式 184 8.1.6 Hive的存儲(chǔ)模式 184 8.1.7 Hive的數(shù)據(jù)模型介紹 184 8.1.8 Hive和數(shù)據(jù)庫(kù)的異同 186 8.1.9 Hive的工作原理 188 8.2 Apache Spark SQL交互式查詢技術(shù) 189 8.2.1 Spark SQL簡(jiǎn)介 189 8.2.2 Spark SQL的特點(diǎn) 190 8.2.3 Spark SQL的簡(jiǎn)單實(shí)例 190 8.2.4 通過SQL進(jìn)行查詢 191 8.3 Apache Kudu交互式查詢技術(shù) 191 8.3.1 Kudu簡(jiǎn)介 191 8.3.2 Kudu的主要優(yōu)點(diǎn) 192 8.3.3 Kudu常見的應(yīng)用場(chǎng)景 192 8.3.4 Kudu的工作特點(diǎn) 192 8.3.5 Kudu與Impala的簡(jiǎn)單實(shí)踐 194 8.4 Greenplum MPP交互式查詢技術(shù) 195 8.4.1 Greenplum MPP簡(jiǎn)介 195 8.4.2 Greenplum的特點(diǎn) 195 8.4.3 Greenplum的應(yīng)用場(chǎng)景 196 8.4.4 Greenplum MPP與Hadoop的異同點(diǎn) 197 8.4.5 Greenplum MPP與Hadoop的效率對(duì)比 197 8.4.6 Greenplum MPP與Hadoop的功能對(duì)比 198 8.4.7 Greenplum MPP與Hadoop的靈活性對(duì)比 199 8.4.8 如何選擇Hadoop和Greenplum MPP 200 第9章 物聯(lián)網(wǎng)大數(shù)據(jù)的流式計(jì)算 202 9.1 Apache Storm流數(shù)據(jù)處理技術(shù) 203 9.1.1 Storm簡(jiǎn)介 203 9.1.2 Storm的特點(diǎn) 203 9.1.3 Storm的集群架構(gòu) 204 9.1.4 Storm的核心概念 205 9.2 Apache Samza流數(shù)據(jù)處理技術(shù) 206 9.2.1 Samza簡(jiǎn)介 206 9.2.2 Samza的工作機(jī)制 206 9.2.3 Samza的特點(diǎn) 208 9.3 Spark Streaming流數(shù)據(jù)技術(shù) 208 9.3.1 Spark Streaming簡(jiǎn)介 208 9.3.2 Spark Streaming與Storm的對(duì)比 208 9.3.3 Spark Streaming的運(yùn)行原理 209 9.3.4 Spark Streaming的簡(jiǎn)單操作 211 9.4 三大流式計(jì)算框架的對(duì)比和應(yīng)用 212 9.4.1 三大流式計(jì)算框架的對(duì)比 212 9.4.2 三大流式計(jì)算框架的應(yīng)用場(chǎng)景 213 第 10章 物聯(lián)網(wǎng)系統(tǒng)的數(shù)據(jù)交換和共享 215 10.1 數(shù)據(jù)交換和共享的組織形式 216 10.2 數(shù)據(jù)交換和共享的應(yīng)用需求場(chǎng)景 217 10.3 數(shù)據(jù)交換和共享的實(shí)現(xiàn)模式 220 10.3.1 概述 220 10.3.2 直連模式 221 10.3.3 中介模式 221 10.3.4 搜索模式 225 10.4 數(shù)據(jù)交換和共享架構(gòu) 227 10.4.1 數(shù)據(jù)交換和共享在物聯(lián)網(wǎng)參考體系結(jié)構(gòu)中的定位 227 10.4.2 《物聯(lián)網(wǎng) 信息交換和共享》系列國(guó)家標(biāo)準(zhǔn)中的 數(shù)據(jù)交換和共享架構(gòu) 230 10.4.3 通用的物聯(lián)網(wǎng)系統(tǒng)數(shù)據(jù)交換和共享架構(gòu) 231 10.5 數(shù)據(jù)交換和共享過程 241 10.5.1 概述 241 10.5.2 發(fā)送實(shí)時(shí)共享數(shù)據(jù) 241 10.5.3 接收實(shí)時(shí)共享數(shù)據(jù) 242 10.5.4 發(fā)送數(shù)據(jù)庫(kù)共享數(shù)據(jù) 242 10.5.5 接收數(shù)據(jù)庫(kù)共享數(shù)據(jù) 242 10.5.6 生成共享數(shù)據(jù)目錄 243 10.5.7 發(fā)送共享數(shù)據(jù)目錄 243 10.5.8 搜索共享數(shù)據(jù)目錄 243 10.5.9 從共享數(shù)據(jù)目錄進(jìn)入數(shù)據(jù)共享界面 243 第 11章 物聯(lián)網(wǎng)系統(tǒng)的性能評(píng)價(jià) 244 11.1 系統(tǒng)的性能評(píng)價(jià)原則 244 11.2 系統(tǒng)架構(gòu)類指標(biāo) 246 11.2.1 系統(tǒng)管理 246 11.2.2 系統(tǒng)兼容與互操作 247 11.2.3 組件 248 11.3 系統(tǒng)安全類指標(biāo) 248 11.3.1 信息安全和物理安全 249 11.3.2 可靠性和彈性 250 11.4 系統(tǒng)功能類指標(biāo) 251 11.4.1 通用功能 252 11.4.2 感知控制功能 252 11.4.3 服務(wù)支撐功能 253 11.4.4 資源交換功能 253 11.4.5 運(yùn)維管控功能 254 11.4.6 用戶接口功能 254 第 12章 大數(shù)據(jù)環(huán)境下的物聯(lián)網(wǎng)系統(tǒng)的智能化演進(jìn) 255 12.1 人工智能的發(fā)展歷程 255 12.1.1 人工智能的概念內(nèi)涵 255 12.1.2 人工智能的技術(shù)發(fā)展歷程 257 12.1.3 人工智能的特征與技術(shù)框架 260 12.1.4 人工智能涉及的關(guān)鍵技術(shù) 262 12.2 人工智能技術(shù)與物聯(lián)網(wǎng)的融合 263 12.2.1 大數(shù)據(jù)——人工智能的基石 263 12.2.2 人工智能——物聯(lián)網(wǎng)系統(tǒng)的大腦 264 12.2.3 人工智能技術(shù)與物聯(lián)網(wǎng)的融合應(yīng)用 266 12.3 智能物聯(lián)網(wǎng)的發(fā)展前景展望 267 12.3.1 協(xié)同智能化的物聯(lián)網(wǎng)系統(tǒng) 267 12.3.2 服務(wù)智能化的物聯(lián)網(wǎng)系統(tǒng) 268 第 13章 智能物聯(lián)網(wǎng)的應(yīng)用 271 13.1 自動(dòng)駕駛汽車 272 13.1.1 自動(dòng)駕駛汽車的技術(shù)現(xiàn)狀 272 13.1.2 自動(dòng)駕駛汽車的發(fā)展趨勢(shì) 276 13.2 智能交通物聯(lián)網(wǎng) 277 13.2.1 從車聯(lián)網(wǎng)到智能交通物聯(lián)網(wǎng) 277 13.2.2 智能交通物聯(lián)網(wǎng)的應(yīng)用前景 279 13.3 智能交通物聯(lián)網(wǎng)與自動(dòng)駕駛汽車的協(xié)同 281 13.3.1 車網(wǎng)知識(shí)協(xié)同的優(yōu)勢(shì) 281 13.3.2 車網(wǎng)知識(shí)協(xié)同體系架構(gòu) 282 13.3.3 基于智能交通物聯(lián)網(wǎng)環(huán)境的自動(dòng)駕駛汽車發(fā)展展望 285