|
關(guān)于我們
 書單推薦 新書推薦 |
Alink權(quán)威指南：基于Flink的機器學習實例入門（Python） 
定 價：149 元
9 7 4 8 3 7 1 1 2 2 8 1 9 讀者對象:開發(fā)人員 
全書圍繞Alink（阿里在Flink基礎上做的開源版本）的展開，以實例為主闡述Alink的使用。?以機器學習的知識架構(gòu)將各個章節(jié)串聯(lián)起來，每個章節(jié)配合實例，用戶更容易理解和入手嘗試。?數(shù)據(jù)會采用讀者能免費下載的數(shù)據(jù)集，在加上Alink本身是開源的、免費的。用戶試用起來沒有成本。?實例實現(xiàn)的源代碼，準備放在Alink開源git上，大家容易看到，可以直接下載，代碼旁邊會有實體書的介紹?以機器學習的知識架構(gòu)將各個章節(jié)串聯(lián)起來，每個章節(jié)配合實例，用戶更容易理解和入手嘗試。?數(shù)據(jù)會采用讀者能免費下載的數(shù)據(jù)集，在加上Alink本身是開源的、免費的。用戶試用起來沒有成本。?實例實現(xiàn)的源代碼，準備放在Alink開源git上，大家容易看到，可以直接下載，代碼旁邊會有實體書的介紹
2004年獲南開大學數(shù)學博士學位；隨后在南開大學信息學院從事博士后研究工作；2006年加入微軟亞洲研究院，進行符號計算、大規(guī)模矩陣計算及機器學習算法研究；2010年加入阿里巴巴，從事大數(shù)據(jù)相關(guān)的統(tǒng)計和機器學習算法研發(fā)。著有《重構(gòu)大數(shù)據(jù)統(tǒng)計》《機器學習在線》等。
目 錄
VII 目 錄 第1章 Alink快速上手 ...................................................................................................... 1 1.1 Alink是什么 ..............................................................................................................1 1.2 免費下載、安裝 ........................................................................................................2 1.3 Alink的功能 ..............................................................................................................2 1.3.1 豐富的算法庫 ................................................................................................2 1.3.2 多樣的使用體驗 ............................................................................................3 1.3.3 與SparkML的對比 .......................................................................................4 1.4 關(guān)于數(shù)據(jù)和代碼 ........................................................................................................5 1.5 簡單示例 ....................................................................................................................6 1.5.1 數(shù)據(jù)的讀/寫與顯示 .......................................................................................6 1.5.2 批式訓練和批式預測 ....................................................................................7 1.5.3 流式處理和流式預測 ..................................................................................10 1.5.4 定義Pipeline，簡化操作 ............................................................................ 11 1.5.5 嵌入預測服務系統(tǒng) ......................................................................................13 第2章 系統(tǒng)概況與核心概念 .......................................................................................... 15 2.1 基本概念 ..................................................................................................................15 2.2 批式任務與流式任務 ..............................................................................................16 Alink 權(quán)威指南：基于 Flink 的機器學習實例入門（Python） VIII 2.3 Alink=A+link ...........................................................................................................19 2.3.1 BatchOperator和StreamOperator ...............................................................20 2.3.2 link方式是批式算法/流式算法的通用使用方式 ......................................21 2.3.3 link的簡化 ...................................................................................................24 2.3.4 組件的主輸出與側(cè)輸出 ..............................................................................25 2.4 Pipeline與PipelineModel .......................................................................................25 2.4.1 概念和定義 ..................................................................................................25 2.4.2 深入介紹 ......................................................................................................27 2.5 觸發(fā)Alink任務的執(zhí)行 ...........................................................................................29 2.6 模型信息顯示 ..........................................................................................................31 2.7 文件系統(tǒng)與數(shù)據(jù)庫 ..................................................................................................35 2.8 Schema String ..........................................................................................................37 第3章 文件系統(tǒng)與數(shù)據(jù)文件 .......................................................................................... 39 3.1 文件系統(tǒng)簡介 ..........................................................................................................39 3.1.1 本地文件系統(tǒng) ..............................................................................................40 3.1.2 Hadoop文件系統(tǒng) .........................................................................................42 3.1.3 阿里云OSS文件系統(tǒng) .................................................................................44 3.2 數(shù)據(jù)文件的讀入與導出 ..........................................................................................46 3.2.1 CSV格式 .....................................................................................................47 3.2.2 TSV格式、LibSVM格式和Text格式 ......................................................54 3.2.3 AK格式 .......................................................................................................58 第4章 數(shù)據(jù)庫與數(shù)據(jù)表 .................................................................................................. 61 4.1 簡介 ..........................................................................................................................61 4.1.1 Catalog的基本操作 .....................................................................................61 4.1.2 Source組件和Sink組件 .............................................................................62 4.2 Hive示例 .................................................................................................................63 4.3 Derby示例 ...............................................................................................................66 4.4 MySQL示例 ............................................................................................................68 目 錄 IX 第5章 支持Flink SQL ................................................................................................... 70 5.1 基本操作 ..................................................................................................................70 5.1.1 注冊 ..............................................................................................................70 5.1.2 運行 ..............................................................................................................71 5.1.3 內(nèi)置函數(shù) ......................................................................................................74 5.1.4 用戶定義函數(shù) ..............................................................................................74 5.2 簡化操作 ..................................................................................................................75 5.2.1 單表操作 ......................................................................................................76 5.2.2 兩表的連接（JOIN）操作 ..........................................................................80 5.2.3 兩表的集合操作 ..........................................................................................82 第6章 用戶定義函數(shù)（UDF/UDTF） ............................................................................ 87 6.1 用戶定義標量函數(shù)（UDF） ..................................................................................87 6.1.1 示例數(shù)據(jù)及問題 ..........................................................................................88 6.1.2 UDF的定義 .................................................................................................88 6.1.3 使用UDF處理批式數(shù)據(jù) ............................................................................89 6.1.4 使用UDF處理流式數(shù)據(jù) ............................................................................90 6.2 用戶定義表值函數(shù)（UDTF） ...............................................................................92 6.2.1 示例數(shù)據(jù)及問題 ..........................................................................................92 6.2.2 UDTF的定義 ...............................................................................................92 6.2.3 使用UDTF處理批式數(shù)據(jù) ..........................................................................93 6.2.4 使用UDTF處理流式數(shù)據(jù) ..........................................................................95 第7章 基本數(shù)據(jù)處理 ..................................................................................................... 98 7.1 采樣 ..........................................................................................................................98 7.1.1 取“前”N個數(shù)據(jù) .......................................................................................99 7.1.2 隨機采樣 ......................................................................................................99 7.1.3 加權(quán)采樣 .................................................................................................... 102 7.1.4 分層采樣 .................................................................................................... 103 7.2 數(shù)據(jù)劃分 ................................................................................................................ 104 Alink 權(quán)威指南：基于 Flink 的機器學習實例入門（Python） X 7.3 數(shù)值尺度變換 ........................................................................................................ 106 7.3.1 標準化 ........................................................................................................ 106 7.3.2 MinMaxScale.............................................................................................. 108 7.3.3 MaxAbsScale .............................................................................................. 109 7.4 向量的尺度變換 .................................................................................................... 111 7.4.1 StandardScale、MinMaxScale、MaxAbsScale......................................... 111 7.4.2 正則化 ........................................................................................................ 113 7.5 缺失值填充 ............................................................................................................ 114 7.6 Python數(shù)組、DataFrame形式的數(shù)據(jù)和Alink批式數(shù)據(jù)之間的相互轉(zhuǎn)換 ...... 116 7.6.1 Python數(shù)組與DataFrame形式的數(shù)據(jù)之間的相互轉(zhuǎn)換 ........................ 116 7.6.2 將Alink批式數(shù)據(jù)轉(zhuǎn)換為DataFrame形式的數(shù)據(jù) .................................. 117 7.6.3 將DataFrame形式的數(shù)據(jù)轉(zhuǎn)換為Alink批式數(shù)據(jù) .................................. 118 第8章 線性二分類模型 ................................................................................................ 119 8.1 線性模型的基礎知識 ............................................................................................ 119 8.1.1 損失函數(shù) .................................................................................................... 119 8.1.2 經(jīng)驗風險函數(shù)與結(jié)構(gòu)風險函數(shù) ................................................................ 121 8.1.3 線性模型與損失函數(shù) ................................................................................ 122 8.1.4 邏輯回歸與線性支持向量機（Linear SVM） ........................................ 123 8.2 二分類評估方法 .................................................................................................... 125 8.2.1 基本指標 .................................................................................................... 126 8.2.2 綜合指標 .................................................................................................... 128 8.2.3 評估曲線 .................................................................................................... 131 8.3 數(shù)據(jù)探索 ................................................................................................................ 136 8.3.1 基本統(tǒng)計 .................................................................................................... 138 8.3.2 相關(guān)性 ........................................................................................................ 140 8.4 訓練集和測試集 .................................................................................................... 144 8.5 邏輯回歸模型 ........................................................................................................ 145 8.6 線性SVM模型 ..................................................................................................... 147 8.7 模型評估 ................................................................................................................ 149 8.8 特征的多項式擴展 ................................................................................................ 154 目 錄 XI 8.9 因子分解機 ............................................................................................................ 157 第9章 樸素貝葉斯模型與決策樹模型 .......................................................................... 160 9.1 樸素貝葉斯模型 .................................................................................................... 160 9.2 決策樹模型 ............................................................................................................ 162 9.2.1 決策樹的分裂指標定義 ............................................................................ 165 9.2.2 常用的決策樹算法 .................................................................................... 167 9.2.3 指標計算示例 ............................................................................................ 170 9.2.4 分類樹與回歸樹 ........................................................................................ 173 9.2.5 經(jīng)典的決策樹示例 .................................................................................... 173 9.3 數(shù)據(jù)探索 ................................................................................................................ 176 9.4 使用樸素貝葉斯方法 ............................................................................................ 180 9.5 蘑菇分類的決策樹 ................................................................................................ 186 第10章 特征的轉(zhuǎn)化 ..................................................................................................... 192 10.1 整體流程 .............................................................................................................. 196 10.1.1 特征啞元化 .............................................................................................. 198 10.1.2 特征的重要性 .......................................................................................... 199 10.2 減少模型特征的個數(shù) .......................................................................................... 201 10.3 離散特征轉(zhuǎn)化 ...................................................................................................... 203 10.3.1 獨熱編碼 .................................................................................................. 203 10.3.2 特征哈希 .................................................................................................. 205 第11章 構(gòu)造新特征 ..................................................................................................... 208 11.1 數(shù)據(jù)探索 .............................................................................................................. 209 11.2 思路 ...................................................................................................................... 211 11.2.1 用戶和品牌的各種特征 .......................................................................... 212 11.2.2 二分類模型訓練 ...................................................................................... 214 11.3 計算訓練集 .......................................................................................................... 214 11.3.1 原始數(shù)據(jù)劃分 .......................................................................................... 214 Alink 權(quán)威指南：基于 Flink 的機器學習實例入門（Python） XII 11.3.2 計算特征 .................................................................................................. 216 11.3.3 計算標簽 .................................................................................................. 223 11.4 正負樣本配比 ...................................................................................................... 225 11.5 決策樹 .................................................................................................................. 228 11.6 集成學習 .............................................................................................................. 229 11.6.1 Bootstrap aggregating ............................................................................... 229 11.6.2 Boosting .................................................................................................... 230 11.6.3 隨機森林與GBDT .................................................................................. 233 11.7 使用隨機森林算法 .............................................................................................. 234 11.8 使用GBDT算法 ................................................................................................. 235 第12章 從二分類到多分類 .......................................................................................... 237 12.1 多分類模型的評估方法 ...................................................................................... 237 12.1.1 綜合指標 .................................................................................................. 239 12.1.2 關(guān)于每個標簽值的二分類指標 .............................................................. 241 12.1.3 Micro、Macro、Weighted計算的指標 .................................................. 241 12.2 數(shù)據(jù)探索 .............................................................................................................. 244 12.3 使用樸素貝葉斯算法進行多分類 ...................................................................... 246 12.4 二分類器組合 ...................................................................................................... 248 12.5 Softmax算法 ....................................................................................................... 252 12.6 多層感知器分類器 .............................................................................................. 255 第13章 常用的多分類算法 .......................................................................................... 258 13.1 數(shù)據(jù)準備 .............................................................................................................. 258 13.1.1 讀取MNIST數(shù)據(jù)文件 ............................................................................ 259 13.1.2 稠密向量與稀疏向量 .............................................................................. 260 13.1.3 標簽值的統(tǒng)計信息 .................................................................................. 266 13.2 Softmax算法 ....................................................................................................... 267 13.3 二分類器組合 ...................................................................................................... 269 13.4 多層感知器分類器（MLPC） ........................................................................... 270 13.5 決策樹與隨機森林 .............................................................................................. 272 目 錄 XIII 13.6 K最近鄰算法 ...................................................................................................... 274 第14章 在線學習 ........................................................................................................ 277 14.1 整體流程 .............................................................................................................. 277 14.2 數(shù)據(jù)準備 .............................................................................................................. 279 14.3 特征工程 .............................................................................................................. 281 14.4 使用特征工程處理數(shù)據(jù) ...................................................................................... 282 14.5 在線訓練 .............................................................................................................. 284 14.6 模型過濾 .............................................................................................................. 287 第15章 回歸的由來 ..................................................................................................... 289 15.1 平均數(shù) .................................................................................................................. 290 15.2 向平均數(shù)方向的“回歸” .................................................................................. 291 15.3 線性回歸 .............................................................................................................. 293 第16章 常用的回歸算法.............................................................................................. 296 16.1 回歸模型的評估指標 .......................................................................................... 296 16.2 數(shù)據(jù)探索 .............................................................................................................. 298 16.3 線性回歸 .............................................................................................................. 301 16.4 決策樹與隨機森林 .............................................................................................. 304 16.5 GBDT ................................................................................................................... 305 第17章 常用的聚類算法.............................................................................................. 307 17.1 聚類評估指標 ...................................................................................................... 308 17.1.1 基本評估指標 .......................................................................................... 308 17.1.2 基于標簽值的評估指標 .......................................................................... 310 17.2 K-Means聚類算法 .............................................................................................. 312 17.2.1 算法簡介 .................................................................................................. 312 17.2.2 K-Means實例 .......................................................................................... 314 17.3 高斯混合模型算法 .............................................................................................. 318 Alink 權(quán)威指南：基于 Flink 的機器學習實例入門（Python） XIV 17.3.1 算法介紹 .................................................................................................. 318 17.3.2 GMM實例 ............................................................................................... 320 17.4 二分K-Means聚類算法 ..................................................................................... 321 17.5 基于經(jīng)緯度的聚類 .............................................................................................. 324 第18章 批式與流式聚類.............................................................................................. 327 18.1 稠密向量與稀疏向量 .......................................................................................... 327 18.2 使用聚類模型預測流式數(shù)據(jù) .............................................................................. 329 18.3 流式聚類 .............................................................................................................. 332 第19章 主成分分析 ..................................................................................................... 334 19.1 主成分的含義 ...................................................................................................... 336 19.2 兩種計算方式 ...................................................................................................... 340 19.3 在聚類方面的應用 .............................................................................................. 342 19.4 在分類方面的應用 .............................................................................................. 346 第20章 超參數(shù)搜索 ..................................................................................................... 350 20.1 示例一：嘗試正則系數(shù) ...................................................................................... 351 20.2 示例二：搜索GBDT超參數(shù) ............................................................................. 352 20.3 示例三：最佳聚類個數(shù) ...................................................................................... 353 第21章 文本分析 ........................................................................................................ 355 21.1 數(shù)據(jù)探索 .............................................................................................................. 355 21.2 分詞 ...................................................................................................................... 357 21.2.1 中文分詞 .................................................................................................. 357 21.2.2 Tokenizer和RegexTokenizer .................................................................. 361 21.3 詞頻統(tǒng)計 .............................................................................................................. 365 21.4 單詞的區(qū)分度 ...................................................................................................... 367 21.5 抽取關(guān)鍵詞 .......................................................................................................... 369 21.5.1 原理簡介 .................................................................................................. 370 目 錄 XV 21.5.2 示例 .......................................................................................................... 371 21.6 文本相似度 .......................................................................................................... 373 21.6.1 文本成對比較 .......................................................................................... 374 21.6.2 最相似的TopN ........................................................................................ 377 21.7 主題模型 .............................................................................................................. 389 21.7.1 LDA模型 ................................................................................................. 390 21.7.2 新聞的主題模型 ...................................................................................... 392 21.7.3 主題與原始分類的對比 .......................................................................... 394 21.8 組件使用小結(jié) ...................................................................................................... 399 第22章 單詞向量化 ..................................................................................................... 400 22.1 單詞向量預訓練模型 .......................................................................................... 401 22.1.1 加載模型 .................................................................................................. 401 22.1.2 查找相似的單詞 ...................................................................................... 402 22.1.3 單詞向量 .................................................................................................. 404 22.2 將單詞映射為向量 .............................................................................................. 409 第23章 情感分析 ........................................................................................................ 414 23.1 使用提供的特征 .................................................................................................. 415 23.1.1 使用樸素貝葉斯方法 .............................................................................. 418 23.1.2 使用邏輯回歸算法 .................................................................................. 422 23.2 如何提取特征 ...................................................................................................... 425 23.3 構(gòu)造更多特征 ...................................................................................................... 429 23.4 模型保存與預測 .................................................................................................. 432 23.4.1 批式/流式預測任務 ................................................................................. 432 23.4.2 嵌入式預測 .............................................................................................. 433 第24章 構(gòu)建推薦系統(tǒng) ................................................................................................. 435 24.1 與推薦相關(guān)的組件介紹 ...................................................................................... 436 24.2 常用的推薦算法 .................................................................................................. 439 Alink 權(quán)威指南：基于 Flink 的機器學習實例入門（Python） XVI 24.2.1 協(xié)同過濾 .................................................................................................. 439 24.2.2 交替最小二乘法 ...................................................................................... 440 24.3 數(shù)據(jù)探索 .............................................................................................................. 441 24.4 評分預測 .............................................................................................................. 446 24.5 根據(jù)用戶推薦影片 .............................................................................................. 448 24.6 計算相似影片 ...................................................................................................... 453 24.7 根據(jù)影片推薦用戶 .............................................................................................. 456 24.8 計算相似用戶 ...................................................................................................... 458
你還可能感興趣
我要評論
|
