第一章 數(shù)據(jù)科學的支撐技術(shù)

- 應對未來需求高漲的必修課 -

1-1 21 世紀的石油

數(shù)據(jù)、信息 ..........................................................................................002

1-2 數(shù)據(jù)為何越來越多

信息化社會、物聯(lián)網(wǎng)、信息社會、傳感器 .....................................004

1-3綜合各種知識進行分析

數(shù)據(jù)科學、數(shù)據(jù)挖掘..........................................................................006

1-4從數(shù)據(jù)中發(fā)現(xiàn)價值的職業(yè)

數(shù)據(jù)科學家、數(shù)據(jù)工程師、數(shù)據(jù)分析師..........................................008

1-5數(shù)據(jù)不能直接拿來使用

結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)..............................................................010

1-6大量的數(shù)據(jù)是寶藏

數(shù)據(jù)、3 個 V........................................................................................012

1-7人與計算機易于處理的數(shù)據(jù)不同

雜亂數(shù)據(jù)、整齊數(shù)據(jù)..........................................................................014

1-8把握供數(shù)據(jù)使用的數(shù)據(jù)

主數(shù)據(jù)、元數(shù)據(jù)..................................................................................016

1-9將數(shù)據(jù)整理到一處

數(shù)據(jù)基礎(chǔ)設施、商業(yè)智能儀表盤、數(shù)據(jù)管道 .................................018

1-10對高效處理流程進行思考

算法、數(shù)據(jù)結(jié)構(gòu)..................................................................................020

1-11導出規(guī)則的實用化

模型、建模..........................................................................................022

1-12用于處理數(shù)據(jù)的編程語言

R 語言、Python 語言、Julia 語言......................................................024

1-13任何人都可以免費使用的數(shù)據(jù)

開放數(shù)據(jù)、e-Stat、WebAPI..............................................................026

1-14一邊娛樂，一邊學習分析方法

Kaggle、編程比賽、CTF....................................................................028

1-15圍繞 IT 進行思考

數(shù)字化轉(zhuǎn)型、數(shù)碼化、數(shù)字化..........................................................030

1-16已經(jīng)分析的數(shù)據(jù)的運用事例

聊天機器人、推薦..............................................................................032

1-17購買了這款商品的顧客還同時購買了這樣的商品

購物籃分析、關(guān)聯(lián)分析、RFM 分析.................................................034

1-18根據(jù)數(shù)據(jù)進行不同的定價

動態(tài)定價、金融科技..........................................................................036

1-19從小規(guī)模出發(fā)進行嘗試

概念驗證、小規(guī)模啟動......................................................................038

1-20持續(xù)不斷地謀求改善

PDCA 循環(huán)、OODA 循環(huán)、反饋循環(huán)...............................................040

1-21先行確定目標，之后有策略地進行實施

KPI、KGI、KSF.................................................................................042

1-22把握與數(shù)據(jù)相關(guān)的人

用例、利益相關(guān)者..............................................................................044

試一試嘗試一下對使用數(shù)據(jù)的事例進行調(diào)查吧........................... 046

第二章數(shù)據(jù)的基礎(chǔ)

- 表示方法與讀取方法 -

2-1數(shù)據(jù)的分類

名義尺度、定序尺度、定距尺度、比例尺度、定性變量、

定量變量 ..............................................................................................048

2-2從范圍的角度對數(shù)據(jù)加以區(qū)分

頻數(shù)分布表、組、頻數(shù)、組距、直方圖..........................................050

2-3區(qū)別使用各種圖形

棒狀圖、折線圖..................................................................................052

2-4表示比例的圖形

餅狀圖、帶狀圖..................................................................................054

2-5將各種數(shù)據(jù)展示于一張圖中

雷達圖、箱形圖..................................................................................056

2-6構(gòu)成數(shù)據(jù)基準的數(shù)值

代表性數(shù)值、平均值、中位數(shù)、魯棒性、眾數(shù) .............................058

2-7掌握數(shù)據(jù)離散程度

方差、標準偏差..................................................................................060

2-8用一個標準判斷

變異系數(shù)、標準化、偏差值..............................................................062

2-9處理不恰當?shù)臄?shù)據(jù)

異常值、缺失值..................................................................................064

2-10為什么銷售額的八成來自兩成的商品 ?

帕累托定律、帕累托分析、帕累托圖、長尾效應 .........................066

2-11對數(shù)量實施視覺展示

數(shù)據(jù)可視化、層級區(qū)分圖、文字云圖..............................................068

2-12任何人都可以使用的便捷的數(shù)據(jù)分析工具

BI 工具、OLAP....................................................................................070

2-13集中管理數(shù)據(jù)

數(shù)據(jù)倉庫、數(shù)據(jù)湖、數(shù)據(jù)集市..........................................................072

2-14對數(shù)據(jù)協(xié)作進行思考

ETL、EAI、ESB..................................................................................074

2-15對數(shù)據(jù)結(jié)構(gòu)進行可視化

ER 圖、DFD 圖、CRUD 表、CRUD 圖............................................076

2-16設計數(shù)據(jù)庫

正規(guī)化、非正規(guī)化..............................................................................078

2-17對紙上打印的數(shù)據(jù)進行提取處理

OCR、OMR..........................................................................................080

2-18高精度、高速度地導入數(shù)據(jù)

條形碼、二維碼、NFC.......................................................................082

試一試嘗試一下對使用數(shù)據(jù)的事例進行調(diào)查吧............................ 084

第三章數(shù)據(jù)處理與充分利用

- 對數(shù)據(jù)進行分類和預測 -

3-1根據(jù)獲取時間而變化的數(shù)據(jù)

時間序列數(shù)據(jù)、趨勢、噪聲、周期..................................................086

3-2程序自動輸出的數(shù)據(jù)

日志、轉(zhuǎn)儲文件..................................................................................088

3-3捕捉長期變化

移動平均法、移動平均線、加權(quán)移動平均法.................................090

3-4掌握兩個數(shù)軸之間的關(guān)系

散點圖、協(xié)方差、相關(guān)系數(shù)..............................................................092

3-5不被表面的關(guān)系所欺騙

相關(guān)關(guān)系、因果關(guān)系、偽相關(guān)..........................................................094

3-6立足于多個數(shù)軸進行匯總

交叉匯總、聯(lián)合分析、直交表..........................................................096

3-7通過減少數(shù)軸的數(shù)量來把握特征

維度、主成分分析..............................................................................098

3-8了解人們對兩點之間距離的看法

歐幾里得距離、曼哈頓距離..............................................................100

3-9調(diào)查相似的角度

余弦相似度、Word2Vec.....................................................................102

3-10數(shù)據(jù)分析不只有帥氣的一面

預處理、數(shù)據(jù)準備、數(shù)據(jù)清洗、數(shù)據(jù)分析識別.............................104

3-11明確多個數(shù)軸之間的關(guān)系

回歸分析、最小二乘法......................................................................106

3-12了解高級回歸分析

多重回歸分析、邏輯回歸分析..........................................................108

3-13對分類進行預測

判別分析、馬哈拉諾比斯距離..........................................................110

3-14基于已掌握的知識進行數(shù)值推算

費米估算..............................................................................................112

3-15實現(xiàn)對擲骰子結(jié)果的操控

隨機數(shù)、偽隨機數(shù)、隨機種子、蒙特卡羅法.................................114

3-16通過反復預測提高精度

德爾菲法、指數(shù)平滑法.....................................................................116

3-17了解各種分析方法

多變量分析、數(shù)量化一類、數(shù)量化二類、數(shù)量化三類.................118

試一試嘗試一下統(tǒng)計問卷調(diào)查的結(jié)果吧........................................ 120

第四章需要了解的統(tǒng)計學知識

- 立足于數(shù)據(jù)推測答案 -

4-1統(tǒng)計學的分類

描述統(tǒng)計學、推斷統(tǒng)計學..................................................................122

4-2抽取數(shù)據(jù)

總體、樣本、隨機抽樣......................................................................124

4-3用數(shù)值表示易發(fā)性

統(tǒng)計概率、數(shù)學概率、概率、期望值 .............................................126

4-4針對幾個獨立事件同時發(fā)生的概率進行思考

同時概率、獨立性、互斥性、條件概率、概率的乘法定理.........128

4-5基于結(jié)果對原因進行思考

先驗概率、后驗概率、貝葉斯定理、似然 .....................................130

4-6把握數(shù)據(jù)的分布

概率分布、均勻分布、二項分布、正態(tài)分布、標準正態(tài)分布.....132

4-7如果收集眾多數(shù)據(jù)，就能接近真實值

中心極限定理、大數(shù)定律..................................................................134

4-8用函數(shù)來表示分布

概率密度函數(shù)、累積分布函數(shù)..........................................................136

4-9根據(jù)抽取的數(shù)據(jù)推測原始的總體

無偏估計量、點估計、區(qū)間估計、置信區(qū)間 .................................138

4-10在不知道方差的情況下進行推算

標準誤差、無偏方差、自由度、t 分布 ...........................................140

4-11從統(tǒng)計學的角度進行驗證

檢驗、原假設、備譯假設、拒絕......................................................142

4-12確定做出正確判斷的基準

檢驗統(tǒng)計量、拒絕域、顯著性水平、雙側(cè)檢驗、單側(cè)檢驗.........144

4-13對檢驗結(jié)果做出判斷

p 值、顯著性差異、錯誤、第一類錯誤、第二類錯誤..................146

4-14檢驗平均值

Z 檢驗、t 檢驗....................................................................................148

4-15檢驗方差

2 分布、 2 檢驗、F 檢驗...................................................................150

試一試嘗試檢驗一下身邊的食品吧................................................ 152

第五章需要了解的有關(guān)人工智能的知識

- 常用的手法及其機制 -

5-1 打造與人類具有同等智慧的計算機

人工智能、圖靈測試.........................................................................154

5-2實現(xiàn)人工智能的手法

機器學習、監(jiān)督學習、無監(jiān)督學習、強化學習.............................156

5-3用于評價人工智能的指標

混淆矩陣、準確率、精確率、召回率、F 值、交叉驗證.............158

5-4掌握學習的進度

過擬合、欠擬合..................................................................................160

5-5模仿大腦的學習方法

神經(jīng)網(wǎng)絡、損失函數(shù)、誤差反向傳播法..........................................162

5-6逐漸接近最優(yōu)解

梯度下降法、局部解、學習率..........................................................164

5-7深入各分層，利用大量數(shù)據(jù)進行學習

深度學習、CNN、RNN、LSTM.........................................................166

5-8對誤差進行量化

偏差 - 方差分解、折中......................................................................168

5-9提升精度

正則化、拉索回歸、嶺回歸..............................................................170

5-10分成多個組

聚類、k 均值算法...............................................................................172

5-11劃分為任意個簇

分層次聚類、Ward 法、最短距離法、最長距離法........................174

5-12在樹結(jié)構(gòu)中學習

決策樹、不純度、信息增益..............................................................176

5-13使用多個人工智能進行多數(shù)表決

隨機森林、集成學習、引導聚集算法、提升方法.........................178

5-14評價規(guī)則的指標

支持度、置信度、提升度..................................................................180

5-15邊界余量的最大化

支持向量機、超平面、硬余量、軟余量..........................................182

5-16進行自動的機器學習

自動化機器學習、可解釋性人工智能..............................................184

5-17結(jié)合各種方法尋找解決方法

運籌學、數(shù)理優(yōu)化、數(shù)理設計法、概率設計法.............................186

試一試 查找一下最新的論文吧........................................................ 188

第六章有關(guān)安全與隱私的問題

- 數(shù)據(jù)社會將走向何方？ -

6-1處理數(shù)據(jù)時必須遵守道德

信息倫理、數(shù)據(jù)倫理..........................................................................190

6-2數(shù)據(jù)可靠性堪憂

統(tǒng)計造假、技術(shù)人員倫理.................................................................192

6-3錯誤認識導致精度下降

數(shù)據(jù)偏差、算法偏差 .........................................................................194

6-4在日本對于個人信息的處理

個人信息保護法、P 認證 ..................................................................196

6-5在海外對于個人信息的處理

GDPR、CCPA ......................................................................................198

6-6對個人信息的充分利用進行思考

假名化、匿名化、k- 匿名化 ............................................................200

6-7對數(shù)據(jù)的流通、一般使用與充分利用進行思考

數(shù)據(jù)驅(qū)動型社會、超智能社會、信息銀行 ....................................202

6-8制定處理數(shù)據(jù)時的規(guī)則

信息安全政策、隱私政策..................................................................204

6-9公示收集數(shù)據(jù)的目的

使用目的、選擇加入、選擇退出......................................................206

6-10了解保有數(shù)據(jù)的權(quán)利

知識產(chǎn)權(quán)、著作權(quán)..............................................................................208

6-11自動獲得外部數(shù)據(jù)

抓取、爬取 ..........................................................................................210

6-12對保有數(shù)據(jù)的讀取進行管理

訪問控制、備份..................................................................................212

6-13防止從內(nèi)部帶出數(shù)據(jù)

審計、數(shù)據(jù)泄露防護..........................................................................214

6-14每次都能得到相同結(jié)果

冪等性 ..................................................................................................216