對于數(shù)據(jù)科學(xué)和人工智能的從業(yè)者和學(xué)生而言,概率論和數(shù)理統(tǒng)計是一門非常重要的基礎(chǔ)課,因為現(xiàn)代人工智能和大數(shù)據(jù)理論是建立在概率統(tǒng)計之上的模型系統(tǒng),它利用概率統(tǒng)計的語言完成人機(jī)交互和復(fù)雜系統(tǒng)的運(yùn)行。筆者希望讀者通過本書的學(xué)習(xí),能打好概率統(tǒng)計基礎(chǔ),進(jìn)而對后續(xù)人工智能、大數(shù)據(jù)挖掘等專業(yè)課起到良好的推動作用。
在廣義的計算機(jī)科學(xué)的學(xué)習(xí)過程中,很多初學(xué)者遭遇的挫折大多來自抽象的數(shù)學(xué)推導(dǎo)。傳統(tǒng)的概率論教學(xué)以板書的形式展開,強(qiáng)調(diào)理論的完整且細(xì)致的證明,這種帶有濃重的數(shù)學(xué)風(fēng)格的教學(xué)模式給很多學(xué)生造成了一定程度的困擾,特別是理工科學(xué)生,他們不學(xué)習(xí)數(shù)學(xué)專業(yè),對數(shù)學(xué)的興趣也不算高,他們更喜歡實現(xiàn)具體的模型和算法。筆者認(rèn)為,要理解一個算法的內(nèi)在邏輯,沒有數(shù)學(xué)知識是不行的,但也不能一味地追求數(shù)學(xué)形式的完整,一般來講,學(xué)生具備必要的能讀懂文獻(xiàn)的數(shù)學(xué)基礎(chǔ)就可以工作了,不需要把書寫得那么數(shù)學(xué)化。
本書內(nèi)容
本書旨在幫助讀者解決技術(shù)書籍過于數(shù)學(xué)化,一方面本書遵循概率論和數(shù)理統(tǒng)計的教學(xué)大綱,在數(shù)學(xué)方面不過于強(qiáng)調(diào),沒有過多展開; 另一方面,利用Python工具,實現(xiàn)了大部分的理論和模型,使讀者通過實踐簡化學(xué)習(xí)過程,提高代碼編寫能力,增強(qiáng)動手能力,為進(jìn)一步學(xué)習(xí)人工智能和大數(shù)據(jù)科學(xué)奠定良好的基礎(chǔ)。
本書特色
本書在附錄中提供了Python基礎(chǔ)、微積分基礎(chǔ)、線性代數(shù)基礎(chǔ)和NumPy基礎(chǔ),零基礎(chǔ)的讀者也能入門。采用計算機(jī)程序模擬數(shù)學(xué)推導(dǎo)的方法使數(shù)學(xué)知識更為清晰易懂,對初學(xué)者更加友好。
本書適合大數(shù)據(jù)與人工智能相關(guān)專業(yè)師生和企業(yè)一線開發(fā)人員參考,也適合對數(shù)據(jù)科學(xué)有興趣的研究人員學(xué)習(xí)。
李爽
2023年1月
本書源代碼
教學(xué)課件(PPT)
第1章概率論的基本概念
1.1隨機(jī)試驗、樣本空間、事件
1.1.1隨機(jī)試驗
1.1.2樣本空間
1.1.3事件
1.2事件的關(guān)系與運(yùn)算
1.2.1事件的關(guān)系與運(yùn)算
1.2.2事件的運(yùn)算律
1.3頻率與概率
1.3.1頻率
1.3.2概率
1.4等可能概型
1.4.1古典概型
1.4.2幾何概型
1.5條件概率與獨立性
1.5.1條件概率
1.5.2獨立性
1.6全概率公式與貝葉斯公式
1.6.1樣本空間的劃分
1.6.2全概率公式
1.6.3貝葉斯公式
1.7本章練習(xí)
1.8常見考題解析: 隨機(jī)事件和概率
1.9本章常用的Python函數(shù)總結(jié)
1.10本章上機(jī)練習(xí)
第2章隨機(jī)變量及其分布
2.1隨機(jī)變量
2.2離散型隨機(jī)變量及其分布律
2.2.1離散型隨機(jī)變量
2.2.2離散型隨機(jī)變量: 伯努利分布
2.2.3離散型隨機(jī)變量: 幾何分布
2.2.4離散型隨機(jī)變量: 超幾何分布
2.2.5離散型隨機(jī)變量: 二項分布
2.2.6離散型隨機(jī)變量: 泊松分布
2.3分布函數(shù)
2.4連續(xù)型隨機(jī)變量及其概率密度
2.4.1連續(xù)型隨機(jī)變量
2.4.2連續(xù)型隨機(jī)變量: 均勻分布
2.4.3連續(xù)型隨機(jī)變量: 指數(shù)分布
2.4.4連續(xù)型隨機(jī)變量: 正態(tài)分布
2.5隨機(jī)變量的函數(shù)分布
2.5.1離散型隨機(jī)變量的函數(shù)
2.5.2連續(xù)型隨機(jī)變量的函數(shù)
2.6本章練習(xí)
2.7常見考題解析: 隨機(jī)變量及其分布
2.8本章常用的Python函數(shù)總結(jié)
2.9本章上機(jī)練習(xí)
第3章多維隨機(jī)變量及其分布
3.1二維隨機(jī)變量及其分布函數(shù)
3.1.1二維隨機(jī)變量的分布函數(shù)
3.1.2二維離散型隨機(jī)變量
3.1.3二維連續(xù)型隨機(jī)變量
3.2邊緣分布
3.3條件分布
3.4相互獨立的隨機(jī)變量
3.5二維正態(tài)分布隨機(jī)變量
3.6隨機(jī)變量函數(shù)的分布
3.6.1隨機(jī)變量和的分布
3.6.2隨機(jī)變量商的分布
3.6.3隨機(jī)變量積的分布
3.6.4兩個隨機(jī)變量值與小值的分布
3.7本章練習(xí)
3.8常見考題解析: 多維隨機(jī)變量及其分布
3.9本章常用的Python函數(shù)總結(jié)
3.10本章上機(jī)練習(xí)
第4章隨機(jī)變量的數(shù)字特征
4.1數(shù)學(xué)期望
4.1.1離散型隨機(jī)變量的數(shù)學(xué)期望
4.1.2連續(xù)型隨機(jī)變量的數(shù)學(xué)期望
4.1.3隨機(jī)變量函數(shù)的數(shù)學(xué)期望
4.1.4數(shù)學(xué)期望的重要性質(zhì)
4.2方差和標(biāo)準(zhǔn)差
4.2.1方差
4.2.2方差的性質(zhì)
4.2.3正態(tài)分布的均值和方差
4.3協(xié)方差和相關(guān)系數(shù)
4.3.1協(xié)方差的性質(zhì)
4.3.2相關(guān)系數(shù)的性質(zhì)
4.3.3相關(guān)性與獨立性
4.4協(xié)方差矩陣
4.4.1協(xié)方差矩陣的性質(zhì)
4.4.2多維正態(tài)分布的聯(lián)合密度
4.5本章練習(xí)
4.6常見考題解析: 隨機(jī)變量的數(shù)字特征
4.7本章常用的Python函數(shù)總結(jié)
4.8本章上機(jī)練習(xí)
第5章大數(shù)定律與中心極限定理
5.1大數(shù)定律
5.1.1切比雪夫不等式
5.1.2依概率收斂
5.1.3切比雪夫大數(shù)定律
5.1.4辛欽大數(shù)定律
5.1.5伯努利大數(shù)定律
5.2中心極限定理
5.3本章習(xí)題
5.4常見考題解析: 大數(shù)定律與中心極限定理
5.5本章常用的Python函數(shù)總結(jié)
5.6本章上機(jī)練習(xí)
第6章樣本、統(tǒng)計量及抽樣分布
6.1總體與樣本
6.1.1總體
6.1.2樣本
6.1.3樣本分布
6.2統(tǒng)計量與抽樣分布
6.2.1統(tǒng)計量
6.2.2經(jīng)驗分布函數(shù)
6.3三大抽樣分布
6.3.1卡方分布(2分布)
6.3.2學(xué)生分布(t分布)
6.3.3F分布
6.4正態(tài)總體的抽樣分布
6.5簡單統(tǒng)計作圖
6.5.1頻率直方圖
6.5.2箱線圖
6.6本章練習(xí)
6.7常見考題解析: 樣本、統(tǒng)計量及抽樣分布
6.8本章常用的Python函數(shù)總結(jié)
6.9本章上機(jī)練習(xí)
第7章參數(shù)估計
7.1點估計
7.1.1矩估計法
7.1.2似然估計法
7.2估計量的評選標(biāo)準(zhǔn)
7.2.1無偏性
7.2.2有效性
7.2.3相合性
7.3區(qū)間估計
7.4正態(tài)總體均值與方差的區(qū)間估計
7.4.1單個正態(tài)總體
7.4.2兩個正態(tài)總體
7.5單側(cè)區(qū)間估計
7.6本章練習(xí)
7.7常見考題解析: 參數(shù)估計
7.8本章常用的Python函數(shù)總結(jié)
7.9本章上機(jī)練習(xí)
第8章假設(shè)檢驗
8.1假設(shè)檢驗的原理
8.2正態(tài)總體均值的假設(shè)檢驗
8.2.1單個正態(tài)總體均值的假設(shè)檢驗
8.2.2兩個正態(tài)總體均值的假設(shè)檢驗
8.3正態(tài)總體方差的假設(shè)檢驗
8.3.1單個正態(tài)總體方差的假設(shè)檢驗
8.3.2兩個正態(tài)總體方差的假設(shè)檢驗
8.4置信區(qū)間與假設(shè)檢驗之間的關(guān)系
8.5分布擬合檢驗
8.5.1單個分布的卡方擬合檢驗
8.5.2分布族的卡方擬合檢驗
8.6本章練習(xí)
8.7常見考題解析: 假設(shè)檢驗
8.8本章常用的Python函數(shù)總結(jié)
8.9本章上機(jī)練習(xí)
第9章一元線性回歸
9.1回歸分析概述
9.2一元線性回歸
9.2.1一元線性回歸的數(shù)學(xué)形式
9.2.2參數(shù)的普通小二乘估計
9.2.3參數(shù)的似然估計
9.2.4小二乘估計的性質(zhì)
9.2.5回歸方程的顯著性檢驗
9.2.6決定系數(shù)
9.2.7殘差分析
9.2.8回歸系數(shù)的區(qū)間估計
9.2.9單值預(yù)測和區(qū)間預(yù)測
9.3本章練習(xí)
9.4常見考題解析: 一元線性回歸
9.5本章常用的Python函數(shù)總結(jié)
9.6本章上機(jī)練習(xí)
第10章多元線性回歸
10.1多元線性回歸模型的數(shù)學(xué)形式
10.2多元線性回歸模型的基本假定
10.3多元線性回歸模型的解釋
10.4回歸參數(shù)的估計
10.4.1回歸參數(shù)的普通小二乘估計
10.4.2回歸參數(shù)的似然估計
10.4.3參數(shù)估計的性質(zhì)
10.4.4回歸方程的顯著性檢驗
10.4.5回歸系數(shù)的置信區(qū)間與擬合優(yōu)度檢驗
10.5本章練習(xí)
10.6常見考題解析: 多元線性回歸
10.7本章常用的Python函數(shù)總結(jié)
10.8本章上機(jī)練習(xí)
第11章多重共線性與嶺回歸
11.1多重共線性產(chǎn)生的原因及其影響
11.2多重共線性的診斷
11.2.1方差擴(kuò)大因子法
11.2.2特征根判定法
11.3消除多重共線性的方法
11.3.1剔除不重要的解釋變量
11.3.2增大樣本量
11.3.3回歸系數(shù)的有偏估計與嶺回歸
11.3.4嶺回歸估計的性質(zhì)
11.3.5嶺回歸k的選擇
11.4本章練習(xí)
第12章主成分分析
12.1總體主成分
12.1.1主成分的求法
12.1.2主成分的性質(zhì)
12.1.3標(biāo)準(zhǔn)化變量的主成分
12.2樣本主成分
12.2.1樣本主成分的性質(zhì)
12.2.2主成分的個數(shù)
12.3主成分分析的應(yīng)用
12.4本章練習(xí)
12.5本章常用的Python函數(shù)總結(jié)
12.6本章上機(jī)練習(xí)
第13章因子分析
13.1因子模型
13.1.1因子載荷的統(tǒng)計意義
13.1.2變量共同度的統(tǒng)計意義
13.1.3公共因子的方差貢獻(xiàn)
13.2參數(shù)估計
13.2.1主成分法
13.2.2主因子解
13.2.3似然法
13.2.4主成分估計法的步驟
13.3本章練習(xí)
13.4本章常用的Python函數(shù)總結(jié)
13.5本章上機(jī)練習(xí)
附錄APython基礎(chǔ)
A.1Python開發(fā)環(huán)境
A.2Python基礎(chǔ)語法
A.2.1Python常用內(nèi)置數(shù)據(jù)類型
A.2.2變量的賦值
A.2.3數(shù)字類型Numbers
A.2.4字符串類型String
A.3Python標(biāo)準(zhǔn)數(shù)據(jù)類型
A.3.1Python標(biāo)準(zhǔn)數(shù)據(jù)類型: 列表
A.3.2Python標(biāo)準(zhǔn)數(shù)據(jù)類型: 元組
A.3.3Python標(biāo)準(zhǔn)數(shù)據(jù)類型: 字典
A.3.4Python標(biāo)準(zhǔn)數(shù)據(jù)類型: 集合
A.4Python中的條件語句和循環(huán)語句
A.4.1Python條件語句
A.4.2Python循環(huán)語句
附錄B微積分基礎(chǔ)
B.1映射、函數(shù)與極限
B.1.1集合
B.1.2映射與函數(shù)
B.1.3極限與連續(xù)
B.2導(dǎo)數(shù)與微分
B.2.1一階導(dǎo)數(shù)
B.2.2高階導(dǎo)數(shù)
B.2.3泰勒公式
B.2.4函數(shù)的值與小值
B.2.5函數(shù)圖形的繪制
B.3不定積分
B.4定積分
B.5常微分方程
B.6多元函數(shù)的偏導(dǎo)數(shù)
B.7多元函數(shù)的極值
B.8重積分
附錄C線性代數(shù)基礎(chǔ)
C.1向量與矩陣
C.1.1數(shù)域
C.1.2向量的代數(shù)意義
C.1.3向量的代數(shù)運(yùn)算
C.1.4向量的幾何意義
C.1.5矩陣
C.1.6常見特殊矩陣
C.1.7矩陣的運(yùn)算
C.2線性方程組
C.2.1高斯消元法
C.2.2線性方程組的矩陣
C.2.3齊次線性方程組的解
C.3行列式
C.3.1二階與三階行列式
C.3.2排列與逆序數(shù)
C.3.3n階行列式
C.3.4行列式的性質(zhì)
C.3.5行列式的展開
C.3.6克萊姆法則
C.4矩陣的逆
C.5矩陣的對角化
C.5.1矩陣的相似
C.5.2特征值與特征向量
C.5.3矩陣的對角化
C.5.4正交矩陣
C.5.5實對稱矩陣的對角化
附錄DNumPy基礎(chǔ)
D.1創(chuàng)建NumPy數(shù)組
D.1.1使用NumPy內(nèi)部功能函數(shù)
D.1.2從Python列表轉(zhuǎn)換
D.1.3使用特殊的庫函數(shù)
D.2NumPy中的矩陣和向量
D.3數(shù)組屬性和操作
D.4數(shù)組的索引
D.4.1花式索引
D.4.2布爾索引
D.4.3缺省索引
D.4.4where()函數(shù)
D.5通用函數(shù)
D.5.1數(shù)學(xué)運(yùn)算
D.5.2三角函數(shù)
D.5.3位運(yùn)算函數(shù)
D.5.4比較函數(shù)
D.6矩陣計算
D.6.1矩陣和向量積
D.6.2矩陣的分解
D.6.3矩陣的特征值
D.6.4矩陣的逆和解方程
參考文獻(xiàn)