第 一部分　認識向量數(shù)據(jù)庫

第 1章　向量數(shù)據(jù)庫基礎(chǔ)　2

1.1　向量　2

1.1.1　什么是向量　2

1.1.2　萬物皆可向量　4

1.1.3　向量間的相似度　6

1.1.4　相似度應(yīng)用案例　8

1.2　數(shù)據(jù)庫　11

1.2.1　什么是數(shù)據(jù)庫　11

1.2.2　關(guān)系型數(shù)據(jù)庫　13

1.2.3　非關(guān)系型數(shù)據(jù)庫　14

1.2.4　傳統(tǒng)數(shù)據(jù)庫的限制　15

1.3　為什么需要向量數(shù)據(jù)庫　16

1.3.1　向量數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)的差異　16

1.3.2　向量數(shù)據(jù)庫應(yīng)運而生　17

1.3.3　大模型時代的智能存儲平臺　18

1.4　小結(jié)　19

第 2章　向量數(shù)據(jù)庫極簡史　21

2.1　孕育期（19802012）　21

2.1.1　深度神經(jīng)網(wǎng)絡(luò)的飛速發(fā)展　22

2.1.2　深度神經(jīng)網(wǎng)絡(luò)vs向量數(shù)據(jù)庫　23

2.2　誕生期（20122017）　24

2.3　成長期（2017年至今）　25

2.3.1　行業(yè)發(fā)展簡況　26

2.3.2　代表性產(chǎn)品能力對比　27

2.3.3　代表性產(chǎn)品技術(shù)架構(gòu)　28

2.4　小結(jié)　32

第3章　向量數(shù)據(jù)庫的核心能力　33

3.1　基礎(chǔ)能力　33

3.1.1　邏輯層次　34

3.1.2　索引　39

3.1.3　關(guān)鍵指標　42

3.2　高階能力　43

3.2.1　動態(tài)schema　43

3.2.2　別名機制　44

3.2.3　向量化　45

3.2.4　混合查詢　46

3.3　小結(jié)　47

第二部分　構(gòu)建向量數(shù)據(jù)庫

第4章　實現(xiàn)單機向量數(shù)據(jù)庫　50

4.1　實現(xiàn)向量數(shù)據(jù)索引　50

4.1.1　FAISS核心功能　51

4.1.2　實現(xiàn)扁平索引　56

初始版本v0.0.1　62

4.1.3　HNSWLib核心功能　63

4.1.4　實現(xiàn)HNSW索引　70

版本迭代v0.0.2　73

4.2　實現(xiàn)混合數(shù)據(jù)索引　74

4.2.1　實現(xiàn)標量數(shù)據(jù)索引　74

4.2.2　統(tǒng)一管理入口　 76

版本升級v0.1 　 79

4.2.3　實現(xiàn)過濾索引　 80

版本迭代v0.1.1　 86

4.3　實現(xiàn)系統(tǒng)異常恢復(fù)　 87

4.3.1　數(shù)據(jù)日志持久化　 87

版本迭代v0.1.2　 91

4.3.2　數(shù)據(jù)快照持久化　 92

版本升級v0.2　 97

4.4　小結(jié)　 97

第5 章　實現(xiàn)分布式向量數(shù)據(jù)庫　 99

5.1　集群數(shù)據(jù)管理　 100

5.1.1　認識NuRaft　 102

5.1.2　建立主從關(guān)系　 106

5.1.3　實現(xiàn)數(shù)據(jù)復(fù)制　 110

版本升級v0.3　 113

5.2　集群流量管理　 113

5.2.1　集群的元數(shù)據(jù)管理　 114

5.2.2　統(tǒng)一的流量入口　 117

5.2.3　讀寫分離　 121

5.2.4　保證讀寫一致性　 122

版本升級v0.4　 123

5.3　集群異常管理　 123

5.3.1　發(fā)現(xiàn)新主節(jié)點　 123

5.3.2　發(fā)現(xiàn)故障從節(jié)點　 125

5.3.3　實現(xiàn)故障切換　 127

版本升級v0.5　 128

5.4　集群的分片　 130

5.4.1　配置集群的分片策略　 130

5.4.2　根據(jù)分片策略轉(zhuǎn)發(fā)請求　 132

版本升級v0.6　 139

5.5　小結(jié)　 140

第6 章　優(yōu)化向量數(shù)據(jù)庫　 142

6.1　性能優(yōu)化　 143

6.1.1　利用指令集優(yōu)化向量計算　 143

6.1.2　優(yōu)化查詢算法　 144

6.1.3　優(yōu)化通信協(xié)議　 147

6.1.4　自定義基準測試工具　 149

6.2　成本優(yōu)化　 154

6.2.1　多模塊混合部署　 155

6.2.2　單節(jié)點部署　 158

6.3　易用性優(yōu)化　 160

6.3.1　SDK　 160

6.3.2　訪問鑒權(quán)　 162

6.3.3　數(shù)據(jù)備份　 169

6.4　小結(jié)　 172

第三部分　向量數(shù)據(jù)庫的實踐與展望

第7 章　向量數(shù)據(jù)庫實踐案例　 176

7.1　搭建圖片查詢系統(tǒng)　 176

7.1.1　圖片向量化　 176

7.1.2　圖片上傳和查詢　 179

7.1.3　系統(tǒng)效果一覽　 181

7.2　搭建個人知識庫　 182

7.2.1　知識預(yù)處理　 182

7.2.2　知識向量化　 183

7.2.3　知識庫管理　 184

7.2.4　知識問答　 185

7.2.5　系統(tǒng)效果一覽　 186

7.3　小結(jié)　 187

第8 章　展望　 189

8.1　從行業(yè)演進視角看　 190

8.1.1　人類調(diào)度數(shù)據(jù)新范式　 190

8.1.2　向量數(shù)據(jù)抹平數(shù)據(jù)格式差異　 192

8.1.3　向量數(shù)據(jù)庫平臺化的關(guān)鍵　 193

8.2　從行業(yè)應(yīng)用視角看　 194

8.2.1　RAG 簡介　 195

8.2.2　降低RAG 使用門檻　 196

8.3　小結(jié)　 197