目錄
前言
第1章 緒論 1
第2章 概率統(tǒng)計的基礎知識 3
2.1 概率空間 3
2.2 條件概率 6
2.3 獨立性 10
2.4 隨機變量 12
2.4.1 隨機變量的基本性質 12
2.4.2 隨機變量的獨立性 14
2.5 隨機變量的數字特征 15
2.5.1 離散型 15
2.5.2 連續(xù)型 16
2.6 大數定律 16
習題2 17
第3章 離散信源的熵和信息量 19
3.1 離散信源 19
3.2 事件的互信息 20
3.3 條件互信息和聯合事件的互信息 23
3.4 事件的自信息 24
3.5 離散隨機變量的平均自信息一一熵 27
3.6 熵的性質 30
3.7 香農熵的公理化定義 35
3.8 隨機變量的鑒別信息和平均互信息 37
3.8.1 隨機變量的鑒別信息 37
3.8.2 隨機變量的互信息 40
3.9 馬爾可夫鏈和數據處理定理 41
3.10 連續(xù)隨機變量的互信息和微分熵 - 43
3.10.1 連續(xù)隨機變量的互信息 43
3.10.2 連續(xù)隨機變量的熵微分熵 44
3.10.3 微分熵的極大化 46
3.11 凸函數和互信息的凸性 49
3.11.1 凸函數的概念和性質 49
3.11.2 Kuhn-llucker條件 50
3.11.3 互信息的凸性 53
3.12 平穩(wěn)離散信源 55
3.12.1 平穩(wěn)離散信源的一般概念 56
3.12.2 平穩(wěn)信源的熵 57
3.12.3 馬爾可夫信源的熵 60
習題3 62
第4章 離散信源的無錯編碼 65
4.1 漸近等同分割性和離散無記憶信源的等長編碼 65
4.1.1 漸近等司分割性 65
4.1.2 離散無記憶信源的等長編碼 70
4.2 離散無記憶信源的不等長編碼 72
4.2.1 Kraft不等式 74
4.2.2 不等長編碼定理 76
4.2.3 最佳不等長編碼(Huffman編碼 78
4.2.4 其他不等飫編碼 81
4.3 平穩(wěn)信源和馬爾可夫信源的編碼定理 86
4.3.1 平穩(wěn)信源的編碼 86
4.3.2 馬爾可夫信源的編碼定理 89
習題4 92
第5章 離散無記憶信道的容量和編碼定理 94
5.1 離散無記憶信道及其容量 94
5.1.1 信道容量的定義和舉例 95
5.1.2 對稱離散無記憶信道容量的計算 99
5.1.3 轉移概率矩陣可逆信道的容量計算 103
5.1.4 離散無記憶信道容量的迭代計算 104
5.2 信道的組合 107
5.2.1 積信道（平行組合信道） 108
5.2.2 和信道 110
5.2.3 級聯信道 112
5.3 離散無記憶信道的編碼定理 112
5.3.1 幾個有關定義 113
5.3.2 聯合典型列對 114
5.3.3 信道編碼定理 115
習題5 116
參考文獻 118