目錄
前言
常用符號
第1章 緒論 1
1.1 通信系統(tǒng)的基本單元 1
1.2 信息科學(xué)的有關(guān)概念 2
1.2.1 信息的特征 2
1.2.2 信息理論要解決的基本問題 3
1.2.3 信息論的創(chuàng)始人 4
1.2.4 信息科學(xué)的定義及迅速發(fā)展的背景 4
1.2.5 信息理論的研究內(nèi)容 4
1.3 香農(nóng)信息論梗概 5
思考題 6
第2章 信息的度量 7
2.1 度量信息的基本思路 7
2.1.1 單符號離散信源 7
2.1.2 自信息量 7
2.2 信源熵和條件熵 9
2.2.1 信源熵 9
2.2.2 條件自信息量 10
2.2.3 條件熵 11
2.3 互信息量和平均互信息量 11
2.3.1 互信息量 11
2.3.2 互信息量的性質(zhì) 12
2.3.3 條件互信息量 13
2.3.4 平均互信息量 14
2.3.5 平均互信息量的性質(zhì) 14
2.3.6 平均互信息量的物理意義 16
2.4 多維隨機變量的熵 18
2.4.1 熵的鏈接準則 18
2.4.2 信息鏈接準則 18
2.4.3 熵的界 19
2.4.4 數(shù)據(jù)處理不等式 19
本章小結(jié) 20
思考題 21
習題 21
第3章 離散信源及其信源編碼 23
3.1 信源分類 23
3.1.1 信源分類方法 23
3.1.2 自然語信源 24
3.1.3 馬爾可夫信源 26
3.2 離散信源的熵 28
3.2.1 發(fā)出單符號消息離散無記憶信源的熵 28
3.2.2 發(fā)出符號序列消息離散無記憶信源的熵 29
3.2.3 發(fā)出符號序列消息的離散有記憶信源的熵 30
3.2.4 發(fā)出符號序列消息的馬爾可夫信源的熵 32
3.2.5 各種離散信源的時間熵 32
3.3 信源的冗余度 34
3.3.1 最大信源熵 35
3.3.2 信源的冗余度 35
3.4 信源編碼及其描述 37
3.4.1 信源編碼模型 37
3.4.2 編碼效率 38
3.5 單義可譯定理 41
3.5.1 單義可譯碼 41
3.5.2 即時碼的構(gòu)造 42
3.5.3 單義可譯定理 42
3.5.4 平均碼長界定定理 44
3.6 香農(nóng)第一定理 46
3.6.1 無失真信源編碼 46
3.6.2 等長碼的信源編碼 48
3.7 信源編碼實例 49
3.7.1 費諾編碼方法 49
3.7.2 霍夫曼編碼方法 51
3.7.3 Lempel-Ziv編碼 53
本章小結(jié) 56
思考題 56
習題 56
第4章 離散信道及其信道編碼 60
4.1 信道的分類 60
4.2 離散信道的傳輸特性 61
4.2.1 無擾離散信道的傳輸特性 61
4.2.2 有擾離散信道的傳輸特性 62
4.2.3 幾種特殊的有擾離散信道 64
4.2.4 消息在有擾離散信道上的信息傳輸速率 66
4.2.5 有擾離散信道的信道容量 66
4.3 譯碼準則 72
4.3.1 常用的譯碼準則 73
4.3.2 關(guān)于譯碼準則的討論 75
4.4 香農(nóng)第二定理 76
4.4.1 信道編碼與平均錯誤譯碼概率 76
4.4.2 漢明距離與編碼原則 77
4.4.3 有擾離散信道的信道編碼定理 78
本章小結(jié) 79
思考題 80
習題 80
第5章 連續(xù)消息和連續(xù)信道 83
5.1 連續(xù)消息的信息度量 83
5.1.1 基本思路 83
5.1.2 幾種連續(xù)信源的相對熵 85
5.1.3 條件熵 89
5.1.4 平均互信息量 90
5.1.5 連續(xù)消息熵的性質(zhì) 92
5.1.6 最大相對熵定理 92
5.1.7 熵功率和熵功率不等式 95
5.2 連續(xù)消息在信道上的傳輸問題 97
5.3 香農(nóng)信道容量公式 98
5.3.1 高斯信道的信道容量 98
5.3.2 帶限信道的信道容量 99
5.3.3 香農(nóng)公式的含義 100
本章小結(jié) 101
思考題 101
習題 102
第6章 限失真信源編碼 104
6.1 失真函數(shù)和平均失真度 104
6.1.1 失真函數(shù) 104
6.1.2 平均失真度 107
6.2 信息率失真函數(shù) 109
6.2.1 保真度準則 109
6.2.2 失真許可的試驗信道 110
6.2.3 信息率失真函數(shù)及其性質(zhì) 110
6.2.4 幾種典型信源的信息率失真函數(shù) 113
6.3 保真度準則下的信源編碼定理 116
本章小結(jié) 117
思考題 118
習題 118
第7章 差錯控制的基本概念 120
7.1 差錯控制系統(tǒng)的分類 120
7.1.1 自動請求重傳系統(tǒng) 120
7.1.2 前向糾錯系統(tǒng) 122
7.1.3 信息重復(fù)查詢系統(tǒng)和混合糾錯系統(tǒng) 123
7.2 糾錯編碼的分類及其性能評價 124
7.2.1 糾錯編碼的分類 124
7.2.2 糾錯碼的基本概念 125
7.2.3 糾錯編碼方法的性能評價 128
本章小結(jié) 130
思考題 130
習題 131
第8章 線性分組碼 132
8.1 有關(guān)概念 132
8.1.1 線性分組碼的定義及其性質(zhì) 132
8.2 線性分組碼的編碼和譯碼 135
8.2.1 線性分組碼的編碼 135
8.2.2 線性分組碼譯碼 136
8.2.3 線性分組碼舉例 141
8.3 循環(huán)碼的描述 141
8.3.1 循環(huán)碼的定義 142
8.3.2 循環(huán)碼的性質(zhì) 143
8.3.3 生成矩陣和一致校驗矩陣 147
8.4 循環(huán)碼的編碼和譯碼 148
8.4.1 循環(huán)碼的編碼 148
8.4.2 循環(huán)碼的譯碼 150
8.4.3 循環(huán)碼的檢錯能力 152
8.4.4 循環(huán)碼的縮短與擴展 153
8.5 二元BCH碼 154
8.5.1 BCH碼的描述 154
8.5.2 BCH碼的編碼和譯碼 157
8.6 多元BCH碼和R-S碼 159
8.7 糾突發(fā)錯誤碼 160
8.7.1 糾突發(fā)錯誤碼的定義及基本性質(zhì) 160
8.7.2 交織碼 161
本章小結(jié) 163
思考題 164
習題 165
第9章 卷積碼 168
9.1 卷積碼的編碼及其描述 168
9.1.1 卷積碼的編碼 168
9.1.2 卷積碼的描述 170
9.2 卷積碼的最大似然譯碼 178
9.2.1 Viterbi譯碼 178
9.2.2 序列譯碼 180
9.3 卷積碼的性能評估 186
9.3.1 譯碼的錯誤擴展及惡性卷積碼 186
9.3.2 卷積碼的自由距離 187
本章小結(jié) 189
思考題 189
習題 189
第10章 信道編碼新進展簡介 192
10.1 Turbo碼 192
10.1.1 Turbo碼的編碼及其性能 192
10.1.2 Turbo碼的譯碼簡介 194
10.2 空時分組碼 195
10.2.1 正交空時分組碼 195
10.2.2 正交空時分組碼的譯碼 197
10.2.3 準正交空時分組碼 197
10.2.4 準正交空時分組碼的譯碼 198
10.3 低密度奇偶校驗碼 199
10.3.1 低密度奇偶校驗碼的定義 199
10.3.2 低密度奇偶校驗碼的譯碼 200
10.4 網(wǎng)絡(luò)編碼與協(xié)作 205
10.4.1 網(wǎng)絡(luò)編碼 205
10.4.2 網(wǎng)絡(luò)編碼協(xié)作 207
本章小結(jié) 208
思考題 208
習題 209
參考文獻 210
索引 213