信息論基礎及應用

第1章 緒論
1．1 信息的基本概念
1．1．1 信息的不同定義
1．1．2 信息的特征
1．1．3 信息的性質(zhì)
1．1．4 信息的分類
1．1．5 信息科學
1．2 信息論的起源、發(fā)展及研究內(nèi)容
1．2．1 信息論的起源
1．2．2 信息技術(shù)的發(fā)展
1．2．3 信息論研究的主要內(nèi)容
1．2．4 信息論的應用
1．3 編碼理論概述
1．3．1 編碼理論的基本概念
1．3．2 編碼理論的發(fā)展
1．3．3 編碼理論研究的內(nèi)容和目的
習題
第2章 信息論的數(shù)學基礎
2．1 概率論基本知識
2．1．1 隨機事件與概率
2．1．2 隨機變量及其分布
2．1．3 多維隨機變量及其分布
2．1．4 數(shù)學期望與方差
2．2 隨機過程基本知識
2．2．1 隨機過程及其統(tǒng)計描述
2．2．2 隨機過程的數(shù)字特征
2．3 馬爾可夫鏈
2．3．1 馬爾可夫過程及其概率分布
2．3．2 多步轉(zhuǎn)移概率的確定
2．3．3 遍歷性
2．4 抽象代數(shù)基本知識
2．4．1 群的基本概念
2．4．2 環(huán)的基本概念
2．4．3 域的基本概念及域上多項式
第3章 信源與信源熵
3．1 單符號離散信源
3．1．1 單符號離散信源的數(shù)學模型
3．1．2 概率知識基礎
3．1．3 單符號離散信源的信息量
3．1．4 互信息量和條件互信息量
3．1．5 單符號離散信源的信源熵
3．1．6 信源熵的基本性質(zhì)和定理
3．1．7 平均互信息量
3．1．8 各種熵之間的關(guān)系
3．2 多符號離散平穩(wěn)信源
3．2．1 離散無記憶擴展信源
3．2．2 離散平穩(wěn)信源的數(shù)學定義
3．2．3 離散平穩(wěn)信源的信源熵和極限熵
3．3 馬爾可夫信源
3．3．1 馬爾可夫（Markov）鏈
3．3．2 馬爾可夫信源
3．3．3 馬爾可夫信源熵
3．4 連續(xù)信源
3．4．1 連續(xù)信源的熵
3．4．2 幾種特殊連續(xù)信源的熵
3．4．3 連續(xù)熵的性質(zhì)及最大連續(xù)熵定理
習題
第4章 無失真信源編碼
4．1 信源編碼概述
4．1．1 信源編碼的定義
4．1．2 克拉夫特（Kraft）不等式
4．2 定長編碼
4．2．1 定長編碼定理
4．2．2 定長編碼方法
4．3 變長編碼
4．3．1 變長編碼定理
4．3．2 變長編碼方法
4．4 幾種實用的無失真信源編碼
4．4．1 香農(nóng)編碼
4．4．2 費諾編碼
4．4．3 哈夫曼編碼
4．4．4 游程編碼
4．4．5 冗余位編碼
4．4．6 算數(shù)編碼
4．4．7 字典編碼
習題
第5章 限失真信源編碼
5．1 失真測度與信息率失真函數(shù)
5．1．1 平均失真度
5．1．2 信息率失真函數(shù)的定義
5．1．3 信息率失真函數(shù)的性質(zhì)
5．2 信息率失真函數(shù)的計算
5．2．1 離散信源的率失真函數(shù)的計算
5．2．2 連續(xù)信源的率失真函數(shù)
5．3 限失真信源編碼定理
5．4 限失真信源編碼簡介
5．4．1 語音信號的預測編碼
5．4．2 圖像與視頻信號的預測編碼
習題
第6章 信道及信道容量
6．1 信道模型和分類
6．1．1 一般信道的數(shù)學模型
6．1．2 信道的分類
6．1．3 信道容量的定義
6．2 特殊的單符號離散信道的信道容量
6．2．1 離散無噪信道的信道容量
6．2．2 強對稱離散信道的信道容量
6．2．3 對稱信道的信道容量
6．2．4 準對稱離散信道的信道容量
6．2．5 一般離散信道的信道容量
6．3 多符號離散信道
6．3．1 多符號離散信道的數(shù)學模型
6．3．2 離散無記憶信道的信道容量
6．4 多用戶信道及連續(xù)信道
6．4．1 多用戶信道
6．4．2 連續(xù)信道
習題
第7章 信道編碼
7．1 信道編碼的基本概念
7．1．1 信道編碼的意義
7．1．2 信道編碼的分類
7．1．3 信道編碼的基本原理
7．2 信道編碼定理
7．2．1 譯碼規(guī)則及錯誤概率
7．2．2 信道編碼定理
7．2．3 檢錯與糾錯原理
7．2．4 檢錯與糾錯方式和能力
7．3 線性分組碼
7．3．1 概述
7．3．2 線性分組碼的生成矩陣和一致校驗矩陣
7．3．3 線性碼的糾錯能力
7．3．4 線性分組碼的譯碼
7．3．5 漢明碼
7．4 循環(huán)碼
7．4．1 循環(huán)碼的定義及多項式表示
7．4．2 循環(huán)碼的生成矩陣和一致校驗矩陣
7．4．3 循環(huán)碼的編碼
7．4．4 循環(huán)碼的譯碼
第8章 信息論方法的應用
8．1 信息論在統(tǒng)計中的應用
8．1．1 EM算法
8．1．2 互熵與Fisher矩陣
8．2 組合投資決策（Portfolio）中的應用
8．2．1 組合投資決策問題
8．2．2 量優(yōu)組合投資決策的計算
8．3 最大熵原理在經(jīng)濟學中的應用
8．3．1 最大熵建?；驹?br />8．3．2 最大熵統(tǒng)計模型的優(yōu)缺點
8．3．3 封閉經(jīng)濟體中貨幣量的分布
8．3．4 封閉經(jīng)濟體中財富的分布
8．4 在自然語言中應用
8．4．1 英語信源的熵和剩余度
8．4．2 漢語信源的熵和剩余度
附錄：模擬試題
模擬試題一
模擬試題一答案
模擬試題二
模擬試題二答案
模擬試題三
模擬試題三答案
模擬試題四
模擬試題四答案
參考文獻