機(jī)器學(xué)習(xí)

第1章  引言
  1.1  學(xué)習(xí)問題的標(biāo)準(zhǔn)描述
  1.2  設(shè)計(jì)-個(gè)學(xué)習(xí)系統(tǒng)
    1.2.1  選擇訓(xùn)練經(jīng)驗(yàn)
    1.2.2  選擇目標(biāo)函數(shù)
    1.2.3  選擇目標(biāo)函數(shù)的表示
    1.2.4  選擇函數(shù)逼近算法
    1.2.5  最終設(shè)計(jì)
  1.3  機(jī)器學(xué)習(xí)的一些觀點(diǎn)和問題
  1.4  如何閱讀本書
  1.5  小結(jié)和補(bǔ)充讀物
  習(xí)題
第2章  概念學(xué)習(xí)和一般到特殊序
  2.1  簡介
  2.2  概念學(xué)習(xí)任務(wù)
    2.2.1  術(shù)語定義
    2.2.2  歸納學(xué)習(xí)假設(shè)
  2.3  作為搜索的概念學(xué)習(xí)
  2.4  FIND-S：尋找極大特殊假設(shè)
  2.5  變型空間和候選消除算法
    2.5.1  表示
    2.5.2  列表后消除算法
    2.5.3  變型空間的更簡潔表示
    2.5.4  候選消除學(xué)習(xí)算法
    2.5.5  算法的舉例
  2.6  關(guān)于變型空間和候選消除的說明
    2.6.1  候選消除算法是否會收斂到正確的假設(shè)
    2.6.2  下一步需要什么樣的訓(xùn)練樣例
    2.6.3  怎樣使用不完全學(xué)習(xí)概念
  2.7  歸納偏置
    2.7.1  -個(gè)有偏的假設(shè)空間
    2.7.2  無偏的學(xué)習(xí)器
    2.7.3  無偏學(xué)習(xí)的無用性
  2.8  小始和補(bǔ)充讀物
  習(xí)題
第3章  決策樹學(xué)習(xí)
  3.1  簡介
  3.2  決策樹表示法
  3.3  決策樹學(xué)習(xí)的適用問題
  3.4  基本的決策樹學(xué)習(xí)算法
    3.4.1  哪個(gè)屬性是最佳的分類屬性
    3.4.2  舉例
  3.5  決策樹學(xué)習(xí)中的假設(shè)空間搜索
  3.6  決策樹學(xué)習(xí)的歸納偏置
    3.6.1  限定偏置和優(yōu)選偏置
    3.6.2  為什么短的假設(shè)優(yōu)先
  3.7  決策樹學(xué)習(xí)的常見問題
    3.7.1  避免過度擬合數(shù)據(jù)
    3.7.2  合并連續(xù)值屬性
    3.7.3  屬性選擇的其他度量標(biāo)準(zhǔn)
    3.7.4  處理缺少屬性值的訓(xùn)練樣例
    3.7.5  處理不同代價(jià)的屬性
  3.8  小結(jié)和補(bǔ)充讀物
  習(xí)題
第4章  人工神經(jīng)網(wǎng)絡(luò)
  4.1  簡介
  4.2  神經(jīng)網(wǎng)絡(luò)表示
  4.3  適合神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的問題
  4.4  感知器
    4.4.1  感知器的表征能力
    4.4.2  感知器訓(xùn)練法則
    4.4.3  梯度下降和delta法則
    4.4.4  小結(jié)
  4.5  多層網(wǎng)絡(luò)和反向傳播算法
    4.5.1  可微閾值單元
    4.5.2  反向傳播算法
    4.5.3  反向傳播法則的推導(dǎo)
  4.6　　反向傳播算法的說明
    4.6.1  收斂性和局部極小值
    4.6.2  前饋網(wǎng)絡(luò)的表征能力
    4.6.3  假設(shè)空間搜索和歸納偏置
    4.6.4  隱藏層表示
    4.6.5  泛化.過度擬合和停止判據(jù)
  4.7  舉例：人臉識別
    4.7.1  任務(wù)
    4.7.2  設(shè)計(jì)要素
    4.7.3  學(xué)習(xí)到的隱藏層表示
  4.8  人工神經(jīng)網(wǎng)絡(luò)的高級課題
    4.8.1  其他可選的誤差函數(shù)
    4.8.2  其他可選的誤差最小化過程
    4.8.3  遞歸網(wǎng)絡(luò)
    4.8.4  動態(tài)修改網(wǎng)絡(luò)結(jié)構(gòu)
  4.9  小結(jié)和補(bǔ)充讀物
  習(xí)題
第5章  評估假設(shè)
  5.1  動機(jī)
  5.2  估計(jì)假設(shè)精度
    5.2.1  樣本錯(cuò)誤率和真實(shí)錯(cuò)誤率
    5.2.2  離散值假設(shè)的置信區(qū)間
  5.3  采樣理論基礎(chǔ)
    5.3.1  錯(cuò)誤率估計(jì)和二項(xiàng)比例估計(jì)
    5.3.2  二項(xiàng)分布
    5.3.3  均值和方差
    5.3.4  估計(jì)量.偏差和方差
    5.3.5  置信區(qū)間
    5.3.6  雙側(cè)和單側(cè)邊界
  5.4  推導(dǎo)置信區(qū)間的一般方法
  5.5  兩個(gè)假設(shè)錯(cuò)誤率間的差異
  5.6  學(xué)習(xí)算法比較
    5.6.1  配對t測試
    5.6.2  實(shí)際考慮
  5.7  小結(jié)和補(bǔ)充讀物
  習(xí)題
第6章  貝葉斯學(xué)習(xí)
  6.1  簡介
  6.2  貝葉斯法則
  6.3  貝葉斯法則和概念學(xué)習(xí)
    6.3.1  BRUTE-FORCE貝葉斯概念學(xué)習(xí)
    6.3.2  MAP假設(shè)和一致學(xué)習(xí)器
  6.4  極大似然和最小誤差平方假設(shè)
  6.5  用于預(yù)測概率的極大似然假設(shè)
  6.6  最小描述長度準(zhǔn)則
  6.7  貝葉斯最優(yōu)分類器
  6.8  GIBBS算法
  6.9  樸素貝葉斯分類器
  6.10  舉例：學(xué)習(xí)分類文本
  6.11  貝葉斯信念網(wǎng)
    6.11.1  條件獨(dú)立性
    6.11.2  表示
    6.11.3  推理
    6.11.4  學(xué)習(xí)貝葉斯信念網(wǎng)
    6.11.5  貝葉斯網(wǎng)的梯度上升訓(xùn)練
    6.11.6  學(xué)習(xí)貝葉斯網(wǎng)的結(jié)構(gòu)
  6.12  EM算法
    6.12.1  估計(jì)k個(gè)高斯分布的均值
    6.12.2  EM算法的一般表述
    6.12.3  k均值算法的推導(dǎo)
  6.13  小結(jié)和補(bǔ)充讀物
  習(xí)題
第7章  計(jì)算學(xué)習(xí)理論
  7.1  簡介
  7.2  可能學(xué)習(xí)近似正確假設(shè)
    7.2.1  問題框架
    7.2.2  假設(shè)的錯(cuò)誤率
    7.2.3  PAC可學(xué)習(xí)性
  7.3  有限假設(shè)空間的樣本復(fù)雜度
    7.3.1  不可知學(xué)習(xí)和不一致假設(shè)
    7.3.2  布爾文字的合取是PAC可學(xué)習(xí)的
    7.3.3  其他概念類別的PAC可學(xué)習(xí)性
  7.4  無限假設(shè)空間的樣本復(fù)雜度
    7.4.1  打散一個(gè)實(shí)例集合
    7.4.2  Vapnik-Chervonenkis維度
    7.4.3  樣本復(fù)雜度和VC維
    7.4.4  神經(jīng)網(wǎng)絡(luò)的VC維
  7.5  學(xué)習(xí)的出錯(cuò)界限模型
    7.5.1  FIND-S算法的出錯(cuò)界限
    7.5.2  HALVING算法的出錯(cuò)界限
    7.5.3  最優(yōu)出錯(cuò)界限
    7.5.4  加權(quán)多數(shù)算法
  7.6  小結(jié)和補(bǔ)充讀物
  習(xí)題
第8章  基于實(shí)例的學(xué)習(xí)
  8.1  簡介
  8.2  k-近鄰算法
    8.2.1  距離加權(quán)最近鄰算法
    8.2.2  對k-近鄰算法的說明
    8.2.3  術(shù)語注解
  8.3  局部加權(quán)回歸
    8.3.1  局部加權(quán)線性回歸
    8.3.2  局部加權(quán)回歸的說明
  8.4  徑向基函數(shù)
  8.5  基于案例的推理
  8.6  對消極學(xué)習(xí)和積極學(xué)習(xí)的評論
  8.7  小結(jié)和補(bǔ)充讀物
  習(xí)題
第9章  遺傳算法
  9.1  動機(jī)
  9.2  遺傳算法
    9.2.1  表示假設(shè)
    9.2.2  遺傳算子
    9.2.3  適應(yīng)度函數(shù)和假設(shè)選擇
  9.3  舉例
  9.4  假設(shè)空間搜索
  9.5  遺傳編程
    9.5.1  程序表示
    9.5.2  舉例
    9.5.3  遺傳編程說明
  9.6  進(jìn)化和學(xué)習(xí)模型
    9.6.1  拉馬克進(jìn)化
    9.6.2  鮑德溫效應(yīng)
  9.7  并行遺傳算法
  9.8  小結(jié)和補(bǔ)充讀物
  習(xí)題
第10章  學(xué)習(xí)規(guī)則集合
  10.1  簡介
  10.2  序列覆蓋算法
    10.2.1  一般到特殊的柱狀搜索
    10.2.2  幾種變型
  10.3  學(xué)習(xí)規(guī)則集：小結(jié)
  10.4　學(xué)習(xí)一階規(guī)則
    10.4.1  一階Horn子句
    10.4.2  術(shù)語
  10.5  學(xué)習(xí)一階規(guī)則集：FOIL
    10.5.1  FOIL中的候選特化式的生成
    10.5.2  引導(dǎo)FOIL的搜索
    10.5.3  學(xué)習(xí)遞歸規(guī)則集
    10.5.4  FOIL小結(jié)
  10.6  作為逆演繹的歸納
  10.7  逆歸納
    10.7.1  一階歸納
    10.7.2  逆歸納：一階情況
    10.7.3  逆歸納小結(jié)
    10.7.4  泛化.-包容和涵蘊(yùn)
    10.7.5  PROGOL
  10.8  小結(jié)和補(bǔ)充讀物
  習(xí)題
第11章  分析學(xué)習(xí)
  11.1  簡介
  11.2　用完美的領(lǐng)域理論學(xué)習(xí)：PROLOG-EBG
  11.3  對基于解釋的學(xué)習(xí)的說明
    11.3.1　發(fā)現(xiàn)新特征
    11.3.2　演繹學(xué)習(xí)
    11.3.3　基于解釋的學(xué)習(xí)的歸納偏置
    11.3.4　知識級的學(xué)習(xí)
  11.4　搜索控制知識的基于解釋的學(xué)習(xí)
  11.5　小結(jié)和補(bǔ)充讀物
  習(xí)題
第12章  歸納和分析學(xué)習(xí)的結(jié)合
  12.1  動機(jī)
  12.2　學(xué)習(xí)的歸納-分析途徑
    12.2.1  學(xué)習(xí)問題
    12.2.2　假設(shè)空間搜索
  12.3  使用先驗(yàn)知識得到初始假設(shè)
    12.3.1  KBANN算法
    12.3.2　舉例
    12.3.3　說明
  12.4　使用先驗(yàn)知識改變搜索目標(biāo)
    12.4.1  TANGENTPROP算法
    12.4.2  舉例
    12.4.3  說明
    12.4.4  EBNN算法
    12.4.5  說明
  12.5  使用先驗(yàn)知識來擴(kuò)展搜索算子
    12.5.1  FOCL算法
    12.5.2  說明
  12.6  研究現(xiàn)狀
  12.7  小結(jié)和補(bǔ)充讀物
  習(xí)題
第13章  增強(qiáng)學(xué)習(xí)
  13.1  簡介
  13.2  學(xué)習(xí)任務(wù)
  13.3  Q學(xué)習(xí)
    13.3.1  Q函數(shù)
    13.3.2  一個(gè)學(xué)習(xí)Q的算法
    13.3.3  舉例
    13.3.4  收斂性
    13.3.5  實(shí)驗(yàn)策略
    13.3.6  更新序列
  13.4  非確定性回報(bào)和動作
  13.5  時(shí)間差分學(xué)習(xí)
  13.6  從樣例中泛化
  13.7  與動態(tài)規(guī)劃的聯(lián)樂
  13.8  小結(jié)和補(bǔ)充讀物
  習(xí)題
附錄  符號約定