人工神經(jīng)網(wǎng)絡(luò)與模擬化計(jì)算

第1章  緒論                  
     1. 1  神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用                  
     1. 2  人工神經(jīng)元模型                  
     1. 3  用有向圖表示神經(jīng)網(wǎng)絡(luò)                  
     1. 4  網(wǎng)絡(luò)結(jié)構(gòu)及工作方式                  
     1. 5  NN的學(xué)習(xí)                  
     1. 5. 1  學(xué)習(xí)方式                  
     1. 5. 2  學(xué)習(xí)算法                  
     1. 5. 3  學(xué)習(xí)與自適應(yīng)                  
     習(xí)題                  
     參考文獻(xiàn)                  
     第2章  前饋網(wǎng)絡(luò)                  
     2. 1  線(xiàn)性閡值單元                  
     2. 1. 1  用線(xiàn)性閾值單元實(shí)現(xiàn)布爾函數(shù)                  
     2. 1. 2  線(xiàn)性可分性                  
     2. 1. 3  n維歐氏空間中m個(gè)點(diǎn)上可實(shí)現(xiàn)的線(xiàn)性可分函數(shù)的個(gè)數(shù)                  
     2. 2  多層前饋網(wǎng)絡(luò)的計(jì)算能力及函數(shù)逼近                  
     2. 3  感知器學(xué)習(xí)算法                  
     2. 4  反向傳播學(xué)習(xí)算法                  
     2. 5  改進(jìn)反向傳播算法收斂速度的措施                  
     2. 5. 1  加入動(dòng)量項(xiàng)                  
     2. 5. 2  高階導(dǎo)數(shù)的利用                  
     2. 5. 3  共輛梯度法                  
     2. 5. 4  遞推最小二乘法                  
     2. 5. 5  神經(jīng)元空間搜索法                  
     2. 5. 6  一些其他措施                  
     2. 6  多層前饋網(wǎng)絡(luò)作用的分析                  
     2. 6. 1  線(xiàn)性網(wǎng)絡(luò)                  
     2. 6. 2  非線(xiàn)性情況                  
     2. 7  應(yīng)用舉例——手寫(xiě)體數(shù)字識(shí)別                  
     習(xí)題                  
     參考文獻(xiàn)                  
      第3章  徑向基函數(shù)網(wǎng)絡(luò)                  
     3. 1  4可分性                  
     3. 2  函數(shù)逼近與內(nèi)插                  
     3. 3  正規(guī)化理論                  
     3. 4  RBF網(wǎng)絡(luò)的學(xué)習(xí)                  
     3. 5  RBF網(wǎng)絡(luò)的一些變形                  
     3. 6  CMAC網(wǎng)絡(luò)                  
     3. 6. 1  模型結(jié)構(gòu)                  
     3. 6. 2  工作原理分析                  
     3. 6. 3  學(xué)習(xí)算法                  
     3. 7  概率神經(jīng)網(wǎng)絡(luò)                  
     3. 8  小波網(wǎng)絡(luò)                  
     3. 9  泛函連接網(wǎng)絡(luò)                  
     參考文獻(xiàn)                  
     第4章  學(xué)習(xí)理論與網(wǎng)絡(luò)結(jié)構(gòu)選擇                  
     4. 1  學(xué)習(xí)的統(tǒng)計(jì)性能                  
     4. 1. 1  經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則                  
     4. 1. 2  VC維數(shù)                  
     4. 1. 3  一致收斂的速度                  
     4. 1. 4  結(jié)構(gòu)風(fēng)險(xiǎn)最小化                  
     4. 2  學(xué)習(xí)的復(fù)雜性問(wèn)題                  
     4. 2. 1  PAC學(xué)習(xí)的模型                  
     4. 2. 2  PAC學(xué)習(xí)的例子                  
     4. 2. 3  PAC學(xué)習(xí)模型的一些擴(kuò)展                  
     4. 2. 4  多層前饋網(wǎng)絡(luò)的樣本數(shù)問(wèn)題                  
     4. 2. 5  學(xué)習(xí)的計(jì)算復(fù)雜性                  
     4. 3  學(xué)習(xí)的動(dòng)態(tài)特性                  
     4. 3. 1  通用學(xué)習(xí)方程                  
     4. 3. 2  LMS規(guī)則                  
     4. 3. 3  Hebb規(guī)則                  
     4. 3. 4  Oja學(xué)習(xí)規(guī)則                  
     4. 4  推廣問(wèn)題                  
     4. 4. 1  定性分祈                  
     4. 4. 2  平均推廣能力                  
     4. 4. 3  從數(shù)學(xué)上研究一般的推廣問(wèn)題                  
     4. 4. 4  樣本量問(wèn)題                  
     4. 1. 5    推廣誤差的實(shí)驗(yàn)估計(jì)                  
     4. 5  預(yù)測(cè)學(xué)習(xí)                  
     4. 5. 1  模型                  
     4. 5. 2  根本困難                  
     4. 5. 3  維數(shù)災(zāi)難問(wèn)題                  
     4. 5. 4  方差與偏置折衷                  
     4. 6  網(wǎng)絡(luò)模型選擇                  
     4. 6. 1  定性分析                  
     4. 6. 2  正規(guī)化方法                  
     4. 6. 3  修剪與網(wǎng)絡(luò)構(gòu)造法                  
     4. 7  將號(hào)學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)結(jié)合                  
     4. 8  支承向量機(jī)                  
     4. 9  新一代神經(jīng)元模型及其計(jì)算能力的研究                  
     4. 9. 1  布爾函數(shù)的計(jì)算                  
     4. 9. 2  連續(xù)輸入的情況                  
     4. 9. 3  脈沖鍋合神經(jīng)元                  
     習(xí)題                  
     參考文獻(xiàn)                  
     第5章  反饋網(wǎng)絡(luò)與聯(lián)想存儲(chǔ)器                  
     5. 1  聯(lián)想存儲(chǔ)器                  
     5. 2  反饋網(wǎng)絡(luò)                  
     5. 2. 1  離散Hopfield網(wǎng)絡(luò)                  
     5. 2. 2  連續(xù)Hopfield網(wǎng)絡(luò)                  
     5. 3  用反饋網(wǎng)絡(luò)作聯(lián)想存儲(chǔ)器                  
     5. 4  相關(guān)學(xué)習(xí)算法                  
     5. 5  容量分析                  
     5. 6  偽逆學(xué)習(xí)算法                  
     5. 7  基于線(xiàn)性可分性的學(xué)習(xí)算法                  
     5. 8  Li與Miche1的設(shè)計(jì)方法                  
     5. 9  線(xiàn)性規(guī)劃方法                  
     5. 10  多余吸引子問(wèn)題                  
     5. 11  雙向聯(lián)想存儲(chǔ)器                  
     5. 12  玻耳茲曼饑                  
     5. l2. 1  隨機(jī)神經(jīng)元                  
     5. 12. 2  模擬退火算法                  
     5. 12. 3  玻耳茲曼機(jī)                  
     5. 12. 4  玻耳茲曼機(jī)的學(xué)習(xí)                  
     5. 12. 5  平均場(chǎng)學(xué)習(xí)規(guī)則                  
      參考文獻(xiàn)                  
     第6章  神經(jīng)網(wǎng)絡(luò)用于優(yōu)化計(jì)算                  
     6. 1  概述                  
     6. 2  連續(xù)Hopfield網(wǎng)絡(luò)用于求解優(yōu)化問(wèn)題                  
     6. 3  CHNN用于優(yōu)化計(jì)算時(shí)存在的問(wèn)題                  
     6. 4  神經(jīng)網(wǎng)絡(luò)用于求解貨流問(wèn)題                  
     6. 5  用于解數(shù)學(xué)規(guī)劃的電路舉例                  
     6. 6  在通信網(wǎng)絡(luò)中的應(yīng)用舉例                  
     習(xí)題                  
     參考文獻(xiàn)                  
     第7章  自組織系統(tǒng)(I)一一Hebb學(xué)習(xí)                  
     7. 1  引言                  
     7. 2  自組織特征檢測(cè)——一個(gè)簡(jiǎn)單的實(shí)驗(yàn)                  
     7. 3  主成分分析                  
     7. 4  單個(gè)神經(jīng)元抽取最大主分量                  
     7. 5  單層網(wǎng)絡(luò)朋于抽取一組主分量                  
     7. 6  有側(cè)向連接的自適應(yīng)PCA                  
     7. 7  最小均方誤差重建學(xué)習(xí)                  
     7. 8  次分量的提取和應(yīng)用                  
     7. 8. 1  最優(yōu)擬合問(wèn)題                  
     7. 8. 2  用單個(gè)神經(jīng)元實(shí)現(xiàn)                  
     7. 9  PCA算法的進(jìn)一步擴(kuò)展                  
     7. 9. 1  非線(xiàn)性PCA                  
     7. 9. 2  魯棒PCA算法                  
     7. 10  用于特征拙取的網(wǎng)絡(luò)                  
     7. 10. 1  正態(tài)分布的數(shù)據(jù)                  
     7. 10. 2  類(lèi)內(nèi). 類(lèi)間距離的計(jì)算                  
     7. 10. 3  Bhattacharya距離                  
     7. 11  獨(dú)立成分分析                  
     7. 11, 1  IC與肓源分離                  
     7. 11. 2  高階累積量                  
     7. 11. 3  基于信息的判據(jù)                  
     參考文獻(xiàn)                  
     第8章  自組織系統(tǒng)(II)—一  競(jìng)爭(zhēng)學(xué)習(xí)                  
     8. 1  Hamming網(wǎng)絡(luò)與WTA網(wǎng)絡(luò)                  
     8. 2    自組織特征映射                     
     8. 3  等效的SOFM算法                  
     8. 4  向量量化                  
     8. 5  廣義向設(shè)量化                  
     8. 6  討論                  
     8. 7  應(yīng)用舉例——指紋識(shí)別                  
     8. 8  自適應(yīng)共振理論                  
     8. 3. 1  ART的基本原理                  
     8. 8. 2  ART作為分類(lèi)器時(shí)的學(xué)習(xí)算法                  
     習(xí)題                  
     參考文獻(xiàn)                  
     第9章  自組織系統(tǒng)(III)——基于信息論的模型                  
     9. 1  信息論簡(jiǎn)介                  
     9. 2  最大信息保持原則                  
     9. 2. 1  單個(gè)神經(jīng)元受噪聲干擾                  
     9. 2. 2  輸入受加性噪聲干擾                  
     9. 2. 3  更復(fù)雜些的情況                  
     9. 3  拓?fù)溆行蛴成涞漠a(chǎn)生                  
     9. 4  基于最大熵原則的拓?fù)溆成?nbsp;                 
     參考文獻(xiàn)                  
     第10章  動(dòng)態(tài)信號(hào)與系統(tǒng)的處理                  
     10. 1  延時(shí)單元網(wǎng)絡(luò)                  
     10. 2  時(shí)空神經(jīng)元模型                  
     10. 2. 1  模型                  
     10. 2. 2  FIR網(wǎng)絡(luò)的學(xué)習(xí)算法                  
     10. 3  部分反饋網(wǎng)絡(luò)                  
     10. 4  有反饋網(wǎng)絡(luò)的學(xué)習(xí)算法                  
     10. 4. 1  隨時(shí)間演化的反向傳播算法                  
     10. 4. 2  實(shí)時(shí)遞歸學(xué)習(xí)                  
     10. 5  應(yīng)用舉例                  
     10. 6  討淪                  
     l0. 7  再勵(lì)學(xué)習(xí)的主要算法                  
     10. 7. 1  時(shí)間差分法                  
     10. 7. 2  RL的主要算法                  
     10. 8  再勵(lì)學(xué)習(xí)在控制中的應(yīng)用舉例                  
     習(xí)題                  
     參考文獻(xiàn)                  
     第11章  神經(jīng)網(wǎng)絡(luò)中的動(dòng)力學(xué)問(wèn)題                  
     11. 1  運(yùn)動(dòng)穩(wěn)定性的基本知識(shí)                  
     11. 1. 1  運(yùn)動(dòng)微分方程                  
     11. 1. 2  平衡狀態(tài)及其穩(wěn)定性                  
     11. 1. 3  定性方法, 系統(tǒng)的分類(lèi)                  
     11. 1. 4  Liapunov定理                  
     11. 1. 5  吸引子                  
     11. 2  反饋網(wǎng)絡(luò)的基本模型及其穩(wěn)定性                  
     11. 2. 1  基本模型                  
     11. 2. 2  穩(wěn)定性分析                  
     11. 2. 3  離散模型                  
     11. 2. 4  離散時(shí)間連續(xù)狀態(tài)模型                  
     11. 3  遞歸反傳算法                  
     11. 4  混沈神經(jīng)網(wǎng)絡(luò)的初步介紹                  
     11. 4. 1  一個(gè)簡(jiǎn)單的非線(xiàn)性映射                  
     11. 4. 2  混沌神經(jīng)元模型                  
     11. 4. 3  用混沌神經(jīng)網(wǎng)絡(luò)作聯(lián)想記憶                  
     參考文獻(xiàn)                  
     第12章  模塊化神經(jīng)網(wǎng)絡(luò)                  
     12. 1  引言                  
     12. 2  混合專(zhuān)家網(wǎng)絡(luò)                  
     12. 3  分層混合專(zhuān)家網(wǎng)絡(luò)                  
     l2. 3. 1  工作原理                  
     l2. 3. 2  EM算法概述                  
     12. 3. 3  EM算法用于HME                  
     12. 3. 4  IRLS算法                  
     12. 3. 5  EM算法的步驟                  
     12. 4  應(yīng)用舉例                  
     參考文獻(xiàn)                  
     第13章  誤差函數(shù)與參數(shù)優(yōu)化方法                  
     13. 1  誤差平方和                  
     13. 1. 1  網(wǎng)絡(luò)輸出的含義                  
     13. 1. 2  更一般的條件分布的建模                  
     13. 2  后驗(yàn)概率估計(jì)                  
     l3. 2. 1  誤差平方和準(zhǔn)則                  
     l3. 2. 2  隱單元的作用                  
     13. 2. 3  R范數(shù)誤差