走進(jìn)搜索引擎

稱為“Crawler”，中文譯為“爬蟲”，或者“蜘蛛”）是其中最華彩的樂章。讓我們從爬蟲開始，逐漸進(jìn)入閃爍著奇異光芒的領(lǐng)地。
第一節(jié)  爬蟲的發(fā)展歷史    32
世界上第1個(gè)爬蟲    32
爬蟲的發(fā)展歷程    33
第二節(jié)  萬維網(wǎng)及其網(wǎng)頁分析    34
蝴蝶結(jié)型的萬維網(wǎng)    34
萬維網(wǎng)的直徑    37
萬維網(wǎng)的規(guī)模及變化特征    39
網(wǎng)頁的特征    39
第三節(jié)  有關(guān)爬蟲的基本概念    41
爬蟲    41
種子站點(diǎn)    41
URL    42
Backlinks    42
第四節(jié)  網(wǎng)頁抓取原理    43
telnet和wget    43
從種子站點(diǎn)開始逐層抓取    44
不重復(fù)抓取策略    50
網(wǎng)頁抓取優(yōu)先策略    59
網(wǎng)頁重訪策略★    61
Robots協(xié)議    67
其他應(yīng)該注意的禮貌性問題    69
抓取提速策略（合作抓取策略）    70
第五節(jié)  網(wǎng)頁庫    77
第六節(jié)  下載系統(tǒng)回顧及未來發(fā)展    82
參考文獻(xiàn)    84
第四章  搜索引擎的分析系統(tǒng)    86
搜索引擎的4大系統(tǒng)中的第2個(gè)系統(tǒng)是分析系統(tǒng)，分析系統(tǒng)主要完成的工作包括信息抽取、網(wǎng)頁消重、中文分詞和PageRank計(jì)算等。
第一節(jié)  知識(shí)準(zhǔn)備    87
HTML語言    87
錨文本（anchor text）    87
半結(jié)構(gòu)化數(shù)據(jù)（Semi-structured data）    88
第二節(jié)  信息抽取及網(wǎng)頁信息結(jié)構(gòu)化    89
網(wǎng)頁結(jié)構(gòu)化的目標(biāo)    89
建立HTML標(biāo)簽樹    93
通過投票方法得到正文    98
網(wǎng)頁結(jié)構(gòu)化過程回顧    103
第三節(jié)  網(wǎng)頁查重    105
網(wǎng)頁查重技術(shù)發(fā)展歷史    105
網(wǎng)頁查重實(shí)現(xiàn)方法    107
第四節(jié)  中文分詞    113
什么是中文分詞    113
通過字典實(shí)現(xiàn)分詞    114
通過統(tǒng)計(jì)學(xué)方法實(shí)現(xiàn)分詞    120
第五節(jié)  PageRank    121
PageRank的來由    121
PageRank的基本想法    122
PageRank的計(jì)算公式    124
PageRank的計(jì)算方法 ★    129
第六節(jié)  分析系統(tǒng)結(jié)構(gòu)圖    134
參考文獻(xiàn)    136
第五章  搜索引擎的索引系統(tǒng)    139
在搜索引擎的4大系統(tǒng)中，第3個(gè)系統(tǒng)稱為“索引系統(tǒng)”。該系統(tǒng)就好像搜索引擎的數(shù)據(jù)大本營(yíng)，在這里存儲(chǔ)了并索引了數(shù)以億計(jì)的網(wǎng)頁。
第一節(jié)  知識(shí)準(zhǔn)備    140
信息    140
索引    141
倒排索引、倒排表、臨時(shí)倒排文件、最終倒排文件    141
其他概念    142
第二節(jié)  全文檢索    143
全文檢索    143
第三節(jié)  文檔編號(hào)    146
編號(hào)的本質(zhì)    146
文檔編號(hào)的方法    147
游程編碼    149
第四節(jié)  倒排索引    154
經(jīng)典的倒排索引    154
正排索引（前向索引）    155
倒排索引    158
第五節(jié)  數(shù)據(jù)規(guī)模的估計(jì)    163
齊普夫法則    163
布爾檢索模型下的索引規(guī)模估計(jì)★    165
第六節(jié)  涉及存儲(chǔ)規(guī)模的一些計(jì)算    170
正排表與倒排表的合并    170
多個(gè)臨時(shí)倒排文件的歸并    174
倒排索引分布式存儲(chǔ)    179
倒排文件緩存    183
倒排索引詞典統(tǒng)計(jì)信息的計(jì)算    183
第七節(jié)  倒排索引文件的創(chuàng)建過程    185
創(chuàng)建倒排表    185
計(jì)算統(tǒng)計(jì)信息    187
參考文獻(xiàn)    189
第六章  搜索引擎的查詢系統(tǒng)    191
在搜索引擎4大系統(tǒng)中，第4個(gè)系統(tǒng)稱為“查詢系統(tǒng)”。查詢系統(tǒng)直接面對(duì)用戶，在接收用戶的查詢請(qǐng)求后，通過檢索、排序及摘要提取等計(jì)算，將計(jì)算結(jié)果組織成搜索結(jié)果頁返回給用戶。整個(gè)查詢過程不僅要快，而且必須能夠提供用戶滿意的查詢結(jié)果。
第一節(jié)  知識(shí)準(zhǔn)備    192
什么是信息熵    192
檢索和查詢的區(qū)別    196
檢索詞和查詢?cè)~的區(qū)別    196
自動(dòng)文本摘要(Automatic Text Summarization)    197
第二節(jié)  網(wǎng)頁信息檢索    198
早期的檢索模型    198
向量空間模型（Vector Space Models）    201
關(guān)鍵詞權(quán)重的量化方法TF/IDF★    207
搜索引擎采用的檢索模型    213
多文檔列表求交計(jì)算    215
檢索結(jié)果排序    222
堆排序    223
第三節(jié)  中文自動(dòng)摘要    230
自動(dòng)摘要的發(fā)展歷史    230
自動(dòng)摘要的含義和實(shí)現(xiàn)    231
第四節(jié)  生成搜索結(jié)果頁    239
生成搜索結(jié)果頁    239
第五節(jié)  搜索結(jié)果頁的緩存    242
搜索結(jié)果頁的緩存    242
第六節(jié)  推測(cè)用戶查詢意圖    245
查詢分類    245
推測(cè)信息類、事物類的查詢意圖    247
第七節(jié)  查詢系統(tǒng)的當(dāng)前熱點(diǎn)和發(fā)展方向    249
查詢系統(tǒng)的當(dāng)前熱點(diǎn)    249
參考文獻(xiàn)    250
第七章  搜索引擎的其他話題    252
本書初步介紹了搜索引擎4大系統(tǒng)各自的運(yùn)作原理，以及相互配合的關(guān)系。本節(jié)通過回答一些有關(guān)搜索引擎的基本問題，以從宏觀上更好地理解和認(rèn)識(shí)搜索引擎。
第一節(jié)  搜索引擎問與答    253
為什么搜索引擎的搜索速度這么快    253
為什么搜索引擎能夠返回那么多的查詢結(jié)果    255
為什么搜索引擎總能返回最想要的結(jié)果    256
搜索引擎如何大規(guī)模存儲(chǔ)網(wǎng)頁的    257
什么是SEO    259
什么是元搜索引擎    260
搜索引擎認(rèn)為的作弊行為是哪些    261
如何進(jìn)一步學(xué)習(xí)和了解搜索引擎發(fā)展的最新成果    262
第二節(jié)  搜索引擎未來的發(fā)展    265
新興的搜索產(chǎn)品    265
搜索技術(shù)的未來    268
參考文獻(xiàn)    270
附錄A  搜索引擎系統(tǒng)結(jié)構(gòu)全觀圖    271