了(le)解搜索引擎的(de)工作流程，對(duì)于我們規劃網站建設以及進行網站優化(huà)都是十分(fēn)重要的(de)步驟。百度在其官方站長(cháng)平台上發布了(le)搜索引擎抓取系統概述，幫助站長(cháng)朋友們更好的(de)了(le)解搜索引擎的(de)工作流程，有的(de)放矢的(de)進行站點優化(huà)。
互聯網信息爆發式增長(cháng)，如何有效的(de)獲取并利用(yòng)這(zhè)些信息是搜索引擎工作中的(de)首要環節。數據抓取系統作爲整個(gè)搜索系統中的(de)上遊，主要負責互聯網信息的(de)搜集、保存、更新環節，它像蜘蛛一樣在網絡間爬來(lái)爬去，因此通(tōng)常會被叫做(zuò)“spider”。例如我們常用(yòng)的(de)幾家通(tōng)用(yòng)搜索引擎蜘蛛被叫做(zuò)：Baiduspdier、Googlebot、Sogou Web Spider等。
Spider抓取系統是搜索引擎數據來(lái)源的(de)重要保證，如果把web理(lǐ)解爲一個(gè)有向圖，那麽spider的(de)工作過程可(kě)以認爲是對(duì)這(zhè)個(gè)有向圖的(de)遍曆。從一些重要的(de)種子 URL開始，通(tōng)過頁面上的(de)超鏈接關系，不斷的(de)發現新URL并抓取，盡最大(dà)可(kě)能抓取到更多(duō)的(de)有價值網頁。對(duì)于類似百度這(zhè)樣的(de)大(dà)型spider系統，因爲每時(shí)每刻都存在網頁被修改、删除或出現新的(de)超鏈接的(de)可(kě)能，因此，還(hái)要對(duì)spider過去抓取過的(de)頁面保持更新，維護一個(gè)URL庫和(hé)頁面庫。
1、spider抓取系統的(de)基本框架
如下(xià)爲spider抓取系統的(de)基本框架圖，其中包括鏈接存儲系統、鏈接選取系統、dns解析服務系統、抓取調度系統、網頁分(fēn)析系統、鏈接提取系統、鏈接分(fēn)析系統、網頁存儲系統。
2、spider抓取過程中涉及的(de)網絡協議(yì)
搜索引擎與資源提供者之間存在相互依賴的(de)關系，其中搜索引擎需要站長(cháng)爲其提供資源，否則搜索引擎就無法滿足用(yòng)戶檢索需求;而站長(cháng)需要通(tōng)過搜索引擎将自己的(de)内容推廣出去獲取更多(duō)的(de)受衆。spider抓取系統直接涉及互聯網資源提供者的(de)利益，爲了(le)使搜素引擎與站長(cháng)能夠達到雙赢，在抓取過程中雙方必須遵守一定的(de)規範，以便于雙方的(de)數據處理(lǐ)及對(duì)接。這(zhè)種過程中遵守的(de)規範也(yě)就是日常中我們所說的(de)一些網絡協議(yì)。以下(xià)簡單列舉：
http協議(yì)：超文本傳輸協議(yì)，是互聯網上應用(yòng)最爲廣泛的(de)一種網絡協議(yì)，客戶端和(hé)服務器端請求和(hé)應答(dá)的(de)标準。客戶端一般情況是指終端用(yòng)戶，服務器端即指網站。終端用(yòng)戶通(tōng)過浏覽器、蜘蛛等向服務器指定端口發送http請求。發送http請求會返回對(duì)應的(de)httpheader信息，可(kě)以看到包括是否成功、服務 器類型、網頁最近更新時(shí)間等内容。
https協議(yì)：實際是加密版http，一種更加安全的(de)數據傳輸協議(yì)。
UA屬性：UA即user-agent，是http協議(yì)中的(de)一個(gè)屬性，代表了(le)終端的(de)身份，向服務器端表明(míng)我是誰來(lái)幹嘛，進而服務器端可(kě)以根據不同的(de)身份來(lái)做(zuò)出不同的(de)反饋結果。
robots協議(yì)：robots.txt是搜索引擎訪問一個(gè)網站時(shí)要訪問的(de)第一個(gè)文件，用(yòng)以來(lái)确定哪些是被允許抓取的(de)哪些是被禁止抓取的(de)。 robots.txt必須放在網站根目錄下(xià)，且文件名要小寫。詳細的(de)robots.txt寫法可(kě)參考 http://www.robotstxt.org 。百度嚴格按照(zhào)robots協議(yì)執行，另外，同樣支持網頁内容中添加的(de)名爲robots的(de)meta标 簽，index、follow、nofollow等指令。
3、spider抓取的(de)基本過程
spider的(de)基本抓取過程可(kě)以理(lǐ)解爲如下(xià)的(de)流程圖：
