什麽是搜索引擎的Spider(蜘蛛)?現在做網站優化的管理員都知道我們得到了百度權重就是根據搜索引擎的Spider(蜘蛛)給我們網站做出的評分，這裏不二網小編就為大家具體分析壹下什麽是搜索引擎的Spider(蜘蛛)。
Spider也就是大家常說的爬蟲、蜘蛛或機器人，是處於整個搜索引擎最上遊的壹個模塊，只有Spider抓回的頁面或URL才會被索引和參與排名。需要註意的是，只要是Spider抓到的URL,都可能會參與排名，但參與排名的網頁並不壹定就被Spider抓取到了內容，比如有些網站屏蔽搜索引擎Spider後，雖然Spider不能抓取網頁內容，但是也會有壹些域名級別的URL在搜索引擎中參與了排名(例如天貓上的很多獨立域名的店鋪)。根據搜索引擎的類型不同，Spider也會有不同的分類。大型搜索引擎的Spider壹般都會有以下所需要解決的問題，也是和SEO密切相關的問題
首先，Spider想要抓取網頁，要發現網頁抓取入口，沒有抓取入口也就沒有辦法繼續工作，所以首先要給Spider壹些網頁入口，然後Spider順著這些入口進行爬行抓取，這裏就涉及抓取策略的問題。抓取策略的選擇會直接影響Spider所需要的資源、Spider所抓取網頁占全網網頁的比例，以及Spider的工作效率。那麽Spider壹般會采用什麽樣的策略抓取網頁呢?
其次，網頁內容也是有時效性的，所以Spider對不同網頁的抓取頻率也要有壹定的策略性，否則可能會使得索引庫中的內容都很陳舊，或者該更新的沒更新，不該更新的卻浪費資源更新了，甚至還會出現網頁已經被刪除了，但是該頁面還存在於搜索結果中的情況。那麽Spider壹般會使用什麽樣的再次抓取和更新策略呢?
什麽是搜索引擎的Spider(蜘蛛)?相信大家看過了以上文章以後對於什麽是搜索引擎的Spider(蜘蛛)肯定已經完全明白了。