這些處理被稱為網絡抓取或者蜘蛛爬行。很多站點，尤其是搜索引擎，都使用爬蟲提供最新的數據，它主要用於提供它訪問過頁面的壹個副本，然後，搜索引擎就可以對得到的頁面進行索引，以提供快速的訪問。蜘蛛也可以在web上用來自動執行壹些任務，例如檢查鏈接，確認html代碼；也可以用來抓取網頁上某種特定類型信息，例如抓取電子郵件地址（通常用於垃圾郵件）。
壹個網絡蜘蛛就是壹種機器人，或者軟件代理。大體上，它從壹組要訪問的URL鏈接開始，可以稱這些URL為種子。爬蟲訪問這些鏈接，它辨認出這些頁面的所有超鏈接，然後添加到這個URL列表，可以稱作檢索前沿。這些URL按照壹定的策略反復訪問。
二爬蟲程序的種類以及分辨
搜索引擎派出他們的爬蟲程序去訪問、索引網站內容，但是由於搜索引擎派爬蟲程序來訪會在壹定程度上影響網站性能。在妳的服務器日誌文件中，可見每次訪問的路徑和相應的 IP 地址，如果是爬蟲程序來訪， 則user-agent 會顯示 Googlebot 或MSNBot等搜索引擎爬蟲程序名稱，每個搜索引擎都有自己的user-agent，以下分別列出國內主要的爬蟲程序。
百度 baidu.com—-Baiduspider
谷歌 google.com—-Googlebot
雅虎 yahoo.com—-Yahoo
有道 yodao.com—-YodaoBot
搜搜 soso.com—-Sosospider/Sosoimagespider
搜狗 sogou.com—-sogou
微軟 msn.com—-msnbot