1、基於程序本身去防止爬取：作為爬蟲程序，爬取行為是對頁面的源文件爬取，如爬取靜態頁面的html代碼，可以用jquery去模仿寫html，這種方法偽裝的頁面就很難被爬取了，不過這種方法對程序員的要求很高。
2、基於iptables和shell腳本：可以對nginx的access.log進行策略定義，例如定義在1分鐘內並發連接數超過30個ip為非法，如ip不在白名單內，則加入iptables策略封掉，當然這種的缺點是會有“誤傷”，策略細粒度越小就會有更多的“誤傷”，細粒度大就會使效果變差，另外還有類似的第三方工具fail2ban，利用做filter和actor對壹些有危害的操作記錄或是封ip。但是對於某個特定的爬蟲地址（例如網易、有道）的爬取行為拒絕也很難準確做到，因為妳無法準確知道這些特定的爬蟲ip地址。註意：建議不要用封ip條目的方式,iptables列表長度是65535時就會封滿，服務器也就會死機。
3.使用robots.txt文件：例如阻止所有的爬蟲爬取，但是這種效果不是很明顯。
User-agent: *
Disallow: /
4.使用nginx的自帶功能：通過對httpuseragent阻塞來實現，包括GET/POST方式的請求，以nginx為例，具體步驟如下：
編輯nginx.conf
拒絕以wget方式的httpuseragent，增加如下內容
## Block http user agent - wget ##
if ($http_user_agent ~* (Wget) ) {
return 403;
}
## Block Software download user agents ##
if ($http_user_agent ~* LWP::Simple|BBBike|wget) {
return 403;
平滑啟動
# /usr/local/nginx/sbin/nginx -s reload
如何拒絕多種httpuseragent，內容如下：
if ($http_user_agent ~ (agent1|agent2|Foo|Wget|Catall Spider|AcoiRobot) ) {
return 403;
}
大小寫敏感匹配
### 大小寫敏感http user agent拒絕###
if ($http_user_agent ~ (Catall Spider|AcoiRobot) ) {
return 403;
}
### 大小寫不敏感http user agent拒絕###
if ($http_user_agent ~* (foo|bar) ) {
return 403;
}
註意語法：~*表示是大小寫不敏感，~表示是大小寫敏感
}
以上就是預防網站信息被別人爬取的壹些方法，大量的爬取行為會對web服務器的性能有影響，所以壹定要註重反爬蟲措施。