robots.txt文件是壹個文本文件，使用任何壹個常見的文本編輯器，比如Windows系統自帶的Notepad，就可以創建和編輯它 。robots.txt是壹個協議，而不是壹個命令。robots.txt是搜索引擎中訪問網站的時候要查看的第壹個文件。robots.txt文件告訴蜘蛛程序在服務器上什麽文件是可以被查看的。
當壹個搜索蜘蛛訪問壹個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的範圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。百度官方建議，僅當您的網站包含不希望被搜索引擎收錄的內容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容，請勿建立robots.txt文件。