一個網(wǎng)站，robots.txt是一個重要的文本文件，每個網(wǎng)站都應當有一個設置正確的robots.txt。
當搜索引擎來抓取你的網(wǎng)站文件之前，它們會先來看看你網(wǎng)站的robots.txt文件的設置，以了解你所允許它抓取的范圍，包括哪些文件，哪些目錄。

那么如何配置您的robots.txt文件呢？

讓我們看一個例子：


# robots.txt file start

# Exclude Files From All Robots:

User-agent: *
Disallow: /security/
Disallow: /admin/
Disallow: /admin.htm

# End robots.txt file


有#號的都是注釋，方便閱讀。
User-agent就是搜索引擎的蜘蛛，后面用了*號，表示對所有的蜘蛛有效。
Disallow就是表示不允許抓取，后面的目錄或者文件，表示禁止抓取的范圍。

如果你有一些文件，或者目錄，比如后臺程序，或者一些私人隱秘的內容，不希望公開的話，就用這個Disallow來阻止抓取。

編輯好這個文件，然后保存在你的網(wǎng)站的根目錄下，那么搜索引擎就會來看的。

如果你沒有robots.txt文件，在你的網(wǎng)站訪問日志文件里，你會看到蜘蛛訪問robots.txt文件不成功的紀錄。