# file: $Id: robots.txt,v 1.2 2006/11/24 16:43:15 tt Exp $ # www.dukuai.com 都快网 # 按照robots.txt的标准写法,规定一些不允许爬虫爬的页面或目录。 # robots.txt 的写法参照 # Format is: # User-agent: # Disallow: | User-agent: * Disallow: /bbs/admin/