wordpress网站配置robots.txt示例
如果您发现本文排版有问题,可以先点击下面的链接切换至老版进行查看!!! robots.txt文件就像一个网站的大门,它会告诉搜索引擎的蜘蛛,可以抓取哪里的网页内容,哪里的不能抓取,这样可以有效避免管理员的页面被捕捉到和由于wordpress的原因产生的内容重复问题。因此,配置好robots.txt文 件,完全可以理想的组织blog内容重复的问题。这样对搜索引擎们(不单单是百度和谷歌)来说不够友好。robots.txt的具体文法和使用方法,可以参考robotstxt.org。在国内,此类的 WordPress胡 robots.txt比较流行:
User-agent: *
# Disallow all directories and files within
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
# Disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
# Disallow parsing individual post feeds, categories and trackbacks..
Disallow: */trackback/
Disallow: */feed/
Disallow: /category/*
仅供参考!关注道招网公众帐号

道招开发者二群
