robots.txt文件就像一个网站的大门，它会告诉搜索引擎的蜘蛛，可以抓取哪里的网页内容，哪里的不能抓取，这样可以有效避免管理员的页面被捕捉到和由于wordpress的原因产生的内容重复问题。因此，配置好robots.txt文 件，完全可以理想的组织blog内容重复的问题。这样对搜索引擎们（不单单是百度和谷歌）来说不够友好。robots.txt的具体文法和使用方法，可以参考robotstxt.org。在国内，此类的 WordPress胡 robots.txt比较流行： User-agent: * # Disallow all directories and files within Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ # Disallow all files ending with these extensions Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ # Disallow parsing individual post feeds, categories and trackbacks.. Disallow: */trackback/ Disallow: */feed/ Disallow: /category/* 仅供参考！