如何让搜索引擎禁止收录页面以及robots.txt的写法汇总

【推荐】SEO们别当着百度说你是误入妓院

11
2009
03

针对谷歌的robots.txt测试完毕!

从第一篇核桃SEO博客大门向GOOGLE关闭开始,到非常奇怪的Google蜘蛛的文章发布至今,历时3个月又10天.谷歌终将所有的内容清理完了.
由于我前面设置的时候没有想到谷歌会有一个RSS蜘蛛:Feedfetcher-Google,所以导致最后留下很多XML的文件被收录没有清理。
不过很快的,在我重新设置了这个蜘蛛禁止访问后,不到半个月时间,谷歌就反应过来,并且将这些内容清除掉了。