如何让搜索引擎禁止收录页面以及robots.txt的写法汇总

【推荐】SEO们别当着百度说你是误入妓院

17
2009
09

指定规范网页,防止网页被重复收录

很多时候,我们在建立一个网页的过程中,经常会有一些小问题没有注意,导致后期在进行优化的时候,发现本来可以一开始就避免的问题,变得相当的难处理。
比如一个站点的URL规范化,就是一个相当令人头痛的问题。

程序员在写程序的时候,可能根本不会考虑程序生成的URL是否要全站统一,因为不管URL大小写如何变,用户都能访问到同一个页面,但是搜索引擎会收录URL不同的同一个页面。

当这个页面被建立无数的URL地址并且在链接时,这个页面会被收录多次,这是个不容忽视的问题。比如以下的URL地址,指向的是同一个页面:

# http://ent.qq.com/zt/2009/jgdy/topic_html/jgdyvid3.htm
# http://ent.qq.com/zt/2009/JGDY/topic_html/jgdyvid3.htm
# http://ent.qq.com/ZT/2009/jgdy/topic_html/jgdyvid3.htm
# http://ENT.qq.com/zt/2009/jgdy/topic_html/jgdyvid3.htm
#...
# http://ent.qq.com/zt/2009/jgdy/topic_html/JGDYWID3.htm

当然,形式可以变化出无穷无尽的来,不用多举例了,这些页面都可能正常被收录,造成的重复后果,有SEO常识的人都清楚。
这种问题在大中型站点中很突出,通常是由于一开始没有规范程序标准而引起的。