如何让搜索引擎禁止收录页面以及robots.txt的写法汇总

【推荐】SEO们别当着百度说你是误入妓院

16
2009
04

搜索引擎为什么要收录你所有内容?

核桃碰到太多的人来问:
"为什么百度/谷歌不收录我的内页?"
"为什么我有成千上万的产品页面,而百度/谷歌却只收录了几十条?"

核桃想问的是:搜索引擎为什么要收录你所有内容?

一没有法律规定.
二没有收录你的理由.
三是也许它根本就是一个无用页面.

就像去海边捡贝壳一样,我们会捡到各种各样的贝壳。
有时候虽然看到两个是一样的,但是你还是可能两个一起捡起来回家,为什么?他们可能颜色有深浅,大小不一样。
如果你真看到两个相差无几的,你可能还是会捡两个,如果你再看到第三个,第四个,第五个相差无几的呢?我想大部分的时候你会无视它们的存在吧。可想而知,他们会消失在你的世界里...